多元函数

1. 定义：形如 y=f(x1, x2, x3, ..., xn) 的函数
2. 两点 x(x1, x2), z(z1, z2) 的距离d = | z-x | = sqrt( (z1-x1)**2 + (z2-x2)**2 + ... + (zn-xn)**2 )
3. 如果 x趋于a时，f(x)趋于A，称A为f(x)在x趋于a时的极限。如果又有x=a时f(x)=A，则f(x)在a点连续。
4. f(x,y) = (y*x**2) / (x**4 + y**2), 当y=kx时在x趋于0时极限为0且连续；当y=kx**2时在x趋于0时极限不存在，不连续。

偏导数

1. 定义：对多元函数 f(x, y, z, …)，如果只有自变量x变化，而其他自变量y,z等看做常量，这是f(x,y,z,…)就是一元函数，f对x的导数，就称为多元函数f对x的偏导数。
2. 连续性：多元函数在某一点的连续性 与 函数在某一点的偏导数是否存在和函数值是否等于极限值 无关。

方向导数

1. 偏导数反映的是函数沿坐标轴方向的变化率
2. 方向导数讨论函数沿指定方向如$v=(cos\theta x,cos\theta y,cos\theta z)$的变化率

可微

可微 <==> 各个方向偏导存在且连续

梯度

多元复合函数的求导法则 – 链式法则

1. 一元函数：(f(g))’ = f’(g) * g’
2. 多元复合函数：

Jacobian矩阵

Hessian矩阵

参考：https://zhuanlan.zhihu.com/p/138334587

拉格朗日乘数法

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B4Es3Q9d-1670164330451)(./02differential.assets/image-20221204222030178.png)]

参考：https://zh.m.wikipedia.org/zh-hans/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0

总结

1. 沿梯度方向，函数变化速度是最快的。最优化方法中很多是基于梯度的。
2. 多元函数链式法则是网状结构的，tensorflow求微分的方法就是这种网状结构。
3. 对无条件的函数求极值，研究其梯度和Hessian矩阵即可；对有条件的函数求极值，使用拉格朗日乘数法转化为对无条件的函数求极值