각각 다변수 스칼라함수의 도함수와 이계도함수를 의미함

2변수 스칼라함수 $f$라고 가정하자.

그래디언트

정의

• $\nabla f = (\frac{\partial f}{\partial x}, \frac{\partial f}{\partial y})$

활용

• 함수값의 변화량 구하기

  $\Delta f = \nabla f \cdot d\mathbf{x}

  \frac{\partial f}{\partial x} \Delta x + \frac{\partial f}{\partial y} \Delta y$

• 방향도함수 구하기

  $D_uf = \nabla f \cdot u$

헤시안

정의

• $\nabla^2 f = H_f = \begin{pmatrix} \frac{\partial^2 f}{\partial x^2} & \frac{\partial^2 f}{\partial x \partial y} \\ \frac{\partial^2 f}{\partial y \partial x} & \frac{\partial^2 f}{\partial y^2} \end{pmatrix}$

활용

• 그래디언트의 변화량 구하기

  $\Delta (\nabla f)

  H_f \cdot d\mathbf{x}

  \begin{pmatrix} \frac{\partial^2 f}{\partial x^2} \Delta x + \frac{\partial^2 f}{\partial x \partial y} \Delta y \\ \frac{\partial^2 f}{\partial y \partial x} \Delta x + \frac{\partial^2 f}{\partial y^2} \Delta y \end{pmatrix}$

• 방향이계도함수 구하기

  $D^2_u f = u^T H_f u$

성질

• $f$가 매끄러운 함수일 경우 $H$는 항상 대칭행렬이다.