일차형식(Linear Form)

• 수식

  $f(\mathbf{x}) = \mathbf{a}^T \mathbf{x}

  \begin{pmatrix} a_1 & a_2 & a_3 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = a_1x + a_2y + a_3z$

• 의미

  • 계수를 그래디언트로 해석할때

    → 결과: A를 그래디언트로 갖는 스칼라함수 (그래디언트 일정)

    • 특히, $\mathbf{x}$가 단위벡터일때

      → 방향도함수

이차형식(Quadratic Form)

• 수식 (2x2)

  $f(\mathbf{x}) = \mathbf{x^T}\mathbf{A}\mathbf{x}

  \begin{pmatrix} x & y \end{pmatrix} \begin{pmatrix} a & c \\ c & b \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = ax^2 + b^2y + 2cxy$

• 의미

  • 계수행렬을 헤시안행렬로 해석할때

    → 결과: $2A$를 헤시안행렬로 갖는 스칼라함수 (헤시안 일정)

    $f(\mathbf{x}) = \mathbf{x^T}\mathbf{A}\mathbf{x}$

    $\nabla f(x) = 2A\mathbf{x}$

    $\nabla^2 f(x) = \mathbf{H}_f = 2A$

    • 특히, $\mathbf{u}$가 단위벡터일때

      → 방향이계도함수

      $D_u^2f = \mathbf{u^T}\mathbf{H}\mathbf{u} = \mathbf{u^T}\mathbf{(2A)}\mathbf{u}$

이차형식을 고윳값을 통해 이해하기

• 전제

  • A는 대칭행렬이다.

    설령 대칭행렬이 아니더라도, 반대칭성분을 분리해서 계산해보면

    $A = \underbrace{\frac{A + A^T}{2}}{A{sym}} + \underbrace{\frac{A - A^T}{2}}{A{skew}}$

    $\mathbf{x}^T A \mathbf{x} = \mathbf{x}^T (A_{sym} + A_{skew}) \mathbf{x} = \mathbf{x}^T A_{sym} \mathbf{x} + \mathbf{x}^T A_{skew} \mathbf{x}$

    $(\mathbf{x}^T A_{skew} \mathbf{x})^T = \mathbf{x}^T A_{skew}^T \mathbf{x} = - \mathbf{x}^T A_{skew} \mathbf{x}$

    $\mathbf{x}^T A_{skew} \mathbf{x} = s$(scalar) 라고 하면,

    $s^T=s=-s$이므로, 이 부분이 0임을 알 수 있다.

    대칭행렬 하나로 대응이 된다.

    따라서 A는 대칭행렬이라고 가정하고 이차형식에 대한 논의를 시작한다.

• 고윳값을 통해 이차형식을 분석하는 관점

  • A는 대칭행렬이므로 직교대각화가 가능하다.

    $A = Q \Lambda Q^T$이므로,

    $\mathbf{x^TAx} = \mathbf{x^T Q \Lambda Q^T x} = \mathbf{(Q^T x)^T \Lambda (Q^T x)} = y^T \Lambda y$

    $\mathbf{x^TAx} = y^T\Lambda y = \lambda_1 y_1^2 + \lambda_2 y_2^2 + ... + \lambda_n y_n^2$ ($y_i$는 모두 서로 직교함)

  • 그래디언트벡터의 증가/감소 분석

    $H_f = 2A$ 이므로,

    • $H_f \cdot d\mathbf{x} = \Delta (\nabla f)$ 에서

      A의 고유벡터 방향으로의 변화를 줬을 때, 기울기가 좌우 흔들림 없이 수직적인 변화만 생긴다는 것.

      • $A$의 고윳값이 양수라는 것은 그 방향으로는 기울기가 증가한다는 것
      • A의 고윳값이 0 이라는 것은 그 방향으로는 기울기가 유지된다는 것
      • A의 고윳값이 음수라는 것은 그 방향으로는 기울기가 감소한다는 것

• 고윳값의 부호를 통해 이차형식 그래프 그리기

  1. 고윳값 부호가 같을때 ($\det(A) > 0$)
     • $\lambda_1 > 0, \lambda_2 > 0$
       • 아래로 볼록한 bowl 모양
       • A: 양의 정부호 행렬 (positive definite)
     • $\lambda_1 < 0, \lambda_2 < 0$
       • 위로 볼록한 bowl 모양
       • A: 음의 정부호 행렬
  2. 고윳값 중 하나가 0일때 ($\det(A) = 0$)
     • $\lambda_1 > 0, \lambda_2 = 0$
       • 아래로 볼록한 U자 모양 (고윳값이 0인 방향으로 평평함) (원점에서의 기울기는 무조건 0인데, 그 기울기가 고유벡터$v_2$방향으로는 변화가 없으므로 그 방향에서 기울기는 전부 0)
       • 양의 준 정부호 행렬 (semi-positive definite)
     • $\lambda_1 < 0, \lambda_2 = 0$
       • 위로 볼록한 U자 모양
       • 음의 준 정부호 행렬 (semi-negetive definite)
  3. 고윳값 부호가 다를때 ($\det(A) < 0$)
     • $\lambda_1>0$, $\lambda_2 < 0$
       • $v_1$방향으로는 아래로 볼록, $v_2$방향으로는 위로 볼록한 말안장모양
       • 부정부호 행렬 (indefinite)

이차형식을 방향이계도함수를 통해 이해하기

• 방향이계도함수 구하는 법
  • 어떤 스칼라함수의 방향이계도함수를 계산하기 위해서는
    1. 함수$f$ $f$$H_f = \begin{pmatrix} \frac{\partial^2 f}{\partial x^2} & \frac{\partial^2 f}{\partial x \partial y} \\ \frac{\partial^2 f}{\partial y \partial x} & \frac{\partial^2 f}{\partial y^2} \end{pmatrix} = \begin{pmatrix} f_{xx} & f_{xy} \\ f_{yx} & f_{yy} \end{pmatrix}$를 구하고
    2. 원하는 방향으로의 단위벡터 $\mathbf{u}$를 설정한 후,
    3. $\mathbf{u^T} H \mathbf{u}$를 계산하면 된다.
• 함수$f$ $f$

  • $f(\mathbf{x}) = \mathbf{x^T}\mathbf{A}\mathbf{x} = \begin{pmatrix} x & y \end{pmatrix} \begin{pmatrix} a & c \\ c & b \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = ax^2 + b^2y + 2cxy$ 에서

    $H_f = 2A$이다.

  • $\mathbf{u} = (\cos{\theta}, \sin{\theta})^\mathbf{T}$ 라고 하면,

  • $D_u^2f = \mathbf{u^T}\mathbf{H}_f\mathbf{u} = \mathbf{u^T(2A)u} = 2(a^2\cos^2{\theta} + b^2\sin^2{\theta} + 2c\cos{\theta}\sin{\theta})$

• 각도 $\theta$에 따라 이계도함수를 분석해보자
  • 각도에 따른 이계도함수값 계산

    • $\theta = 0 \degree$

      → $D_u^2f = 2a^2$

    • $\theta = 45 \degree$

      → $D_u^2f = a^2 + b^2 + 2c$

    • $\theta = 90 \degree$

      → $D_u^2f = 2b^2$

    • $\theta = 135 \degree$

    • …

  • 분석

이차곡선과의 연관성