편미분과 최적화

편미분

정의

편미분
$f:{\mathbb{R}}^n\to \mathbb{R}$인 어떤 함수 $f(x_1,x_2,\cdots ,x_n)$)에 대하여 그 값이 존재할 경우 편미분을 다음과 같이 정의한다.
$\frac{\partial f}{\partial x_i}(x_i^0,\cdots ,x_n^0)={\lim }_{h\to 0}\frac{f(x_1^0,\cdots ,x_i^0+h,\cdots ,x_n^0)-f(x_1^0,\cdots ,x_i^0,\cdots ,x_n^0)}{h}$

편미분의 정의는 다른 모든 변수들을 상수로 취급한 상태에서 오로지 $i$번째 변수만 움직였을 때 $f$의 변화량이다.

예제

$f(x,y)=3x^2{y}^2+4x{y}^3+7y$를 $x$에 대해 편미분해보라.

효용함수의 예

효용함수 $u(x,y)$가 있을 때 $x$재의 한계효용은 편미분으로 정의된다.

정의

$x$재의 한계효용
$\frac{\partial u}{\partial x}$

직관적으로 표현하면 $y$ 재를 고정시켜 놓은 상태에서 $x$재 소비량을 아주 조금 늘렸을 때 효용이 증가하는 양을 $x$재의 한계효용이라고 한다.

1계 조건

정리1

$(x_1^{\ast },\cdots ,x_n^{\ast })$이 $f(x_1,\cdots ,x_n)$ 최적화 문제의 내부해라면 모든 $i$에 대해 다음이 성립한다.
$\frac{\partial f(x_1^{\ast },\cdots ,x_n^{\ast })}{\partial x_i}=0$

정리1은 어떤 점이 극대점, 혹은 극소점이려면 모든 방향으로 접선의 기울기가 0이어야 함을 의미한다. 다음 그림을 참고하면 이해가 빠를 것이다.

2계 조건

1변수 문제에서와 같이 정리1은 필요조건일 뿐 충분조건이 아니다. 충분조건은 역시 두 번 미분한 것을 보고 판별해야 하는데 변수가 여러개이기 때문에 두 번 미분한 계수는 $n\times n$ 행렬로 나타낼 수 있고 이를 헤시안이라고 부른다.

$$D^{2}f(x_1,\cdots ,x_n)=\left(\begin{array}{ccc}\frac{\partial f(x_1,\cdots ,x_n)}{\partial x_1^2}& \cdots & \frac{\partial f(x_1,\cdots ,x_n)}{\partial x_n\partial x_1}\\ ⋮& \ddots & ⋮\\ \frac{\partial f(x_1,\cdots ,x_n)}{\partial x_1\partial x_n}& \cdots & \frac{\partial f(x_1,\cdots ,x_n)}{\partial x_n^2}\end{array}\right)$$

정리2

$(x_1^{\ast },\cdots ,x_n^{\ast })$에서 1계조건이 성립할 때,

1. 헤시안이 음정행렬이면 극대점이 된다.
2. 헤시안이 양정행렬이면 극소점이 된다.
3. 헤시안이 불정행렬이면 극대점도 극소점도 아니다.

음, 양, 불정행렬에 대해서는 행렬의 정정성을 참고하라. 정리2의 3번 항목은 다음 그림을 참고하면 이해가 빠를 것이다.