최적화 - 2.1 변분법 소개 및 예제

1단원에서는 선택변수가 $\mathbb{R}^{n}$의 집합, 즉 n-벡터인 경우 어떤 스칼라 함수를 최적화하기 위한 일계필요조건, 이계충분조건, 이계필요조건을 살펴보았다. 특히 등호 제약 최적화의 경우 목적함수의 기울기벡터와 제약함수의 기울기벡터가 선형종속이라는 조건, 이계도함수를 일반화한 헤시안 행렬의 정부호성이 중요했다는 사실을 상기하라.

 

이제 우리는 선택집합을 확장하여, 함수의 공간에서 선택이 가능한 문제에 대해서 어떤 범함수를 최적화하는 문제를 고려한다. 단어가 어렵지만, 사실 우리는 (해를 꼭 알지는 못하더라도) 이미 이러한 문제는 접한 적이 있다:

 

 

"주어진 길이의 실이 있을 때 실이 둘러싸는 면적이 최대가 되도록 하는 도형은 무엇인가?"

"주어진 두 점을 연결하는 곡선 중 중력의 영향을 받는 공이 가장 빠르게 굴러가도록 하는 곡선은 무엇인가?"

 

이러한 문제들을 찬찬히 뜯어보면, 우리는 도형 / 곡선을 선택할 수 있는데, 이보다 조금 제약적이긴 하지만 일변수 함수의 공간에서 함수를 택한다고 생각하여도 족한 경우가 많다. (예컨대 후자의 문제는 끝점이 더 아래라면 함수로 족하고, 전자의 문제는 한쪽 울타리가 주어져 있다고 하면 함수로 족하다.) 이제 함수를 택하면 그 함수로부터 어떤 숫자가 도출이 된다 (이를 범함수라 부른다). 즉, 이러한 문제들은 일상적으로도 상당히 자주 등장하며, 거꾸로 많은 수학자들이 이러한 문제들의 해결에 관심을 기울여 왔다.

 

 

이 연재글은 다음의 순서로 진행된다:

(a) Fixed end point problem을 소개한다.

(b) Fixed end point problem의 예제를 풀어본다.

 

 

 

(a) Fixed end point problem을 소개한다.

가장 간단한 문제부터 고려한다. 우리가 해결하고자 하는 문제는 양 끝점이 $A,B$인 $y = f(x)$를 선택함으로써 $x,y,y'$에 의존하는 어떤 정적분값을 최소화하는 문제이다. 이를 정식화하면

$$ \min I(y) = \int_{a}^{b} f(x,y,y') dx \\ s.t. \space\space y(a) = A, y(b) = B \\ ...(2.1)$$

이다.

 

여기서 $x \in [a,b], y = y(x) = (y_{1}(x), y_{2}(x), ... , y_{n}(x))^{T}$이고 $y$는 조각적 $C^{1}$급 함수라고 가정한다. 즉, $a \leq a_{1} < a_{2} < ... < a_{k} \leq b$가 존재하여, $(a_{i}, a_{i+1})$에서 $y$가 $C^{1}$급 함수이고, $a_{i}$서 $y$의 좌미분계수가, $a_{i+1}$에서 $y$의 우미분계수가 존재한다.

 

 

범함수 최적화의 핵심 아이디어 중 하나는 $z(a) = z(b) = 0$이고 $C^{2}$급인 어떤 일변수 벡터함수 $z: [a,b] \rightarrow \mathbb{R}^{n}$를 정의하는 것이다. $z$를 일종의 변화분이라고 생각할 수 있다.

 

이제 새로운 함수를 다음과 같이 정의한다:

 

$$y(x,\epsilon) = y(x) + \epsilon z(x) \\ F(\epsilon) = \int_{a}^{b} f(x,y(x,\epsilon), y'(x,\epsilon))$$

 

여기서 $y'(x,\epsilon) = y'(x) + \epsilon z'(x)$임에 유의하라. $z$가 $C^{2}$급이므로 미분계수가 존재한다.

 

 

이제 우리는 ($z$라는 변화분을 도입함으로써) 범함수 $I$를 함수 $F$로 바꾸는 데에 성공했다. 함수의 최적화는 1단원에서 이미 살펴본 바 있음을 상기하라. 이제 범함수 $I$의 최적화에 함수 $F$의 최적화에 관련된 정리들을 사용할 근거가 생긴다. 예컨대 $y$라는 함수가 극값이 되기 위해서는 임의의 변화분 $z$에 대해서 $F(\epsilon)$이라는 함수가 $\epsilon = 0$서 극값을 가져야 할 것이다. 이제 함수 최적화의 일계필요조건에 의해서, $F'(0) = 0$이여야 할 것이다.

 

 

$F$를 $\epsilon = 0$에 대해서 이차 테일러 근사를 하면

$$ F(\epsilon) = F(0) + \epsilon F'(0) + \frac{1}{2} \epsilon^{2} F''(0) + O(|\epsilon^{3}|)$$

임을 안다. 또한 연쇄법칙을 이용하면

 

$$ \frac{dF}{d \epsilon}(0) = \int_{a}^{b} (\frac{\partial f}{\partial y} \frac{\partial y}{\partial \epsilon} + \frac{\partial f}{\partial y'} \frac{\partial y'}{\partial \epsilon})dx \\ = \int_{a}^{b} f_{y}z + f_{y'}z' dx$$

 

이다.

 

또한 연쇄법칙을 다시 적용하면 $$ \frac{d^{2}F}{d \epsilon^{2}} = \int_{a}^{b} {f_{yy} z^{2} + 2 f_{yy'} zz' + f_{y'y'} z'^{2} dx} $$임을 안다.

 

#주석. 식이 복잡해 보일 수 있으나 실상은 단순한 연쇄법칙의 적용이다. $y, y'$ 모두 $\epsilon$에 의존함에 유의하면서 전개를 하면 바로 도출할 수 있다.

 

 

이제 만약 어떤 함수 $y$가 범함수 $I$를 최소화한다면, 임의의 변화분 $z$에 대해 함수 $F$는 $\epsilon = 0$서 극값을 가져야 한다. 함수의 최적화에서 배웠듯, 이것이 성립하기 위한 필요조건 두 가지는

 

$$ I'(x,z) := \int_{a}^{b} (f_{y} z + f_{y'} z') dx = 0 \\ I''(x,z) := \int_{a}^{b} {f_{yy} z^{2} + 2 f_{yy'} zz' + f_{y'y'} z'^{2} dx} = 0 $$

 

이다.

 

다음 연재글에서는 특히 일계 필요조건으로부터 오일러 라그랑주 등식

$$ \frac{d}{dx} f_{y'} = f_{y}$$

을 도출해낼 예정이다.

 

 

(b) Fixed end point problem의 예제를 풀어본다.

필자는 예제를 글에 최대한 안 넣는 편이다 (뭔가 날먹 같다는 생각이 들기도 하고, 결국 직접 해봐야 익숙해진다는 신념이 있기 때문이다). 그러나 변분법의 경우 필자에게 매우 생소한 주제여서, 순전히 필자 본인을 위해서 예제를 남들 앞에서 풀어보는 연습을 하는 것이 좋겠다 생각하였다. 이하에서는 두 가지 예제를 풀어볼 예정이다 (두 예제 모두 책에 등장한다.)

 

(b-1) 주어진 두 점을 연결하는 최소 길이의 곡선을 구한다.

(b-2) 주어진 두 점을 연결하는 곡선이 있을 때, 중력의 영향만을 받는 공이 가장 빨리 굴러 떨어지는 곡선을 구한다.

 

 

(b-1) 주어진 두 점을 연결하는 최소 길이의 곡선을 구한다.

예를 들어 Cartesian 평면의 두 점 (0,0)과 (1,2)를 연결하는 최소 길이의 곡선을 구하고 싶다 하자.

어떤 곡선 $u: [a,b] \rightarrow \mathbb{R}^{2}, u(t) = (x(t),y(t))$가 (0,0)과 (1,2)를 끝점으로 가지면, $u$의 길이는 다음과 같이 주어진다:

 

$$ L = \int_{a}^{b} du \\ = \int_{a}^{b} \sqrt{{dx}^{2} + {dy}^{2}} dt \\ = \int_{a}^{b} \sqrt{1+(\frac{dy}{dx})^{2}} \frac{dx}{dt} dt \\ = \int_{0}^{1} \sqrt{1+{y'}^{2}} dx $$

 

 

이제 우리가 푸는 범함수 최적화 문제는

 

$$ \min \int_{0}^{1} \sqrt{1+{y'}^{2}} dx \\ s.t. \space\space y(0) = 0, y(1) = 2$$

 

이다.

 

우리의 직관에 의하면 다음이 성립한다:

(i) 문제에서 최적화하고자 하는 범함수가 아래로 유계일 것이다.

(ii) 범함수의 하계를 실제로 도달하는 함수가 있을 것이다. 즉, 해가 존재할 것이다.

 

 

이제 일단 이 직관을 받아들인다고 하고, 위에서 살펴본 일계/이계필요조건 $$I'(y,z) = 0, I''(y,z) \geq 0$$을 이용하여 가능한 해집합을 구성해 보자. 직관적으로 우리는 이 문제의 해가 두 점을 끝점으로 하는 선분일 것이라고 생각하는데, 이것이 실제로 성립하는지 살펴보자.

 

이 최적화 문제에서

$$f(x,y,y') = \sqrt{1+{y'}^{2}} \\ f_{y} = 0, f_{y'} = \frac{y'}{\sqrt{1+(y')^{2}}}, f_{yy'} = 0, f_{y'y'} = (1+{y'}^{2})^{-\frac{3}{2}} $$

임은 직접 계산을 통해 쉽게 확인할 수 있다.

 

이제 (우선 받아들이기로 한) 오일러-라그랑주 등식

$$ \frac{d}{dx} f_{y'} = f_{y}$$를 보면, 우변은 0이므로 좌변 역시 0이어야 한다.

그렇다면 $f_{y'} = \frac{y'}{\sqrt{1+(y')^{2}}}$는 $x$에 대한 일변수 함수이므로, $f_{y'} = c \space\space (c \in \mathbb{R})$이 성립해야 하고, 따라서 $y(x) = cx+c_{1} \space\space (c, c_{1} \in \mathbb{R})$이 성립해야 한다.

 

이제 $y(0) = 0, y(1) =1 $에 의해 $y_{0}(x) = x$가 도출된다.

 

확인을 위하여, 이 해가 일계/이계필요조건을 만족함을 보일 것이다.

$$I'(y_{0} ,z) = \int_{0}^{1} (f_{y}z + f_{y'} z') dx \\ = \int_{0}^{1} \frac{1}{\sqrt{2}} z'dx \\ = \frac{1}{\sqrt{2}} (z(1)-z(0)) \\ = 0$$

이고

$$I''(y_{0}, z) = \int_{0}^{1} (f_{yy}z^{2} + 2 f_{yy'}zz' + f_{y'y'} (z')^{2}) dx \\ = \int_{0}^{1} 2^{-\frac{3}{2}} (z')^{2} dx \geq 0$$임을 안다.

 

따라서 우리가 구한 해는 필요조건들을 만족한다.

 

 

(b-2) 주어진 두 점을 연결하는 곡선이 있을 때, 중력의 영향만을 받는 공이 가장 빨리 굴러 떨어지는 곡선을 구한다.

두 점 $(0,0), (b,B) \space\space (b>0, B<0)$을 굴러떨어지면서 중력의 영향만을 받는 공을 고려해 보자.

이 문제는 정식화하는데 물리적 지식이 조금 필요한 것 같다. 필자는 물리를 전혀 모르기 때문에 이 부분은 책에 있는 내용을 그대로 적겠다.

 

공이 굴러떨어진 거리를 $s$라 하고, 시간을 $t$, 공의 순간 속도를 $v(t)$라 하자.

 

에너지 보존 법칙에 의해

$$ \frac{1}{2}mv^{2} = mgy, \\ v = \frac{ds}{dt}$$

여기서 낙하한 거리 $h$가 $y$랑 같은데 이는 시작점의 $y$좌표가 0이었기 때문임을 상기하라.

 

이제

$$dt = \frac{ds}{v} = \frac{\sqrt{1+(y')^{2}}}{\sqrt{2gy}} \\ ...(2.2)$$

가 성립한다.

 

우리가 최적화하는 것은 $x=0$서 $x=b$까지 공이 굴러간 시간이므로,

$$ \int_{0}^{b} dt$$ 최소화하고 싶은 것이다.

 

이제 등식 (2.2)에 의해 우리의 문제는

$$ \int_{0}^{b} dt \\ = \int_{0}^{b} \frac{\sqrt{1+(y')^{2}}}{\sqrt{2gy}} dx \\ s.t. \space\space y(a) = 0, y(b) = B \\ ...(2.3)$$

가 된다.

 

따라서

$$ f(x,y,y') = \frac{\sqrt{1+(y')^{2}}}{\sqrt{2gy}} \\ f_{y} = \frac{-g \sqrt{1+(y')^{2}}}{\sqrt{2gy}^{\frac{3}{2}}} \\ f_{y'} = \frac{y'}{\sqrt{2gy}\sqrt{1+(y')^{2}}} $$

이다.

 

이 문제의 해가 오일러-라그랑주 등식에 의해 유일하게 도출되며, 또한 그 해가 최소 $C^{2}$급임은 Brachistochrone problem을 연구한 사람들에 의해 잘 알려져 있다. 우선 여기서는 이를 받아들이고 오일러-라그랑주 등식을 이용하여 해를 구해 본다.

 

이제 오일러 라그랑주 등식에 의해 

$$ \frac{d}{dx} f_{y'} = f_{y} \\ \Leftrightarrow 2yy'' + (y')^{2} + 1 = 0$$

이 성립하고, 매개변수 $u$에 대해 $y'(x) = \cot (\frac{u}{2})$라 두면

$$ x = \frac{c_{1}}{2} [u - \sin u] + c_{2} \\ y = \frac{c_{1}}{2} [1- \cos u] $$

가 성립한다. 이제 두 상수 $c_{1}, c_{2}$는 두 끝점 조건 $y(0) = 0, y(b) = B$에 의해 결정될 것이다.

 

이 매개화된 곡선이 사이클로이드 곡선임에 주목하라.

 

 

#주석.

여기서 많은 중간과정을 생략하였다. 필자도 미방을 아직 들은 적이 없어서 조금 대충 보고 지나갔던 것 같다. 추후에 더 이해도가 높아지면 보충을 할 생각이다.

 

 

이상 연습문제를 통해 변분법의 쓸모를 확인해 보았다.

다음 연재글에서는 오일러 라그랑주 등식을 실제로 도출해보고, 모서리 조건들을 다룰 예정이다.