14.6 방향도함수와 기울기 벡터

Directional Derivatives and the Gradient Vector

한눈에 보기

편도함수는 x축 방향, y축 방향처럼 축 방향으로만 기울기를 재요. 그런데 "북동쪽 45도로 가면 얼마나 가팔라지지?" 같은 질문엔 답을 못 하죠. 그래서 아무 방향으로의 변화율을 재는 게 이번 절의 주인공, 방향도함수예요. 그리고 그 모든 방향의 변화율을 한 벡터로 묶은 게 기울기 벡터(gradient)고요.

방향도함수 D_{\mathbf{u}}f — 단위벡터 \mathbf{u} 방향으로의 순간 변화율
기울기 벡터 \nabla f = \langle f_x, f_y\rangle — 편도함수를 성분으로 묶은 벡터
핵심 공식 D_{\mathbf{u}}f = \nabla f\cdot\mathbf{u} (내적!)과 그래디언트의 3대 성질

왜 배우나 — 어디에 쓰나

이 절은 경사하강법(gradient descent)의 심장이에요. 딥러닝 학습이란 손실함수(모델이 얼마나 틀렸나)를 최소로 만드는 가중치를 찾는 일이에요. 손실은 안개 낀 산의 높이, 우리는 그 산에서 가장 낮은 골짜기로 내려가려는 등산객이라고 해볼게요. 어느 방향으로 한 걸음 디뎌야 가장 빨리 내려갈까요? 답이 바로 그래디언트의 반대 방향이에요. 그래디언트는 "가장 가파르게 오르는 방향"을 가리키니, 그 반대로 가면 가장 빨리 내려가죠. 그래서 학습은 이 한 줄을 계속 반복해요: \mathbf{w} \leftarrow \mathbf{w} - \eta\,\nabla L. 가중치 \mathbf{w}를 그래디언트 \nabla L의 반대로 조금씩(\eta는 보폭) 옮기는 거예요. 수억 개 파라미터를 가진 GPT도 결국 이 걸음을 수십억 번 반복해 학습한 결과예요.

먼저 알아야 할 것

개념 설명

방향도함수

점 (x_0, y_0)에 서서 단위벡터 \mathbf{u} = \langle a, b\rangle가 가리키는 쪽으로 걸어간다고 해봐요. 그 방향으로 갈 때 함숫값 f가 얼마나 빨리 변하는지가 방향도함수 D_{\mathbf{u}}f(x_0, y_0)예요. 정의는 편도함수와 똑같은 극한 꼴이에요:

D_{\mathbf{u}}f(x_0, y_0) = \lim_{h\to 0}\frac{f(x_0 + ha,\ y_0 + hb) - f(x_0, y_0)}{h}

\mathbf{u} = \langle 1, 0\rangle(동쪽)을 넣으면 정확히 f_x가, \mathbf{u} = \langle 0, 1\rangle(북쪽)을 넣으면 f_y가 나와요. 즉 편도함수는 방향도함수의 특별한 경우(x축·y축 방향)일 뿐이에요.

매번 극한을 계산하긴 번거로워요. 다행히 훨씬 쉬운 지름길이 있어요 — 그게 다음의 그래디언트예요.

그래디언트와 3대 성질

편도함수 둘을 성분으로 묶은 벡터를 기울기 벡터 또는 그래디언트라고 불러요:

\nabla f = \langle f_x,\ f_y\rangle

\nabla 기호는 "델(del)" 또는 "그래드(grad)"라고 읽어요. 이 벡터 하나면 모든 방향의 변화율이 내적 한 번으로 나와요:

D_{\mathbf{u}}f = \nabla f\cdot\mathbf{u}

이제 내적의 정의 \nabla f\cdot\mathbf{u} = \vert\nabla f\vert\,\vert\mathbf{u}\vert\cos\theta를 떠올려 보세요. \mathbf{u}는 단위벡터라 \vert\mathbf{u}\vert = 1이니, D_{\mathbf{u}}f = \vert\nabla f\vert\cos\theta가 돼요. 여기서 그래디언트의 3대 성질이 전부 튀어나와요.

방향: \cos\theta는 \theta = 0일 때, 즉 \mathbf{u}가 \nabla f와 같은 방향일 때 최대(값 1)예요. 그러니 \nabla f가 가리키는 쪽이 가장 가파르게 증가하는 방향이에요.
크기: 그때 변화율은 \vert\nabla f\vert\cos 0 = \vert\nabla f\vert. 즉 그래디언트의 크기 \vert\nabla f\vert가 그 최대 증가율이에요.
수직: 등고선을 따라 걸으면 높이가 안 변하니 방향도함수가 0이에요. \nabla f\cdot\mathbf{u} = 0은 두 벡터가 수직이란 뜻이니, 그래디언트는 등고선(등위면)에 항상 수직이에요.

반대로 \theta = 180°면 \cos\theta = -1로 최소예요. 그러니 -\nabla f 방향이 가장 빨리 감소하는 방향이고, 이게 곧 경사하강이에요.

수식 하나하나 뜯어보기

수식 뜯어보기

방향도함수 = 그래디언트와의 내적

D_{\mathbf{u}}f = \nabla f\cdot\mathbf{u}

기호	읽는 법	뜻
D_{\mathbf{u}}f	"디 유 에프"	\mathbf{u} 방향 순간 변화율
\nabla f	"델 에프 / 그래드 에프"	\langle f_x, f_y\rangle, 기울기 벡터
\mathbf{u}	"유"	방향을 나타내는 단위벡터
\cdot	"내적"	두 벡터를 곱해 스칼라 하나로
\vert\nabla f\vert	"노름 델 에프"	최대 증가율(가장 가파른 기울기)

문장으로 읽으면: "\mathbf{u} 방향 변화율은 그래디언트와 \mathbf{u}를 내적한 값이에요. 그래디언트와 나란할수록 커지고(=\vert\nabla f\vert), 수직이면 0이에요."

손으로 따라가는 예제

f(x, y) = x^2 + y^2의 점 (1, 2)에서 여러 가지를 구해봅시다.

그래디언트: f_x = 2x, f_y = 2y니까 \nabla f = \langle 2x, 2y\rangle. 점 (1, 2)를 넣으면 \nabla f(1, 2) = \langle 2, 4\rangle이에요.
특정 방향 방향도함수: 방향이 \langle 3, 4\rangle라고 해요. 먼저 단위벡터로 바꿔야 해요 — 길이가 \sqrt{3^2 + 4^2} = 5니까 \mathbf{u} = \langle 3/5, 4/5\rangle. 이제 내적하면

D_{\mathbf{u}}f = \langle 2, 4\rangle\cdot\langle \tfrac{3}{5}, \tfrac{4}{5}\rangle = \frac{6}{5} + \frac{16}{5} = \frac{22}{5} = 4.4

가장 가파른 방향: 그래디언트 \langle 2, 4\rangle 방향이 가장 빠르게 증가하는 쪽이에요. 그때 증가율은 \vert\nabla f\vert = \sqrt{2^2 + 4^2} = \sqrt{20} \approx 4.47. 위의 4.4보다 조금 크죠 — 어떤 방향도 그래디언트 크기를 넘지 못해요.
경사하강 한 걸음: 가장 빨리 내려가는 쪽은 -\nabla f = \langle -2, -4\rangle. 원점 쪽을 향하는데, 실제로 이 그릇 모양 함수의 최저점이 원점이니 딱 맞아요.

흔한 헷갈림

핵심 정리

방향도함수 D_{\mathbf{u}}f = 단위벡터 \mathbf{u} 방향으로의 순간 변화율. 편도함수는 x축·y축 방향의 특수한 경우예요.
그래디언트 \nabla f = \langle f_x, f_y\rangle 하나면 모든 방향 변화율이 내적으로 나와요: D_{\mathbf{u}}f = \nabla f\cdot\mathbf{u}.
3대 성질: \nabla f 방향 = 가장 가파른 오르막, 크기 \vert\nabla f\vert = 그 최대 증가율, 그리고 등고선에 수직. -\nabla f가 가장 빠른 내리막이에요.
뒤에서 다시 만나는 곳: 14.7의 최적화(최댓값·최솟값 찾기)에서 \nabla f = \mathbf{0}인 점(임계점)을 찾고요, 무엇보다 이 -\nabla f 걸음이 곧 딥러닝의 경사하강법이에요.

Progress is saved in this browser.