데이터는 임경덕
← Blog

ML / LAB / 2026. 8. 13.

학습률을 읽는 작은 실험실

수식, 그래프, 영상으로 경사하강법의 속도와 안정성을 함께 살펴보는 테스트 아티클.

10 min read

한 걸음의 크기는 왜 중요할까

경사하강법은 손실을 줄이는 방향으로 조금씩 이동한다. 하지만 그 ‘조금’이 너무 작으면 느리고, 너무 크면 최솟값을 지나쳐 버린다.

Interactive figure

학습률과 손실 곡선

안정적으로 수렴

0.00.51.001530IterationLoss
0.12
Figure 1. 매개변수 조작 → 손실 변화 → 해석의 흐름을 확인하는 테스트 그래프.

현재 위치에서 기울기만큼 이동하기

업데이트 식은 간결하다. 학습률은 기울기에 곱해져 다음 위치까지의 거리를 결정한다. 같은 기울기라도 학습률이 바뀌면 전혀 다른 학습 경로가 만들어진다.

xt+1=xt−η∇f(xt)x_{t+1} = x_t - \eta \nabla f(x_t)
Equation 1. Gradient descent update rule
학습 곡선에서 과소적합과 과적합을 비교한 그림
Figure 2. 학습 곡선은 모형 복잡도와 일반화 성능의 관계를 읽는 단서다.Data Art Project
수식은 결론이 아니라, 그래프와 함께 읽어야 하는 움직임의 규칙이다.

움직임을 영상으로 다시 보기

정적인 그림만으로 이해가 어려운 경우, 설명 영상을 곁에 두고 개념과 화면을 오가며 확인할 수 있다.

Video 1. 3Blue1Brown — Gradient descent, how neural networks learnYouTube에서 열기

작은 비교표

학습률관찰할 현상다음 판단
낮음손실이 천천히 감소반복 수 또는 학습률을 조정
적정안정적으로 수렴검증 손실을 함께 확인
높음손실이 진동하거나 발산학습률을 낮추고 스케일을 확인
Python
# 학습률만큼 기울기 방향으로 이동합니다.
learning_rate = 0.12
next_x = x - learning_rate * gradient