한 걸음의 크기는 왜 중요할까
경사하강법은 손실을 줄이는 방향으로 조금씩 이동한다. 하지만 그 ‘조금’이 너무 작으면 느리고, 너무 크면 최솟값을 지나쳐 버린다.
이 글은 학습률을 조절하며 반복 횟수와 손실의 변화를 함께 읽기 위한 테스트 공간이다.
Interactive figure
학습률과 손실 곡선
현재 위치에서 기울기만큼 이동하기
업데이트 식은 간결하다. 학습률은 기울기에 곱해져 다음 위치까지의 거리를 결정한다.
같은 기울기라도 학습률이 바뀌면 전혀 다른 학습 경로가 만들어진다.
수식은 결론이 아니라, 그래프와 함께 읽어야 하는 움직임의 규칙이다.
움직임을 영상으로 다시 보기
정적인 그림만으로 이해가 어려운 경우, 설명 영상을 곁에 두고 개념과 화면을 오가며 확인할 수 있다.
이 임베드는 글 안의 외부 영상과 넓은 Figure가 모바일에서 어떻게 반응하는지 점검하기 위한 샘플이다.