Chapter 5 - 110페이지 모멘텀에 관해 질문이 있습니다.

[diligejy]

모멘텀에 대한 직관적 설명을 위해 그림으로 설명해주신 점 좋았습니다.

그런데 갑자기 떠오르는 생각은 그럼 learning rate를 높이는 것과 모멘텀을 쓰는것과의 차이가 무엇인지
구분이 안간다는 점이었습니다.

learning rate를 높이는것과 모멘텀을 쓰는 것의 차이가 무엇인지 알 수 있을까요?

[losskatsu]

쉽게 말씀드리면
learning rate 를 높이는 경우에는 모형이 굉장히 불안정해질수 있습니다.
즉, learning rate가 높은 경우에는 최적해를 구하지 못할수도 있는데요.
반면 모멘텀을 사용하면 최적해를 구하는 방향은 같고 속도만 높아진다고 생각하시면 편하실것 같습니다.