eigen vector
-
여러 인공지능 관련 정의공부/AI 2024. 1. 21. 19:21
Gradient Descent 손실함수를 최소화하는 최적의 파라미터를 찾고 모델을 훈련 파라미터 초기화=>손실함수 계산(최소화가 되야하므로)=>미분계산(손실함수를 0에 가깝게 만듦)=>파라미터 업데이트 여러 개의 변수를 가진 함수(loss) 각각에 대한 편미분을 쌓은 것을 Gradient라고 하고, 수학적으로 가장 가파른 방향으로 향하는 데 Gradient를 구한 후, loss를 줄이는 Gradient의 반대방향으로 나아가는 것이 Gradient Descent loss surface? 모델의 손실함수가 모델의 파라미터에 따라 어떻게 변하는 지를 나타내는 그래픽 표현 loss surface를 시각화하면 다양한 파라미터 값에 따라 손실 함수의 형태가 어떻게 변하는 지 확인 가능 loss surface를 통해..