교육/혁펜하임의 AI DEEP DIVE
Chapter4 딥러닝, 그것이 알고싶다.
zzangyeah
2023. 2. 2. 17:58
728x90
chapter4-1 MLP, 행렬과 벡터로 나타내기 & 왜 non-linear activation이 중요할까
MLP는 행렬 곱하고 벡터 더하고 activation 함수의 반복!
인공신경망은 함수다라는 걸 다시 한번 확인
깊게 만들면 엄청 복잡한 함수도 나타낼 수 있을까?
=>linear activation으로는 아무리 깊게 만들어도 hidden layer없는 FC layer이하의 표현력만 가짐 즉, 깊어지는 효과 X
linear activation으로는 입력과 출력간의 선형적 관계만을 나타냄
따라서 non-linear activation이 중요
=>입출력간의 비선형 관계도 나타낼 수 있고 깊을수록 복잡한 함수 표현 가능
chapter4-2 Backpropagation 깊은 인공신경망의 학습
forward propagetion 한번 해서 값들을 구해놓고 back propagation을 통해 미분값을 구하고 SGD사용하면 끝
chapter4-3 행렬 미분을 이용한 Backpropagation
본 게시글은 패스트캠퍼스 [혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다.