Chapter4 딥러닝, 그것이 알고싶다.

교육/혁펜하임의 AI DEEP DIVE 2023. 2. 2. 17:58

728x90

chapter4-1 MLP, 행렬과 벡터로 나타내기 & 왜 non-linear activation이 중요할까

MLP는 행렬 곱하고 벡터 더하고 activation 함수의 반복!

인공신경망은 함수다라는 걸 다시 한번 확인

깊게 만들면 엄청 복잡한 함수도 나타낼 수 있을까?

=>linear activation으로는 아무리 깊게 만들어도 hidden layer없는 FC layer이하의 표현력만 가짐 즉, 깊어지는 효과 X

linear activation으로는 입력과 출력간의 선형적 관계만을 나타냄

따라서 non-linear activation이 중요

=>입출력간의 비선형 관계도 나타낼 수 있고 깊을수록 복잡한 함수 표현 가능

forward propagetion 한번 해서 값들을 구해놓고 back propagation을 통해 미분값을 구하고 SGD사용하면 끝

본 게시글은 패스트캠퍼스 [혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다.