공부해라 공부 공부해라 공부

혁펜하임AI

• Chapter7 깊은 인공신경망의 고질적 문제와 해결방안

  교육/혁펜하임의 AI DEEP DIVE 2023. 2. 7. 09:20

  chapter7-1 직관적으로 이해하는 vanishing gradient chapter7-2 Vanishing Gradient의 해결방안 ReLU chapter7-3 Vanishing gradient 실습 (layer별 gradient 크기 관찰) chapter7-4 BN 직관적으로 이해하기 (왜 BN이 대박인가) chapter7-5 Batch Normalization 실습 ("들"값의 histogram) chapter7-6 Loss landscape 문제와 skip-connection (왜 Resnet이 아직까지도 사랑받는 모델일까?) chapter7-7 Loss Landscape 실습 chapter7-8 Overfitting 개념과 Data augmentation overfitting : traini..

  Read More
• Chapter6 인공신경망, 그 한계는 어디까지인가?

  교육/혁펜하임의 AI DEEP DIVE 2023. 2. 6. 22:16

  chapter6-1 Universal Approximation Theorem(왜 하필 인공신경망인가) chapter6-2 Universal Approximation Theorem(실습을 통한 확인) chapter6-3 Beautiful insights for ANN(AI가 스스로 학습을 한다는 것의 실체는) 본 게시글은 패스트캠퍼스 [혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다. https://bit.ly/3GV73FN

  Read More
• Chapter5 이진분류와 다중분류

  교육/혁펜하임의 AI DEEP DIVE 2023. 2. 5. 08:25

  chapter5-1 선형분류와 퍼셉트론 unit step function 선형분류에 쓰일 수 있음 hidden layer없이 unit step function을 activation으로 사용하면 퍼셉트론 단점 미분불가(gradient descent 못 씀) 너무 빡빡하게 분류 sigmoid 전구간 미분 가능 좀 더 부드러운 분류 가능 확률(혹은 정도)로 해석가능 가장 멀리 분류하는 합리적인 분류 기준 선을 찾게 됨 chapter5-2 Sigmoid를 이용한 이진 분류 chapter5-3 MSE vs likelihood(왜 log-likelihood를 써야할까) -log q가 훨씬 더 민감함(1이 나와야하는데 0이 나왔다면? (q-1)^2은 1, -log q 는 무한) chapter5-4 인공신경망은 'ML..

  Read More
• Chapter4 딥러닝, 그것이 알고싶다.

  교육/혁펜하임의 AI DEEP DIVE 2023. 2. 2. 17:58

  chapter4-1 MLP, 행렬과 벡터로 나타내기 & 왜 non-linear activation이 중요할까 MLP는 행렬 곱하고 벡터 더하고 activation 함수의 반복! 인공신경망은 함수다라는 걸 다시 한번 확인 깊게 만들면 엄청 복잡한 함수도 나타낼 수 있을까? =>linear activation으로는 아무리 깊게 만들어도 hidden layer없는 FC layer이하의 표현력만 가짐 즉, 깊어지는 효과 X linear activation으로는 입력과 출력간의 선형적 관계만을 나타냄 따라서 non-linear activation이 중요 =>입출력간의 비선형 관계도 나타낼 수 있고 깊을수록 복잡한 함수 표현 가능 chapter4-2 Backpropagation 깊은 인공신경망의 학습 forward..

  Read More