혁펜하임강의후기
-
Chapter7 깊은 인공신경망의 고질적 문제와 해결방안교육/혁펜하임의 AI DEEP DIVE 2023. 2. 7. 09:20
chapter7-1 직관적으로 이해하는 vanishing gradient chapter7-2 Vanishing Gradient의 해결방안 ReLU chapter7-3 Vanishing gradient 실습 (layer별 gradient 크기 관찰) chapter7-4 BN 직관적으로 이해하기 (왜 BN이 대박인가) chapter7-5 Batch Normalization 실습 ("들"값의 histogram) chapter7-6 Loss landscape 문제와 skip-connection (왜 Resnet이 아직까지도 사랑받는 모델일까?) chapter7-7 Loss Landscape 실습 chapter7-8 Overfitting 개념과 Data augmentation overfitting : traini..
-
Chapter6 인공신경망, 그 한계는 어디까지인가?교육/혁펜하임의 AI DEEP DIVE 2023. 2. 6. 22:16
chapter6-1 Universal Approximation Theorem(왜 하필 인공신경망인가) chapter6-2 Universal Approximation Theorem(실습을 통한 확인) chapter6-3 Beautiful insights for ANN(AI가 스스로 학습을 한다는 것의 실체는) 본 게시글은 패스트캠퍼스 [혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다. https://bit.ly/3GV73FN
-
Chapter5 이진분류와 다중분류교육/혁펜하임의 AI DEEP DIVE 2023. 2. 5. 08:25
chapter5-1 선형분류와 퍼셉트론 unit step function 선형분류에 쓰일 수 있음 hidden layer없이 unit step function을 activation으로 사용하면 퍼셉트론 단점 미분불가(gradient descent 못 씀) 너무 빡빡하게 분류 sigmoid 전구간 미분 가능 좀 더 부드러운 분류 가능 확률(혹은 정도)로 해석가능 가장 멀리 분류하는 합리적인 분류 기준 선을 찾게 됨 chapter5-2 Sigmoid를 이용한 이진 분류 chapter5-3 MSE vs likelihood(왜 log-likelihood를 써야할까) -log q가 훨씬 더 민감함(1이 나와야하는데 0이 나왔다면? (q-1)^2은 1, -log q 는 무한) chapter5-4 인공신경망은 'ML..
-
Chapter4 딥러닝, 그것이 알고싶다.교육/혁펜하임의 AI DEEP DIVE 2023. 2. 2. 17:58
chapter4-1 MLP, 행렬과 벡터로 나타내기 & 왜 non-linear activation이 중요할까 MLP는 행렬 곱하고 벡터 더하고 activation 함수의 반복! 인공신경망은 함수다라는 걸 다시 한번 확인 깊게 만들면 엄청 복잡한 함수도 나타낼 수 있을까? =>linear activation으로는 아무리 깊게 만들어도 hidden layer없는 FC layer이하의 표현력만 가짐 즉, 깊어지는 효과 X linear activation으로는 입력과 출력간의 선형적 관계만을 나타냄 따라서 non-linear activation이 중요 =>입출력간의 비선형 관계도 나타낼 수 있고 깊을수록 복잡한 함수 표현 가능 chapter4-2 Backpropagation 깊은 인공신경망의 학습 forward..
-
Chapter2 왜 현재 AI가 가장 핫할까?교육/혁펜하임의 AI DEEP DIVE 2023. 1. 27. 06:31
Chapter2-1 AI vs ML vs DL(Rule-based vs Data-based) 인공지능이란?인간의 지능을 인공적으로 만든 것->인간의 사고방식을 흉내 Chpater2-2 딥러닝의 활용 CNN, RNN, GAN size=rgb갯수(채널갯수)*행*렬 chapter2-3 머신러닝의 분류 지도학습과 비지도학습 지도학습 정답(label)을 알고있음 ex)회귀, 분류 비지도 학습 정답(label)을 모름 ex)군집화(K-means, DBSCAN,...),차원축소(데이터 전처리:PCA, SVD, ...), GAN chapter2-4 자기지도학습 데이터는 많을수록 좋은데 정답을 아는 데이터가 너무 적다 자기지도학습은 진짜 풀려고 했던 문제 말고 다른 문제를 새롭게 정의해서 먼저 풀어봄 데이터 안에서 se..