교육/혁펜하임의 AI DEEP DIVE
-
-
Chapter7 깊은 인공신경망의 고질적 문제와 해결방안교육/혁펜하임의 AI DEEP DIVE 2023. 2. 7. 09:20
chapter7-1 직관적으로 이해하는 vanishing gradient chapter7-2 Vanishing Gradient의 해결방안 ReLU chapter7-3 Vanishing gradient 실습 (layer별 gradient 크기 관찰) chapter7-4 BN 직관적으로 이해하기 (왜 BN이 대박인가) chapter7-5 Batch Normalization 실습 ("들"값의 histogram) chapter7-6 Loss landscape 문제와 skip-connection (왜 Resnet이 아직까지도 사랑받는 모델일까?) chapter7-7 Loss Landscape 실습 chapter7-8 Overfitting 개념과 Data augmentation overfitting : traini..
-
Chapter6 인공신경망, 그 한계는 어디까지인가?교육/혁펜하임의 AI DEEP DIVE 2023. 2. 6. 22:16
chapter6-1 Universal Approximation Theorem(왜 하필 인공신경망인가) chapter6-2 Universal Approximation Theorem(실습을 통한 확인) chapter6-3 Beautiful insights for ANN(AI가 스스로 학습을 한다는 것의 실체는) 본 게시글은 패스트캠퍼스 [혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다. https://bit.ly/3GV73FN
-
Chapter5 이진분류와 다중분류교육/혁펜하임의 AI DEEP DIVE 2023. 2. 5. 08:25
chapter5-1 선형분류와 퍼셉트론 unit step function 선형분류에 쓰일 수 있음 hidden layer없이 unit step function을 activation으로 사용하면 퍼셉트론 단점 미분불가(gradient descent 못 씀) 너무 빡빡하게 분류 sigmoid 전구간 미분 가능 좀 더 부드러운 분류 가능 확률(혹은 정도)로 해석가능 가장 멀리 분류하는 합리적인 분류 기준 선을 찾게 됨 chapter5-2 Sigmoid를 이용한 이진 분류 chapter5-3 MSE vs likelihood(왜 log-likelihood를 써야할까) -log q가 훨씬 더 민감함(1이 나와야하는데 0이 나왔다면? (q-1)^2은 1, -log q 는 무한) chapter5-4 인공신경망은 'ML..
-
Chapter4 딥러닝, 그것이 알고싶다.교육/혁펜하임의 AI DEEP DIVE 2023. 2. 2. 17:58
chapter4-1 MLP, 행렬과 벡터로 나타내기 & 왜 non-linear activation이 중요할까 MLP는 행렬 곱하고 벡터 더하고 activation 함수의 반복! 인공신경망은 함수다라는 걸 다시 한번 확인 깊게 만들면 엄청 복잡한 함수도 나타낼 수 있을까? =>linear activation으로는 아무리 깊게 만들어도 hidden layer없는 FC layer이하의 표현력만 가짐 즉, 깊어지는 효과 X linear activation으로는 입력과 출력간의 선형적 관계만을 나타냄 따라서 non-linear activation이 중요 =>입출력간의 비선형 관계도 나타낼 수 있고 깊을수록 복잡한 함수 표현 가능 chapter4-2 Backpropagation 깊은 인공신경망의 학습 forward..
-
Chapter3 왜 우리는 인공신경망을 공부해야하는가?교육/혁펜하임의 AI DEEP DIVE 2023. 1. 27. 14:51
chapter3-1 인공신경망, weight와 bias의 직관적 이해, 인공신경망은 함수다! 동그라미는 노드라 부르고 연결시켜주는 선들은 엣지(혹은 connection)이라고 부름 웨이트(중요도)를 곱하고 바이어스(민감도)와 함께 더하고 액티베이션 함수를 통과하여 출력하면 끝! 주어진 입력에 대해 원하는 출력이 나오도록 웨이트,바이어스를 정해줘야하는데 AI는 이를 스스로 알아냄 깊은 인공 신경망은 DNN, Deep Neural Network인데 그냥 히든레이어가 많아진다고 보면 됨 노드끼리 전부 연결한 층은 FC(Fully-connected)layer 모든 layer가 FC layer(예시 그림처럼)인 신경망을 MLP(Multilayer Perceptron)이라고 부름 chapter3-2 선형 회귀, 개..
-
Chapter2 왜 현재 AI가 가장 핫할까?교육/혁펜하임의 AI DEEP DIVE 2023. 1. 27. 06:31
Chapter2-1 AI vs ML vs DL(Rule-based vs Data-based) 인공지능이란?인간의 지능을 인공적으로 만든 것->인간의 사고방식을 흉내 Chpater2-2 딥러닝의 활용 CNN, RNN, GAN size=rgb갯수(채널갯수)*행*렬 chapter2-3 머신러닝의 분류 지도학습과 비지도학습 지도학습 정답(label)을 알고있음 ex)회귀, 분류 비지도 학습 정답(label)을 모름 ex)군집화(K-means, DBSCAN,...),차원축소(데이터 전처리:PCA, SVD, ...), GAN chapter2-4 자기지도학습 데이터는 많을수록 좋은데 정답을 아는 데이터가 너무 적다 자기지도학습은 진짜 풀려고 했던 문제 말고 다른 문제를 새롭게 정의해서 먼저 풀어봄 데이터 안에서 se..
-
Chapter1 딥러닝을 위한 필수 기초 수학교육/혁펜하임의 AI DEEP DIVE 2023. 1. 23. 19:43
chapter1-1. 함수 y=f(x)=x^2 chapter1-2. 로그함수 앞으로는 그냥 log라고 써져 있으면 밑이 e인 로그 chapter1-3. 벡터와 행렬 chapter1-4 전치와 내적 전치 내적 chapter1-5 극한과 입실론-델타 논법 chapter1-6 미분과 도함수 미분 =순간 변화율 도함수 chapter1-7 연쇄법칙 chapter1-8 편미분과 그라디언트 편미분 그라디언트 chapter1-9 테일러급수 Maclaurin급수 테일러 급수 chapter1-10 스칼라를 벡터로 미분하는 법 chapter1-11 왜 그라디언트는 가장 가파른 방향을 향할까 방향만 보기 위해 델타의 크기를 1로 고정한다면 L(wk+1)-L(wk)가 최대한 양수로 크려면 델타의 방향은 그라디언트 방향과 일치해..