220509

인공지능의 9대 핵심기술

1. GPT-3

언어모델의 스케일업

2. 연합학습

FL(Federated Learning)

민감정보가 보호되는 분산 AI 학습

다수의 로컬 클라이언트와 하나의 중앙 서버가 협력하여 글로벌 모델을 학습하는 기술

데이터 프라이버시 향상과 커뮤니케이션 효율성의 장점

수 만개의 로컬 디바이스의 데이터를 모두 중앙서버로 전송하게 되며 네트워크 트래픽과 스토리지 비용이 증가

연합학습을 사용하면 로컬 모델의 업데이트 정보만을 주고 받음

3. 엣지 AI

온디바이스 AI를 위한 모델 경량화

클라우드 활용없이 단말기 내에서 AI 실행

4. 트랜스포머

NLP의 트랜스포머가 컴퓨터 비전까지 확대

문장의 단어들을 병렬로 처리하고 단어의 앞 뒤 문장의 위치에 따라서 변할 수 있으므로 문장내의 단어들의 위치를 숫자로 표현하고(positional encoding) 전체 입력문장에서 중요한 부분에 포커스(attention function)

5. 시스템 2 AI

단순 이해를 넘어 인과적 관계를 이해

6. 자기지도학습

데이터 라벨링의 한계를 극복

7. 생성적 AI

인식(판별)을 위한 AI를 넘어 창조하는 AI

데이터 증강등을 활용해 원본데이터의 부족함 보충

8. 전이학습

누구나 딥러닝을 할 수 있도록 지원

사전 학습된 모델을 활용하여 산업에 필요한 맞춤형 모델 재생산

transfer learning

• 이미 만들어진 모델을 사용하여 새로운 모델을 만드는 방법
• 학습을 빠르게 하며 예측력을 더 높일 수 있음
• 이미 학습이 완료된 모델(Pre-Trained Model)을 가지고 미세 조정
• 이미 학습된 weight들을 전송하여 자신의 model에 맞게 학습->세부조정(fine-tuning)이라고 함

fine-tuning

• Feature extraction
• pre-trained model을 모델 구조를 이용
• 다른 레이어를 고정시키고 일부분 layer조정

9. AutoML

AI가 AI를 만들어냄

인공지능 모델 개발시 발생하는 반복, 비효율적 작업은 인공지능을 활용

기계학습모델의 전체 프로세스를 자동화

기계 학습 모델의 전체 프로세스

 

​하이퍼 파라미터 최적화

인공신경망 훈련시 가장 우수한 성능을 도출할 수 있는 변수를 찾아내는 기술 ex)학습률, 손실함수, 훈련횟수, 가중치 초기화 방법, 정규화 방법, 레이어 수 등

신경망 구조 탐색

학습데이터를 가지고 분류, 회귀, 예측 등에 가장 적합한 인공신경망구조와 가중치를 자동 탐색

AutoML의 핵심기술은 하이퍼 파라미터 최적화 기술(CASH, Combined Algorithm Selection and Hyper-parameter optimization)과 학습용 데이터를 위한 신경망 구조 탐색(NAS, Neural Architecture Search)로 나뉨

CASH 베이지안 최적화(Bayesian Optimization)에서 출발, 어떤 경로를 탐색할 때 복잡성을 줄이기 위한 이론

NAS   뉴런의 연결구조(레이어 개수)와 각 레이어에 해당하는 가중치 최적화