2. Introduction to Large Language Models

1. LLMs정의

딥러닝의 하위 집합

선행학습을 진행한 후 특정 목적에 맞게 미세 조정할 수 있는 대규모 범용 언어 모델

특징

1. Large

•  학습 데이터 세트가 방대함(ex.PB)
• 매개변수(머신이 모델 학습에서 학습한 메모리, 지식, 모델의 기술)의 수가 대규모

2. General Purpose

• 인간 언어의 공통성
• 제한된 리소스

3. Pre-trained and Fine-tuned

이점

1. 단일 모델을 여러 작업에 사용가능

2. 최소한의 학습 데이터만 있으면 모델을 파인튜닝해서 특정 도메인 문제 해결 가능

3. 더 많은 데이터, 매개변수를 추가하면 대규모 언어 모델의 성능이 계속해서 개선

LLM Development vs Traditional ML Development

2. LLM 사용사례

텍스트 분류, 질의 응답, 문서요약, 텍스트 생성 

Pathways Language Model(PaLM)

5.400억 개의 매개변수를 통해 여러 언어 작업에서 최첨단 성능을 달성한 모델

고밀도 디코더 전용 Transformer 모델

TPU로 훈련

Transformer모델

인코더+디코더

인코더 : 입력 시퀀스를 인코딩

디코더 : 관련 작업에 대한 표현을 디코딩

3. 프롬프트 튜닝이란?

4. Gen AI 개발 도구들