4주차 - Day 2. 클라우드를 활용한 머신러닝 모델 Serving API개발
1. AWS를 활용한 인공지능 모델 배포1 - 클라우드 환경에서의 인공지능 모델 서빙 API 개발
1.클라우드 기초
과거 : 인터넷 환경에서 서비스를 제공하기 위해 서비스 제공자는 서비스 호스팅에 필요한 모든 것(데이터 센터, 서버, 보안, OS 등)을 직접 구축
->자원, 인력 비용이 크고 변화에 능동적으로 대응하기 어려움
->IDC(Internet Data Center)등장, 하지만 IDC 서버 임대는 계약을 통해 일정기간 임대를 하는 유연성이 떨어지는 구조
->인터넷 사용자 증가+다양한 서비스 제공으로 필요한 때에 필요한 만큼 서버를 증설하기 원하는 On Demand 수요 증가
현재 : 클라우드 컴퓨팅 등장
클라우드 컴퓨팅이란 인터넷 기반 컴퓨팅의 일종으로 언제 어디서나 필요한 만큼 컴퓨팅 자원을 필요한 시간만큼 인터넷을 통하여 활용할 수 있는 컴퓨팅 방식
4차 산업혁명 시대에 빅데이터를 위한 자원과 AI 개발을 위한 환경 마련
클라우드 컴퓨팅 특징 : 속도, 접근성, 확장성, 생산성, 보안, 안전성, 측정가능성 등
클라우드 컴퓨팅 운용 모델
1. 퍼블릭 : 서비스 유지를 위한 모든 인프라와 IT 기술을 클라우드에서 사용
2. 프라이빗 : 고객이 자체 데이터 센터에서 직접 클라우드 서비스를 구축하는 형태
3. 하이브리드 : 고객의 핵심 시스템은 내부에 두면서도 외부의 클라우드를 활용하는 형태, 퍼블릭의 경제성+프라이빗의 보안성
클라우드 서비스 제공 모델
On-Premises : A-Z까지 다 내가 관리, 구축
IaaS : 인프라 부분만 클라우드에서 사용, 나머지는 직접 관리
Paas : +플랫폼 부분도 클라우드에서 사용, 나머지는 직접 관리
SaaS : 모든 부분을 제공받음 ex)인터넷만 제공되면 MS Office 사용가능
클라우드 서비스 제공 사업자 : AWS, GCP, Azure, NCP 등
2. AWS를 활용한 인공지능 모델 배포2 - 실습 : AWS & 실습 환경 세팅
오늘은 뭘해도 안될날인듯 환경세팅만 6시간이상하고 글 다 써놨는데 다 날아갔다ㅎ...
환경세팅 시 기억해둘것
1. aws에서 ec2로 들어가서 ami검색하기 window말고 ubuntu로 깔것
2. aws에서 상태검사1/2 인스턴스 연결성 어쩌구하면 재부팅이나 중지/시작 할것 종료XXXXX종료하면 인스턴스가 삭제된다 그래서 다시 만들었음ㅎ..
3. putty에서 들어갈 때는 ubuntu@탄력적 id 로 들어갈 것
4. vscode는 config수정시 HostName에 인스턴스/ssh연결 예제에 있는 주소들고올것
3. AWS를 활용한 인공지능 모델 배포3 -
글이 날아가서 멘탈이 두번 터진 관계로 나중에 작성할 것ㅎ..
4. AWS를 활용한 인공지능 모델 배포4
아래 코드는 실행할때마다 입력 후 실행해줄것
conda activate pytorch_p36
python
import torch
torch.__version__
exit()#De-serialization
import joblib
model = joblib.load('model/ml_model.pkl') #모델 불러오기
vectorizer=joblib.load('model/ml_vectorizer.pkl') #vectorizer 불러오기
#vectorizer?
#지금 학습하려는 모델은 nlp 한글은 수치형으로 표현하기 위한 방법이 필요
#단어의 음절단위로 쪼갠 후 문장내에서 음절이 몇 번 반복, 출현했는지 카운팅해서 벡터형태로 표현해주는 전처리
#text에 영화 리뷰가 들어오면 이 영화가 재미있는지 아닌지 예측하는 모델
text="재미있는 영화입니다."
model_input=vectorizer.transform(text) #모델이 학습할 수 있는 형태로 전처리
model_output=model.predict_proba(model_input) #모델 학습
#predict_proba : 예측을 확률로 나타냄 dir(model)을 하면 다른 함수들도 볼 수 있음
model_output
#>>>array([[a,b]]) a : 0에 속할 확률 b : 1에 속할 확률
#label을 통해서 사람이 이해할 수 있는 형태로 후처리
#argmax()를 통해 더 큰 값이 있는 인덱스를 뽑고 인덱스 자체가 label이 됨
model_output=model_output.argmax(axis=1)
model_output
#>>>array([1])
#후처리해주는 dictionary
id2label={0:'negative',1:'positive'}
print(f'sentiment : {id2label[model_output[0]]}')
#>>>sentiment : positive모델을 학습하고 저장했던 방식 그대로 불러와야하고 학습된 모델 전처리방식, 후처리방식 그대로 활용
5. AWS를 활용한 인공지능 모델 배포 5 - 실습 : Inference를 위한 model handler 개발
모델을 가지고 입력된 데이터에 대해서 예측을 수행하는 handler를 실습
Serving Model - Define inference : 전처리를 어떻게 하고 최종적으로 어떤 형태로 저장할건지
#skeleton of model handler to serve model의 기본 구조
#BaseHandler에서 상속받을 건 상속 받고
class ModelHandler(BaseHandler):
#초기화하면서 필요한 것들 초기화
def __init__(self){:
pass
#데이터 처리, 모델, configuration 등 초기화
def initialize(self,**kwargs){:
pass
#입력된 값에 대해서 전처리수행
def preprocess(self,data){:
pass
#모델에 대해서 추론
def inference(self,data){:
pass
#후처리
def postprocess(self,data){:
pass
#요청 정보를 받아 적잘한 응답을 반환
#1.정의된 양식으로 입력? 2.전처리 3.모델추론 4.후처리 5.결과반환
def handle(self,data){:
pass6. AWS를 활용한 인공지능 모델 배포 5 - 실습 : Flask 기반 감성분석 API개발
네이버 영화리뷰 감성분석 개요
나이브베이지안 모델+bert모델 0 : 부정 1: 긍정
#요청
#[POST] /predict
json={
"text":["review1","review2",...,], #리뷰 리스트
"do_fast":true or flase #true : 머신러닝모델 / false : 딥러닝모델
}#반환
#response
{"idx0" : {
"text":"review1",
"label" : "positive" or "negative",
"confidnece" : float
},
...
}