공부/AI
-
transformer공부/AI 2025. 2. 10. 10:55
Architecture1. Encoder입력에 대한 representation, feature을 도출모델이 입력에 대해서 이해목표에 도달하기 위해 입력에 대한 표현 형태를 최적화함2. Decoderencoder가 구성한 representation, feature를 다른 입력과 함께 사용하여 시퀀스 생성 모델 종류Encoder-only modelsclassification, recognition과 같은 입력에 대해 분석, 이해가 필요할 때 주로 사용bi-directional attentionauto-encoding modelattention layer가 문장의 전체에 접근 가능pretraining에서 문장을 masking하는 방식 등을 사용하여 원래 문장과는 다르게 손상을 시킴, 이 후에 다시 복구하는 과..
-
프롬프트 엔지니어링 가이드공부/AI 2024. 3. 28. 15:39
https://www.promptingguide.ai/kr 프롬프트 엔지니어링 가이드 – Nextra A Comprehensive Overview of Prompt Engineering www.promptingguide.ai Introduction LLM설정 temperature 값이 낮을수록 항상 가장 확률이 높은 토큰이 선택=>결정론적인 결과를 낳음 ex)질의응답 값이 높을수록 모델이 선택하는 토큰의 무작위성이 증가하여 보다 다양하고 창조적인 결과를 촉진=>다른 가능한 토큰의 가중치를 증가시키는 것과 같음 ex)글짓기 top_p 모델이 응답을 생산하는 결정성을 제어 정확하고 사실적인 답변을 원한다면 낮게, 더 다양한 반응을 원한다면 높게 설정 =>일반적으로 둘 중 하나 변경하는 것을 권장 프롬프트의 ..
-
여러 인공지능 관련 정의공부/AI 2024. 1. 21. 19:21
Gradient Descent 손실함수를 최소화하는 최적의 파라미터를 찾고 모델을 훈련 파라미터 초기화=>손실함수 계산(최소화가 되야하므로)=>미분계산(손실함수를 0에 가깝게 만듦)=>파라미터 업데이트 여러 개의 변수를 가진 함수(loss) 각각에 대한 편미분을 쌓은 것을 Gradient라고 하고, 수학적으로 가장 가파른 방향으로 향하는 데 Gradient를 구한 후, loss를 줄이는 Gradient의 반대방향으로 나아가는 것이 Gradient Descent loss surface? 모델의 손실함수가 모델의 파라미터에 따라 어떻게 변하는 지를 나타내는 그래픽 표현 loss surface를 시각화하면 다양한 파라미터 값에 따라 손실 함수의 형태가 어떻게 변하는 지 확인 가능 loss surface를 통해..
-
모두팝-SAM과 친해지기공부/AI 2023. 10. 17. 21:15
SAM? Segment Anything Model 1. SAM의 이론적 배경 : SAM이 Segmentation 태스크에서 Foundation 모델로 학습되기 위해 사용된 기법 소개 Motivation 최근 Large Language Model(LLM)이 높은 Zero-shot/Few-shot Generalization 성능을 보이고 있다->학습을 하지 않거나 적게 해도 성능이 잘 나온다 LLM과 같이 대량의 데이터셋을 pre-train하고, downstream task에 대해 높은 zero-shot generalization성능을 보이는 모델을 Foundation Moel이라고 부름 컴퓨터 비전 분야에서도 CLIP, ALIGN같이 Visiong-Language Dataset으로 Foundation Mo..
-
Numpy 정리공부/AI 2023. 3. 7. 19:55
numpy란 행렬이나 일반적으로 대규모 다차원 배열을 쉽게 처리할 수 있도록 지워하는 파이썬의 라이브러리 http://bigdata.dongguk.ac.kr/lectures/Python/_book/numpy.html 4 장 Numpy | 파이썬 프로그래밍 기초 Two-dimensional array slicing bigdata.dongguk.ac.kr https://compmath.korea.ac.kr/appmath/NumpyBasics.html 넘파이(NumPy) 기초: 배열 및 벡터 계산 — 자료분석을 위한 파이썬 1.0 documentation Docs » 넘파이(NumPy) 기초: 배열 및 벡터 계산 넘파이(NumPy) 기초: 배열 및 벡터 계산 넘파이 ndarray: 다차원 배열 객체 넘파이(n..
-
object detection 성능지표공부/AI 2021. 9. 25. 16:37
1. confusion matrix Predict Positive Predict Negative real Positive TP FN(Type 2 Error) Sensitivity(TP/(TP+FN)) real Negative FP(Type 1 Error) TN Specificity(TN/(TN+FP)) Precision(TP/(TP+FP)) Accuracy(TP+TN/(TP+TN+FP+FN)) Accuracy(정확도) : 맞게 검출한 비율(P는 P로 N은 N으로) Precision(정밀도) : P로 검출한 것 중에서 실제 P의 비율 Sensitivity(민감도, =Recall(재현율)) : 예측과 실제 모두 P Specificity(특이성) : 예측과 실제 모두 N 2. IoU(Intersection o..