분류 전체보기
-
tool search프로젝트/PAPAGOAT 2025. 9. 4. 14:43
PAPAGOAT을 만들기 위해서는 vector DB, pdf parser, embedding 모델, slm이 필요VectorDBDB라이센스MilvusApache 2.0ChromaApache 2.0ElasticsearchElastic License 2.0Pinecone상용QdrantApache 2.0FaissMIT라이센스 문제가 없는 Milvus, Chroma, Qdrant, Faiss 사용 가능한데 젤 유명한게 Chroma라서 사용해보기루PDF ParserParser라이센스PyMuPDFAGPL 3.0pdfplumberMITpdfminerMITpypdf2BSD난 논문만 파싱할거니까 다양한 문서유형을 지원하는 parser는 필요없음, 대신 2단인 것도 잘 파싱할 수 있어야 함그리고 가볍고 빠르고 라이센스 문..
-
github프로젝트/PAPAGOAT 2025. 9. 4. 11:30
https://github.com/Zzang-yeah/PAPAGOAT GitHub - Zzang-yeah/PAPAGOAT: PAPer Assistant with raG On locAl compuTerPAPer Assistant with raG On locAl compuTer. Contribute to Zzang-yeah/PAPAGOAT development by creating an account on GitHub.github.com PAPer Assistant with raG On locAl compuTer 논문읽다가 재밌겠다 생각들어서 시작한 프로젝트 ui는 web으로 진행 예정논문 pdf를 업로드하면 pdf parser로 parsing 후, vector DB에 업로드하고 RAG를 통해 챗봇과 대화하..
-
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS공부/논문 2025. 8. 7. 16:10
https://arxiv.org/pdf/2106.09685 Abstractfull-finetuning은 빡세다그래서 pretrained model weights는 freeze시키고 각 레이어에 rank decomposition matric을 추가해서 파라미터 수를 줄이는 LoRA를 제안!GPT-3 175B랑 비교했을 때 파라미터 수는 10000배 줄이고 gpu는 3배 줄일 수 있음그런데도 모델 성능은 비슷하거나 더 나아짐1. Introductionnlp는 대부분 pretrained model을 finetuning하는 식으로 진행근데 동일한 수의 파라미터를 학습하는 게 에바 그래서 일부 파라미터만 조정하거나 외부 모듈을 학습시켜서 완화하려고 했었음근데 이럴 경우 inference latency가 발생하거나..
-
Attacks, Defenses and Evaluations for LLM Conversation Safety: A Survey공부/논문 2025. 6. 9. 11:30
https://arxiv.org/pdf/2402.09283 AbstractLLM은 대화 application의 일반적인 수단이 됐음그에 따라 LLM의 safety가 중요한 이슈가 됨해당 논문에서는 최근 LLM conversation safety(attacks, defense, evaluation)에 대해 알아볼 것1. IntroductionLLM conversation safety의 3가지 주요 측면(attacks, defenses, evaluations) 개요attacks : 안전하지 않은 response를 유도defenses : LLM의 response의 safety를 강화evaluations : 결과 평가하나씩 살펴보자2. AttackLLM의 구린 output을 유도하는 방법에 대해 연구가 되고 있..
-
MT-Bench-101: A Fine-Grained Benchmark for Evaluating LargeLanguage Models in Multi-Turn Dialogues공부/논문 2025. 3. 1. 16:31
https://arxiv.org/pdf/2402.14762 AbstractLLM을 평가하는 것은 여전히 도전 과제이전의 벤치마크들은 single turn위주이거나 multi turn이어도 불완전한 평가를 제공하여, complexity나 세부적인 부분을 놓쳤음그래서 multi-turn을 제대로 평가하기 위해 만들어진 게 MT-Bench-101!13개의 task로 1388개의 세션에서 4208 turn을 포함하는 3단계 계층적 평가 체계를 구축21개의 LLM으로 실험 진행1. IntroductionLLM은 엄청난 발전을 해옴그에 따라 여러 평가 기준도 도입(ex. MMLU, BBH, AlpacaEval 등)하지만 실제 대화에서는 보통 multi-turn 대화가 주를 이룸그래서 LLM이 대화를 하면서 일관된 ..
-
transformer공부/AI 2025. 2. 10. 10:55
Architecture1. Encoder입력에 대한 representation, feature을 도출모델이 입력에 대해서 이해목표에 도달하기 위해 입력에 대한 표현 형태를 최적화함2. Decoderencoder가 구성한 representation, feature를 다른 입력과 함께 사용하여 시퀀스 생성 모델 종류Encoder-only modelsclassification, recognition과 같은 입력에 대해 분석, 이해가 필요할 때 주로 사용bi-directional attentionauto-encoding modelattention layer가 문장의 전체에 접근 가능pretraining에서 문장을 masking하는 방식 등을 사용하여 원래 문장과는 다르게 손상을 시킴, 이 후에 다시 복구하는 과..
-
camera공부/기타 2024. 10. 10. 22:21
CV에서 말하는 카메라?핀홀 카메라 모델외부의 상이 하나의 바늘구멍을 직선으로 통과하여 반대편 벽(이미지 센서)에 맺히는 모델더보기초점거리=바늘구멍~벽면까지의 거리 좌표계 카메라 캘리브레이션?세상은 3차원카메라로 찍은 건 2차원의 이미지3차원=>2차원 or 2차원=>3차원 하는 과정에서는 카메라 내부 요인을 제거해야 정확히 계산 가능내부 요인의 파라미터 값들을 구하는 과정=카메라 캘리브레이션개요카메라 이미지는 3차원 공간상의 점들을 2차원 이미지 평면에 projection함으로써 얻어짐3차원2차원 변환 과정을 설명하는 파라미터를 찾는 과정이 카메라 캘리브레이션카메라 외부 파라미터(=extrinsic parameter) ex)카메라 설치 높이, 방향 등 외부공간의 기하학적 관계와 관련카메라 내부 파라미터(..
-
4회차 기획자가 알아야할 문서 작성 방법론교육/케이스스터디 서비스기획 2024. 9. 24. 16:04
인터뷰 시 유의사항원칙 1. 고객의 의향이 아닌 실제 경험을 물어보기원칙 2. '보통은'이라는 답변에 만족하지 말기원칙 3. 추상적인 원칙과 원리 대신 '구체적인' 상황과 행동 묻기원칙 4. 쉬운 질문부터 어려운 질문으로 기획자가 작성하는 문서1. 스토리 보드의 이해스토리보드?스토리를 개발하고자 시각적으로 정리한 모든 문서를 지칭서비스 개발을 위한 협업 도구다양한 변수를 고려하며 화면을 구성하고 각기 화면의 동작과 전환을 확인하는 기획 문서를 지칭 구성요소기획자가 실제 개발될 서비스에 필요한 기획 요소를 적절히 반영UI 및 기술적 요소를 정리하는 문서실무자들과 커뮤니케이션을 진행하는 기획자의 최종 산출물 구성1. 업데이트 기록스토리보드 작성 중, 필연적으로 발생하게 될 수정사항이 기록되는 문서 2. 개요..