전체 글
-
MT-Bench-101: A Fine-Grained Benchmark for Evaluating LargeLanguage Models in Multi-Turn Dialogues공부/논문 2025. 3. 1. 16:31
https://arxiv.org/pdf/2402.14762 AbstractLLM을 평가하는 것은 여전히 도전 과제이전의 벤치마크들은 single turn위주이거나 multi turn이어도 불완전한 평가를 제공하여, complexity나 세부적인 부분을 놓쳤음그래서 multi-turn을 제대로 평가하기 위해 만들어진 게 MT-Bench-101!13개의 task로 1388개의 세션에서 4208 turn을 포함하는 3단계 계층적 평가 체계를 구축21개의 LLM으로 실험 진행1. IntroductionLLM은 엄청난 발전을 해옴그에 따라 여러 평가 기준도 도입(ex. MMLU, BBH, AlpacaEval 등)하지만 실제 대화에서는 보통 multi-turn 대화가 주를 이룸그래서 LLM이 대화를 하면서 일관된 ..
-
transformer공부/AI 2025. 2. 10. 10:55
Architecture1. Encoder입력에 대한 representation, feature을 도출모델이 입력에 대해서 이해목표에 도달하기 위해 입력에 대한 표현 형태를 최적화함2. Decoderencoder가 구성한 representation, feature를 다른 입력과 함께 사용하여 시퀀스 생성 모델 종류Encoder-only modelsclassification, recognition과 같은 입력에 대해 분석, 이해가 필요할 때 주로 사용bi-directional attentionauto-encoding modelattention layer가 문장의 전체에 접근 가능pretraining에서 문장을 masking하는 방식 등을 사용하여 원래 문장과는 다르게 손상을 시킴, 이 후에 다시 복구하는 과..
-
camera공부/기타 2024. 10. 10. 22:21
CV에서 말하는 카메라?핀홀 카메라 모델외부의 상이 하나의 바늘구멍을 직선으로 통과하여 반대편 벽(이미지 센서)에 맺히는 모델더보기초점거리=바늘구멍~벽면까지의 거리 좌표계 카메라 캘리브레이션?세상은 3차원카메라로 찍은 건 2차원의 이미지3차원=>2차원 or 2차원=>3차원 하는 과정에서는 카메라 내부 요인을 제거해야 정확히 계산 가능내부 요인의 파라미터 값들을 구하는 과정=카메라 캘리브레이션개요카메라 이미지는 3차원 공간상의 점들을 2차원 이미지 평면에 projection함으로써 얻어짐3차원2차원 변환 과정을 설명하는 파라미터를 찾는 과정이 카메라 캘리브레이션카메라 외부 파라미터(=extrinsic parameter) ex)카메라 설치 높이, 방향 등 외부공간의 기하학적 관계와 관련카메라 내부 파라미터(..
-
4회차 기획자가 알아야할 문서 작성 방법론교육/케이스스터디 서비스기획 2024. 9. 24. 16:04
인터뷰 시 유의사항원칙 1. 고객의 의향이 아닌 실제 경험을 물어보기원칙 2. '보통은'이라는 답변에 만족하지 말기원칙 3. 추상적인 원칙과 원리 대신 '구체적인' 상황과 행동 묻기원칙 4. 쉬운 질문부터 어려운 질문으로 기획자가 작성하는 문서1. 스토리 보드의 이해스토리보드?스토리를 개발하고자 시각적으로 정리한 모든 문서를 지칭서비스 개발을 위한 협업 도구다양한 변수를 고려하며 화면을 구성하고 각기 화면의 동작과 전환을 확인하는 기획 문서를 지칭 구성요소기획자가 실제 개발될 서비스에 필요한 기획 요소를 적절히 반영UI 및 기술적 요소를 정리하는 문서실무자들과 커뮤니케이션을 진행하는 기획자의 최종 산출물 구성1. 업데이트 기록스토리보드 작성 중, 필연적으로 발생하게 될 수정사항이 기록되는 문서 2. 개요..
-
3회차 사용자를 위한 서비스 만들기교육/케이스스터디 서비스기획 2024. 9. 17. 13:06
01 디자인 씽킹논리적인 인재+합리적인 결론을 도출할 줄 아는가1. 로지컬 씽킹기획, 문제해결, 전략적 사고, 보고서 작성, 프레젠테이션 등의 업무 스킬을 향상 시키는데 있어 기본이 되는 역량으로 정의2. MEMC(Mutually Exclusive Colectivley Exhaustive)글로벌 컨설팅 사 맥킨지에서 사용한 분석기법으로 중복과 누락없이 문제를 분석하는 원칙3. 그 외거시환경분석(PEST), 미시환경분석(3C), 영업 및 마케팅(4P) 등 관리대상 : 통합, 범위, 일정, 비용, 위험, 인적자원 페인 스토밍(Pain Storming)대외 환경 분석 후 , 상위 관리자의 의사결정을 통해 이뤄지던 기존 방식과 달리 고객의 문제를 가시화, 실체화 하는 것에 초점리서치=>주제설정=>아이디어 스케치..
-
상세기획서공부/기획 2024. 9. 12. 09:51
상세기획서란?프로젝트의 구조를 정리한 문서프로젝트에 참여하는 사람들이 문제 상황을 이해하고 해결책을 합의하는 데 사용작성 방법배경=>목표=>방향성=>상세정책=>마일스톤배경현상과 원인을 짚자현상을 먼저 얘기해서 문제의 심각성을 대두 후,현상이 발생하는 원인을 얘기원인은 데이터를 기반으로 작성목표캐치 프라이즈 or 제품명+정량적 목표방향성프로젝트를 위해 해야하는 것들 작성ex)업무, 원칙 등이를 바탕으로 유저 스토리 작성더보기유저 스토리란?제품을 통해 사용자가 할 수 있는 행동 쓰는 방법 : who+what+why가 정석 인수기준 : 유저 스토리를 만들 때 나열한 사항들이 개발되어야 해당 기능이 개발 완료된 것으로 판단하겠다는 것ex)사용자는 챗봇을 이용하다가 메모장을 사용할 수 있음메모장에는 rich te..
-
IT비즈니스의 이해교육/케이스스터디 서비스기획 2024. 9. 11. 20:45
PM의 커뮤니케이션을 위해 필요한 것1. 데이터분석역량2. 사내의 여러 유관업무에 대해 정확히 이해하는 것3. 입사하기 전 또는 후에 레거시 파악을 위해 최대한 많은 노력4. 기획서 잘 쓰기 ex)장면의 인터랙션별 모두 디테일하게 입력 SBI기법Situation 문제Behavior 행동Impact 결과 서비스 기획 프로세스1. 서비스 벤치마킹 및 상위 기획(전략 기획)2. IA 설계 및 스케줄링3. 주요 페이지 컨셉 기획안 및 디자인 시안 작업(와이어 프레임 설계)4. 프론트 페이지 스토리보드 작성5. 백오피스 스토리보드 작성6. 디자인 시안 및 세부 페이지 디자인 진행7. 개발 진행8. 테스트 및 오픈 IT 비즈니스의 이해IT 비즈니스의 개념기업의 궁극적인 비즈니스 목표를 달성하기 위해 다양한 프로세스..