다른 아이디어로는 Embedding 모델을 파인튜닝 하는 방법이 있다. OSS 나 클라우드 제공 Embedding 모델은 범용 목적에 맞춰져 있기 때문에, 특정 서비스의 단어 도메인과 맞지 않는 경우가 많다. 그래서, 이를 그 도메인의 단어로 파인튜닝하게 되면 Embedding된 결과를 통해서 유사 문서 (질문에 대한 답변)을 찾는 정확도가 향상되기 때문에 결과적으로 RAG의 성능을 향상 시킬 수 있다.
구글의 경우 Gecko Embedding 모델에 대한 파인 튜닝을 지원한다.
https://cloud.google.com/vertex-ai/generative-ai/docs/models/tune-embeddings
텍스트 임베딩 조정 | Generative AI on Vertex AI | Google Cloud
의견 보내기 텍스트 임베딩 조정 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 이 페이지에서는 textembedding-gecko 및 textembedding-gecko-multilingual과 같은 텍스트
cloud.google.com
튜닝에 필요한 데이터는
- 최소 질문 9개~10000개
- 문서 Chunk는 최소 9개~500,000개
이다.
'빅데이타 & 머신러닝 > 생성형 AI (ChatGPT etc)' 카테고리의 다른 글
| Small to Big Chunking in RAG (0) | 2024.12.25 |
|---|---|
| LLM 애플리케이션 아키텍처 (1/2) (4) | 2024.03.19 |
| #19 ChatGPT에서 질문과 관련된 웹페이지 크롤링하기 (0) | 2024.02.21 |
| #18.LangSmith를 이용한 Langchain agent 내부 동작 구조 이해 (1) | 2024.02.03 |
| Langchain을 이용한 LLM 애플리케이션 구현 #17-ChatGPT 구글 검색 엔진과 연동하기 (1) | 2024.02.02 |