조대협의 블로그

LLM 의 비용 컨트롤 및 토큰 카운트 조대협 (http://bcho.tistory.com) LLM 개발은 단순한 API 서버 개발과 다르게, 외부의 LLM API 서비스를 호출하는 형태이, 이 API는 토큰 (단어)단위로 비용을 카운트하기 때문, 개발과 서비스 과정에서 비용이 발생한다. 그래서, 개발과 운영 과정에서 발생하는 API 호출 비용을 모니터링 하고 비용을 관리해야 하는 필요성이 있다. 출처 : https://openai.com/pricing 출처 : https://cloud.google.com/vertex-ai/pricing#generative_ai_models 가격 체계는 모델 서비스 회사의 홈페이지에서 확인이 가능한데, 위의 그림과 같이, 모델의 종류나 버전 그리고 Input,Output..

Langchain Model 컴포넌트와 호출 방법 조대협 (http://bcho.tistory.com) Model은 Langchain 에서 ChatGPT나 PaLM 모델을 추상화한 객체이다. 보통 LLM모델들이 문장을 완성하는 LLM 기능 (질문에 대한 답변, 문서 요약, 아이디어 제공 등등)의 모델과, 사람과 상호작용을 하는 채팅을 위한 두 가지 모델을 제공한다. Langchain도 마찬가지로 이 두 가지 모델에 대한 추상화 계층을 제공하고 있다. LLM은 입력된 프롬프트의 명령에 따라 답변을 내는 모델이다. ChatGPT, PaLM API등의 LLM 모델에 대한 추상화 객체를 제공한다. LLM 모델 객체를 생성하는 방법은 모델 제공자에 따라 다르며, 특히 모델 제공자에 따라서 지원하는 튜닝 가능한 패..