2024년 LLM 애플리케이션 아키텍쳐 및 2025년 전망

2024년 LLM 애플리케이션 아키텍쳐 및 2025년 전망

조대협(http://bcho.tistory.com)

 

Langchain은 LLM (ChatGPT등)을 이용하여 애플리케이션을 개발할 수 있는 프레임웍이다.

Langchain은 LangSmith라는 이름으로 LLM 애플리케이션의 실행 내역을 추적할 수 있는 기능을 가지고 있는데, 이를 통해서 사용자들의 LLM Application의 구조를 예측할 수 있다. 

 

이번에 2024년 Langchain의 사용량에 대한 리포트가 나왔는데, 이를 통해서 LLM application이 어떻게 변화하고 있는지를 유추해볼 수 있다.  블로그 소스 : https://blog.langchain.dev/langchain-state-of-ai-2024/?fbclid=IwZXh0bgNhZW0CMTAAAR3HnncZtJN_HewQxeesZ8fQCDkkekAEkrKIfnT3g2C6JFkcjsF21KBAVrU_aem_rAv2PHgPzP7QjlOQD5KJaw

 

LLM 제공자

 

ChatGPT의 시장 지배력은 아직도 선두라고 볼 수 있다. Azure가 ChatGPT에 기반하는것을 고려해보면, ChatGPT의 LLM 마켓쉐어는 67% 이상으로 대부분이 ChatGPT를 사용하고 있다고 봐도 된다. 

 

여기서 주목할만한점은 Anthropic 모델이 8%로 거의 10%에 달한다는 것이고, Open Source Model을 전용 칩을 이용하여 고속으로 서비스하는 groq가 급속하게 성장했다는 것이다. 

이 리포트는 2024년 자료를 기반으로 한것이기 때문에, 이번에 Gemini 2.0이 성능이 급격하게 향상되고, Atrophic이 타사 대비해서 모델을 업데이트 하지 못한것을 고려했을때 금년 초에는 급격한 순위 변화가 있지 않을까 예상된다. 

 

또한 Cloud Service (AWS, Azure,Google Vertex AI)의 사용량이 낮을것을 봤을때 대부분의 개발자가 Cloud의 LLM 이 아니라 API로 제공되는 LLM만을 사용한다는 것인데, 클라우드의 경우 Reranking, RAG등 다양한 부가 솔루션을 제공하는데 클라우드를 사용하지 않는다는 이야기는 아직도 개발자들이 Pure LLM 모델을 기반으로 개발하는데 집중이 되어 있고, 아직 부가 서비스에 대한 사용률이 높지 않은 것으로 판단할 수 있다. 

 

Vector DB

 

 

RAG에 사용되는 Vector DB의 경우, Chroma가 1위인데, Chroma는 대형 데이터베이스이기 보다는 임베딩이 가능한 소형 데이터 베이스로, 주로 개발환경에서 많이 사용된다고 생각할 수 있다. 이는 개발자들이 RAG에 관심을 가지고는 있으나 아직 Production으로는 많이 넘어가지 않은 것을 볼 수 있다. 

Faiss는 페이스북이 만든 DB로, GPU를 지원하며 성능이 뛰어나지만 운영이 어려운 단점이 있다. 그에 반해 높은 랭크에 있는 것을 봐서, Production에 복잡하고 고성능의 벡터 DB가 RAG를 통해 필요하다는 것을 볼 수 있다. 

 

위의 두 제품의 분포를 봤을때, RAG는 양극화 현상이 일어나는 것으로 볼 수 있다. 진입을 안한 업체가 많지만 진입한 업체는 높은 수준으로 RAG를 구현하고 있다고 유추할 수 있다. 

Graph & Agent

LangSmith 추적 기록을 통해서 LangGraph의 사용률을 볼 수 있는데, 1월에 7%에서 연말에 44%로, 거의 반이상이 LangGraph를 사용하는 것을 볼 수 있다. LangGraph가 나온지 오래되지 않은 원인도 있지만, LangGraph는 Langchain 애플리케이션 개발을 하는데 필수요소가 아니다. 주로 Multiagent나 Multi turn LLM 애플리케이션을 개발하기 위해서 사용되는데, 이를 통해서 애플리케이션의 구조가 좀 더 복잡해지고 멀티 에이전트로 급격하게 변화하고 있다고 유추할 수 있다. 

이와 더불어서 Agent/Tool의 사용량도 급격하게 늘어나는데, 1월에 3%대였는데, 반해, 연말에는 45%까지 증가하였으며, 

 

호출 스텝역시 년초에 3.1회에서 연말에 11.2회로, 4배 이상 애플리케이션의 구조가 복잡해지고 있는 것을 볼 수 있다. 

 

정리하자면, 2024년 초에 비해서 LLM 애플리케이션 아키텍처가 급격하게 변화하고 있으며, 특히 Graph 기반의 MultiAgent 도입이 급격하게 진행되고 있다. RAG등은 양극화 현상이 발생하고 있으며, 아직 진입을 못한 기업이 있는 반면, 진입을 한 경우에는 매우 높은 수준으로 구현이 되고 있다. 

전반적으로 클라우드에 대한 adoption은 낮은데, 이는 부가 서비스에 대한 필요성 (Safety Filter, managed RAG, rerank etc)에 대한 인지가 낮고 주로 LLM + MultiAgent + RAG 구조 정도로 구현되는 것으로 유추할 수 있다.