조대협의 블로그

아래 글은 Service에 대한 라우팅 메커니즘은 Ingress와 Gateway에 대한 설명이다.아래 글은 Gemini 3.0 Pro를 이용하여 생성되었다. 쿠버네티스 네트워크의 진화: Ingress에서 Gateway API까지쿠버네티스 환경에서 마이크로서비스 아키텍처를 운영하다 보면 필연적으로 네트워크 라우팅 문제에 직면하게 된다. 클러스터 내부에는 수많은 Service가 존재하지만 이들 모두에게 외부 접속용 공인 IP(LoadBalancer 타입)를 할당하는 것은 비용 측면에서나 관리 측면에서나 매우 비효율적이다. 결국 단일 진입점을 통해 들어온 트래픽을 URL 경로나 호스트 이름을 기반으로 적절한 내부 서비스로 분배해 줄 L7 로드밸런서가 필요하게 되며, 이것이 바로 쿠버네티스 Ingress가 탄..

조대협 (http://bcho.tistory.com) 최근 여러 LLM이 소개 되고 있는데, LLM 마다 가격이나 특성이 틀리기 때문에 여러 모델을 함께 사용하는 경우가 있는데, 이때 마다 SDK가 달라서 어려움이 있을 수 있다. (물론 Langchain을 써도 된다.) 또한 금액이나 요청 종류에 따라서 특정 LLM으로 라우팅을 하거나 또는 특정 LLM 모델이 응답을 하지 못할때 Fallback등의 기능을 구현해야 하는데, LiteLLM은 이런 기능을 제공하는 파이썬 라이브러리이다. 이글에서는 LiteLLM과, 대표적인 라우팅 기능에 대해서 알아보도록 한다. 1. LiteLLM이란 무엇이고 왜 필요한가?LiteLLM은 다양한 LLM 제공자(Provider)들의 API를 표준화된 단일 인터페이스로 호출할 ..

구글 클라우드 로드밸런서 소개조대협 (http://bcho.tistory.com) 클라우드 플랫폼에서 가장 필요한 기능중의 하나가 로드밸런서이다.그중에서 구글 클라우드의 로드밸런서는 L7 스위치 이상의 기능을 가지면서 로드밸런서와 api gateway의 일부 기능을 수행할 수 있는데, 어떤 특징이 있는지 살펴보자. (개인적인 생각이지만 이게 정말 물건이다..)HTTP 프로토콜 지원TCP,UDP 뿐 아니라 HTTP 레이어의 로드밸런싱을 지원한다. HTTPS Termination을 당연히 지원하고 HTTP 모드로 부하분산을 할 경우 HTTP URI에 따라 다양한 라우팅을 할 수 있다.No warming다른 클라우드 로드밸런서와는 달리 트래픽이 갑자기 많이 들어오더라도 별도의 워밍업작업 없이 트래픽을 받을 수..