2025년 12월 13일Anthony.Kim
캐럿 라우터, 왜 LiteLLM에서 any-llm으로 옮겼나
LiteLLM은 강력했지만, 캐럿에게는 너무 무겁고 복잡한 라우터였다. any-llm은 간결한 API 중심 구조로, 캐럿에 꼭 필요한 기능만 선택해 확장할 수 있게 해줬다. 그 덕분에 우리는 캐럿다운 UX와 운영 구조를 만들고, 앞으로의 성능 개선까지 준비할 수 있었다.
캐럿의 소식들을 알려드립니다.
태그
2025년 12월 13일Anthony.Kim
LiteLLM은 강력했지만, 캐럿에게는 너무 무겁고 복잡한 라우터였다. any-llm은 간결한 API 중심 구조로, 캐럿에 꼭 필요한 기능만 선택해 확장할 수 있게 해줬다. 그 덕분에 우리는 캐럿다운 UX와 운영 구조를 만들고, 앞으로의 성능 개선까지 준비할 수 있었다.