Local LLM: 집에 있는 GPU 한 장으로 만든 사내형 LLM 플랫폼

RTX 4060 Ti (8 GB) 한 장 위에, 회사가 사내 LLM 서비스를 운영하는 방식 그대로 만들었습니다. 클라이언트는 모델과 직접 대화하지 않고, vLLM 앞의 Kotlin 게이트웨이가 인증, 라우팅, GPU 대기열, 사용량 집계를 맡습니다. 내 문서로 답하는 RAG, 매일의 경제 뉴스와 공시를 출처가 달린 그래프로 바꾸는 이슈 링커, Prometheus·Grafana 알림과 백업까지 직접 운영합니다.

어떻게 만들었나 보기 →: 요청이 노드를 지나가는 길을 움직이는 지도로 보여 주고, 각 선택 뒤의 측정값(처리량, 첫 토큰 시간, 검색 정확도, 리랭킹, 청킹)과 만들면서 겪은 문제를 정리했습니다. 한국어와 영어로 볼 수 있어요.

플랫폼 자체는 집에서 비공개로 돌아가고 Tailscale로만 접속할 수 있어서, 이 페이지는 앱 안의 페이지를 정적으로 옮긴 사본입니다.