맥미니 M4로 LLM 서빙 시작하기 — 스펙 판단부터 첫 벤치마크까지
LLM을 처음 다뤄보는 웹 개발자가 맥미니 M4에서 Qwen2.5 7B를 띄우고, 잘못 알던 것 4가지를 계산으로 걸러내고, TTFT와 prefill 곡선을 측정하기까지의 기록.
LLM을 처음 다뤄보는 웹 개발자가 맥미니 M4에서 Qwen2.5 7B를 띄우고, 잘못 알던 것 4가지를 계산으로 걸러내고, TTFT와 prefill 곡선을 측정하기까지의 기록.
어제 글이 "이게 나오면 내 판단이 틀린 것"이라고 미리 적어둔 조건이 하루 만에 그대로 나왔습니다. 실질금리는 1년 레인지의 꼭대기로 돌아갔고, 변동성 지수는 바닥에 있고, 나스닥은 사상 최고가로 마감했습니다.
연준이 실제로 운영하는 금리가 드디어 25bp 올랐습니다. 그런데 같은 날 시장이 정하는 금리는 전부 내렸습니다. 그리고 코스피는 1.65% 올랐지만, 외국인은 순매도로 끝났습니다.
연준이 올린 금리를 시장은 거의 전부 "실질금리" 상승으로 받아들였습니다. 그런데 정작 위험을 값으로 매기는 쪽 — 신용스프레드와 변동성 — 은 어제보다 더 태연해졌습니다. 그리고 코스피는 이틀 늦게 2.68% 올랐습니다.
연준이 금리를 올렸고, 채권시장은 기대인플레이션을 오히려 끌어내렸습니다. 장단기 금리차는 1년 중 가장 납작해졌습니다. 그리고 코스피는 장중 상승분을 종가에 반납했고, 외국인 순매도는 오후에 세 배로 늘었습니다.
2주 전에 만든 prefill 예측 공식이 실제보다 10~15% 비관적이었습니다. 원인을 찾아 다시 측정했고, 버려야 했던 배치 하나가 오히려 새 공식을 검증해줬습니다.
ollama run은 첫날부터 잘 돌아갑니다. 그런데 그 앞에 HTTP 서버를 하나 세우는 순간, 세 개의 측정 함정이 한꺼번에 튀어나왔습니다. 그중 하나는 제가 열어둔 브라우저였습니다.
미국 2년물·10년물·실질금리가 동시에 1년 범위의 100%에 올라앉은 날, 그것도 FOMC 결정을 몇 시간 앞두고. 그리고 2주 전 "이것만 확인되면 생각을 바꾼다"고 적어둔 조건은 반대 방향으로 움직였습니다.
어제 글이 "이것만 바뀌면 생각을 바꾼다"고 적어둔 조건이 하루 만에 충족됐습니다. 미국 10년물의 상승 원인이 실질금리에서 기대인플레이션으로 넘어갔고, 코스피는 −3.99% 떨어졌습니다.
prefix caching 성능을 재다 3배 어긋난 값을 발견하고, 가설 세 개를 세워 둘을 실험으로 죽이고, 마지막에 원인이 내 측정 방식이었다는 걸 알게 된 기록.