llama server 기본 포트가 8080에서 9931로 변경됨

qwen 3.6이 8080 포트에서 서버를 띄우려다 포트가 사용 중이라 실패하고, 그 포트를 쓰던 프로그램이 모델 뒤의 추론 엔진이라는 고려도 없이 그냥 죽여버리는 일을 겪었음. 실제로 두 번이나 그랬지. 뭐 어떤 모델들은 다른 모델보다 멍청하긴 한데, llama.cpp(vllm이나 sglang 같은 프로덕션용이 아니라 1인용이나 홈 셋업 위주)를 쓸 때는 바로 그런 멍청한 놈들이 포트를 점유하고 있단 말이지. 그래서 난 이게 타당한 완화 조치라고 봄.

마치 1에서 10 사이의 랜덤 숫자를 고르라고 하면 사람들이 7을 비정상적으로 많이 고른다는 연구랑 비슷한 거 아닐까? LLM들은 그걸 더 비정상적으로 많이 고르겠지. 여기선 그게 온갖 '스모크 테스트'나 뭐 그런 깡통들이 실험용으로 쓰는 8080 포트인 거고.

그럼 다른 것들은 다 같이 어떻게 실행하라는 거야? 보통 포트 파라미터가 있긴 하잖아.

llama.cpp 사용자들한테 이건 그냥 도구의 포트를 수정하거나 8080으로 강제하라는 뜻일 뿐임.

이건 멍청하고 무의미한 변경이야.

내 에이전트가 대신 읽어주는데 내가 왜 읽음?

우연히 https://github.com/ggml-org/llama.cpp/issues/26116#issuecomment-6262546613 이걸 봤거든. 알면 알수록 신기하네.

며칠 전에 이 MR을 뉴스로 올리고 싶었는데, 아무도 눈치챌지 궁금했거든 ;) 너희들 로컬 모델 쓰지, 그치? ;)

나도 글 올리기 전에 서브레딧 검색해 봤는데 분명히 이미 올라왔을 줄 알았어. 다들 튜토리얼에 나오는 대로 포트를 수동으로 설정하나 봐.