Github Copilot finally supporting custom endpoints
GitHub Copilot이 커스텀 엔드포인트를 지원하기 시작했으나, 로컬 LLM 연동 시 생각하는 토큰 처리 등 기술적 문제가 보고됨.
[이미지]
[이미지]
방금 확인했음.
사용자들은 Copilot의 커스텀 엔드포인트 지원을 환영하면서도, 컨텍스트 관리 효율성과 향후 과금 정책에 대한 의구심을 나타내고 있습니다.
예전에 llama.cpp로 이거 설정해보려 했는데, Copilot이 생각하는 토큰(thinking tokens)을 제대로 못 받아들여서 포기했었음. Copilot이 토큰을 아예 안 보내는 것 같은데, 그래서 모델이 제대로 작동을 안 하는 듯. 찾아보니까 DeepSeek API도 생각하는 토큰을 못 받아서 에러 난다는 보고가 있는데, 아직 해결책은 안 보임. 또 다른 문제는 llama.cpp가 OpenAI API를 지원하긴 하지만...
나도 방금 확인했음. 가끔 생각하는 과정에서 멈춰버리고 llama.cpp 로그에 슬롯 타이밍 출력만 미친 듯이 찍힘.
프롬프트를 따르고 에이전트 작업을 수행하는 능력의 상당 부분은 모델 위에 설정된 프롬프트 구성에 달려 있어. 대부분의 GGUF 형식 모델은 이미 지침이 내장되어 나오거든. 그걸 재정의해야 할 수도 있어. 그냥 바로 써본 바로는 https://huggingface.co/Jackrong/Qwen3.5-9B-DeepSeek-V4-Flash 이 모델로 꽤 좋은 성과를 내고 있어.
이거 진짜 기다렸음. 커스텀 엔드포인트 쓰면 Copilot을 OpenAI 호환 API 어디든 연결할 수 있어서 활용도가 엄청나지. DigitalOcean 서버리스 추론도 테스트해 볼 만함. 거긴 GPU 관리할 필요 없이 토큰당 과금되는 오픈 모델 카탈로그를 제공하는데, IDE 자동완성은 사용량이 들쭉날쭉하니까 토큰당 과금 방식이 딱임. Copilot으로 돌렸을 때 실시간 자동완성이랑 챗 스타일 요청 간의 레이턴시 차이가 얼마나 날지 궁금하네.
응, Qwen3.6 27B, 35B A3B랑 새로 나온 Gemma4 26b a4B QAT로 테스트 중이야. llamacpp를 통해서 하고 있고, OpenRouter 크레딧도 좀 있어서 나중에 그것도 써볼까 해.
VS Code Insiders 버전에는 꽤 전부터 있었음. 잘 작동하긴 하는데 임베딩이나 검색 툴 같은 거 쓰려면 여전히 코파일럿 구독이 필요한 것 같더라. 그래도 Kilo나 Roo보다는 훨씬 나음.
조심해라, 이거 함정인 것 같다. BYOM 기능으로 이미 코파일럿을 쓸 수는 있었는데, 로컬 모델을 지원 안 해서 꼼수로 프록시 설정해서 써야 했거든. 처음엔 개꿀이라 생각했고 잘 작동했지. 근데 이번에 크레딧 기반 과금 체계로 바뀌면서 에이전트 작업이나 툴 사용 같은 거에 크레딧을 차감하기 시작했어. 자기 모델을 써도 말이야. 그래서 이제야 이걸 풀어준 거임. 에이전트 기능 무료 할당량 다 쓰면 바로 돈 뜯어내려고.
그럼 왜 로그인 안 하고 완전히 오프라인으로 쓸 수 있게 만든 거야?
입력이랑 출력 토큰을 따로 설정하게 강제하는 거 진짜 짜증남. 내가 써본 다른 하네스들은 안 그러거든. 보통은 프롬프트가 생성할 수 있는 최대 출력 토큰 제한은 있어도 전체 제한은 없는데. VRAM 제한이 있는 로컬 LLM의 경우 128K 컨텍스트를 입력/출력 제한으로 명시적으로 나눠야 해서, 특정 작업에서 토큰이 많이 생성되면 입력 토큰 제한에 여유가 있어도 출력 토큰 제한에 걸려버림. 이 광기 속으로 더 깊이 파고들수록...
Opencode가 더 낫고 더 자세함. 적어도 모델이 뭘 하는지 알 수 있는데, Copilot은 메시지 6개 정도로 컨텍스트를 다 잡아먹어 버리거든.
좀 기다려 봐. 이 '모든 것에 과금하는' 모델은 아직 너무 새로워서 Azure 요금제보다 더 복잡해. 다들 뭘 위해 돈을 내는지 정확히 모르는 상태야. 그냥 Copilot을 외부 모델이랑 같이 쓰면 결국 돈이 나갈 것 같은 느낌이 들어. 그냥 직감이야.
만약 그렇게 되면 언제든 Opencode로 돌아가면 되지.
이 입력 및 출력 토큰 양은 모델의 컨텍스트 윈도우 크기에 맞춰야 해서 모델 사용 방식을 제어하는 데 실제로 쓰임. 제대로 설정하면 컨텍스트가 너무 커질 때 자동으로 조절되지만, 안 그러면 그냥 깨져버리지. KV 캐시가 모델 자체 다음으로 VRAM을 가장 많이 차지하고, 모델의 활성 컨텍스트 윈도우에 따라 이차함수적으로 증가한다는 걸 명심해. 성능이 개판이 되기 전에 모델의 컨텍스트 윈도우를 VRAM에 맞게 설정해야 함.
응 알고 있어. 지금 내 모델들에 설정해둔 값들은 전부 GPU에 딱 맞게 해놨어.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
Claude Opus 5.5의 성능 저하 여부를 실시간으로 추적하는 오픈소스 벤치마크 도구 'LiveNerf'가 공개되어 큰 호응을 얻고 있습니다.
Claude Opus 5.5의 성능 저하 여부를 실시간으로 추적하는 오픈소스 벤치마크 도구 'LiveNerf'가 공개되어 큰 호응을 얻고 있습니다.
