r/LocalLLaMA•약 5시간 전•41•34
Elixir, OCaml, Haskell 등 13개 비주류 언어에 대한 Qwen3.6/3.8 27B 및 GLM-5.3 Flash 성능 테스트
We tested Qwen3.6 27B, Qwen3.8 27B and GLM-5.3 Flash on real tasks in Elixir, OCaml, Haskell and 10 other less common languages
핵심 요약
다양한 프로그래밍 언어에 대한 LLM 코딩 성능을 202개의 GitHub 과제로 벤치마킹한 결과와 사용자들의 경험 공유.
- 벤치마크 대상 — Elixir, OCaml, Haskell 등 비주류 언어 13종 포함
- 모델 성능 비교 — Qwen3.8 27B가 Qwen3.6 대비 43%의 과제 해결률 기록
- 언어별 특성 — 함수형 언어 및 Lisp 계열에서 모델별 성능 차이 발생
- 피드백 및 요청 — 모델 체크포인트 명시와 컴파일 실패/로직 오류 분석 요구
longtail-swe.com
원문 사이트로 이동
안녕! 우리 팀이랑 같이 코딩 벤치마크에선 거의 안 보이는 13개 언어(Elixir, OCaml, Haskell, Clojure, Kotlin, Swift, Julia, R 등)로 된 202개의 실제 GitHub 작업 벤치마크를 만들어봤어. 이런 언어들로 로컬 개발하는 사람들도 꽤 많잖아.
우리가 컴퓨팅 예산이 넉넉하지 않아서, 비교하려고 Qwen3.6 27B랑 Qwen3.8 27B를 딱 집어서 돌려봤거든. Qwen3.8은 작업의 43%를 해결했는데, Qwen3.6이 17%였던 거랑 비교하면 엄청난 거지. 리더보드에서 Kimi K3, DeepSeek, GLM 같은 폐쇄형 모델들이랑 언어별로 쪼개서 비교해 볼 수 있어.
참고할 점 하나: Qwen3.8을 써서 어려운 작업들을 골라냈기 때문에, 점수가 실제보다 좀 낮게 나왔을 수 있다는 거 알아둬.
혹시 이 언어들로 Qwen3.8 로컬에서 돌려본 사람 있으면 후기 좀 공유해 줘.
