RTX 5060 Ti 리프레시: 테스트된 5060 Ti 프리셋, 고컨텍스트 하네스, Qwen3.8 27B

RTX 5060 Ti 로컬 LLM 저장소 관련해서 짧게 업데이트함. 이전 글 올린 이후로 꽤 많이 바뀌었음.

원래는 그냥 실무적인 메모랑 벤치마크 결과 모아두는 용도였음. 처음엔 유용했는데, 데이터가 쌓이다 보니까 사람들이 진짜 궁금해하는 질문에 답하기가 점점 어려워지더라고.

그래서 뭘 써야 하냐?

이제는 벤치마크 성공했다고 무조건 메인에 올리는 방식 대신, 확실하게 검증된 '복붙용 프리셋' 위주로 저장소를 싹 갈아엎었음.

뭐가 바뀌었냐?

이제 프로젝트를 세 가지로 확실하게 나눴음:

• Presets: 사람들이 바로 복사해서 쓸 수 있는 정확한 설정값.
• Evidence bundles: 컨텍스트 적합성, 리트리벌(검색), 지속적인 생성 성능, 실제 퍼포먼스에 대한 검증된 증거.
• Raw receipts: 재시도, 실패한 실험, 진단용 실행 기록. 이건 추천 목록에 자동으로 올라가지 않게 엔지니어링 자료로 따로 분리함.

이제 웹사이트 들어가면 바로 검증된 프리셋 카탈로그부터 나옴. 결과 탐색기는 여전히 남아있어서 비교나 과거 데이터 확인은 가능하지만, 방문자가 처음부터 머리 싸매고 해석할 필요는 없게 만들었음.

현재 1× 및 2× RTX 5060 Ti 환경에서 공개된 프리셋은 총 7개임:

1× RTX 5060 Ti 16GB

• Qwen3.8 27B IQ3_XXS (64K, q8 KV, 내장 MTP)
• ThinkingCap Qwen3.6 27B IQ3_M (64K)
• Nail 35B-A3B IQ3_XXS (설정된 131K 경로)

2× RTX 5060 Ti 16GB

• Qwen3.8 27B Q6_K (131K)
• ThinkingCap Qwen3.6 27B Q6_K (131K)
• Nail 35B-A3B Q4_K_XL (131K)
• Muse Glimmer 30B dynamic Q4 (131K, DFlash)

1×랑 2× 환경은 내가 로컬에서 테스트 가능한 범위일 뿐, 프로젝트의 한계치는 아님. 토폴로지랑 서빙 설정만 제대로 보고된다면 3×/4× 구성이나 혼합 GPU, 다른 CUDA 하드웨어도 데이터 모델이랑 기여 경로에서 다 지원함.

새로운 고컨텍스트 하네스(Harness)

단순히 컨텍스트 사이즈 크게 설정했다고 프리셋이 검증되는 건 아님.

새로운 하네스는 모델의 실제 토크나이저에 맞춰 프롬프트를 보정하고, 프롬프트 캐싱을 끄고, 각 요청마다 고유한 nonce를 부여한 뒤 다음 과정을 반복함:

• 테스트하는 컨텍스트 티어 근처에서의 장문 컨텍스트 리트리벌.
• 클라이언트가 확인할 수 있는 답변이 나올 때까지 충분한 작업을 수행하는 지속적 생성.

실패한 티어나 불완전한 실행 결과는 조용히 추천 목록으로 넘어가는 게 아니라 전부 기록됨. 스크립트가 후보 리포트를 뽑아낼 순 있어도, 자동으로 추천 상태를 부여하거나 게시할 수는 없음.

이 방식으로 모델이 기술적으로는 큰 컨텍스트를 로드했더라도 리트리벌에 실패하거나, 숨겨진 추론 과정에서 멈추거나, 제대로 된 결과물을 못 내놓는 경우를 이미 여러 번 잡아냈음.

Qwen3.8 27B 결과

현재 추천하는 싱글 카드 설정은 다음과 같음:

• IQ3_XXS
• 64K 컨텍스트
• q8 KV
• 내장 MTP, n=2
• 45.9K 토큰 프롬프트 기준, 지속적 디코드 약 29.8 tok/s • 캐시되지 않은 리트리벌 2회 및 지속적 결과 확인 2회 통과