r/LocalLLaMA•약 2개월 전•52•35

최고의 임베딩 + 리랭킹 모델 추천

Best Embedding + Reranking Model

핵심 요약

번역 메모리 서버를 위한 최적의 로컬 임베딩 및 리랭킹 모델 조합과 벤치마크 결과를 공유함.

최적의 조합 — F2LLM V2:4b와 Zerank 2:4b 조합이 압도적인 성능을 보임
벤치마크 결과 — MRR 0.919 및 R@20 98.4%로 상위권 성능 기록
모델 운영 — 모든 로컬 모델은 Llama CPP Q8_0 양자화 환경에서 실행됨
오픈 소스 기여 — Notion이 인수한 Zeroentropy의 Zerank 2가 오픈 소스로 공개됨

다들 RAG 돌릴 때 어떤 로컬 임베딩이랑 리랭킹 모델 쓰냐?

번역 메모리 서버에 쓸 임베딩 모델이랑 리랭커 찾다가 이 짓거리에 제대로 발 담그게 됐다.

핵심은 이거임. 영어로 된 X 구문/단어/문장/문단이 주어졌을 때, 이미 번역된 타겟 언어에서 비슷한 놈을 찾아낼 수 있냐는 거지. 서구권이랑 동양권 언어 15개 정도를 다뤄야 함.

이 용도로는 F2LLM V2:4b + Zerank 2:4b 조합이 시장에 있는 다른 거 다 씹어 먹는다. 내가 돌려본 벤치마크 결과는 이거임:

Embed Model	Reranker Model	MRR	Re-Δ	R@20
BGE M3 0.6B	BGE M3 Reranker V2 0.6B	0.821	-1.60%	91.90%
BGE M3 0.6B	Qwen 3 Reranker 0.6B	0.776	-7.50%	91.90%
F2LLM 1.7B	Zerank 1 1.7B	0.871	-2.20%	96.80%
Qwen 3 Embed 4B	Qwen 3 Reranker 4B	0.739	11.00%	77.50%
Zembed 4B	Zerank 2 4B	0.664	25.80%	67.10%
F2LLM 4B	Zerank 2 4B	0.919	2.40%	98.40%
F2LLM 8B	Zerank 2 4B	0.922	1.60%	99.20%
PPLX Embed V1 4B	Zerank 2 4B	0.8825	10.10%	91.90%
Octen Embed 4B	Zerank 2 4B	0.853	12.40%	89.00%
Voyage 4 Large [API]	Voyage Rerank 2.5 [API]	0.889	8.50%	94.70%

여기서 MRR은 Mean Reciprocal Rank, 즉 최종 점수고, Re-Δ는 리랭커가 얼마나 도움 됐는지, R@20은 검색된 20개 항목 안에 정답 번역이 있었는지 나타냄.

원문

커뮤니티 목록

r/LocalLLaMA•약 2개월 전•52•35

최고의 임베딩 + 리랭킹 모델 추천

Best Embedding + Reranking Model

핵심 요약

번역 메모리 서버를 위한 최적의 로컬 임베딩 및 리랭킹 모델 조합과 벤치마크 결과를 공유함.

최적의 조합 — F2LLM V2:4b와 Zerank 2:4b 조합이 압도적인 성능을 보임
벤치마크 결과 — MRR 0.919 및 R@20 98.4%로 상위권 성능 기록
모델 운영 — 모든 로컬 모델은 Llama CPP Q8_0 양자화 환경에서 실행됨
오픈 소스 기여 — Notion이 인수한 Zeroentropy의 Zerank 2가 오픈 소스로 공개됨

다들 RAG 돌릴 때 어떤 로컬 임베딩이랑 리랭킹 모델 쓰냐?

번역 메모리 서버에 쓸 임베딩 모델이랑 리랭커 찾다가 이 짓거리에 제대로 발 담그게 됐다.

이 용도로는 F2LLM V2:4b + Zerank 2:4b 조합이 시장에 있는 다른 거 다 씹어 먹는다. 내가 돌려본 벤치마크 결과는 이거임:

Embed Model	Reranker Model	MRR	Re-Δ	R@20
BGE M3 0.6B	BGE M3 Reranker V2 0.6B	0.821	-1.60%	91.90%
BGE M3 0.6B	Qwen 3 Reranker 0.6B	0.776	-7.50%	91.90%
F2LLM 1.7B	Zerank 1 1.7B	0.871	-2.20%	96.80%
Qwen 3 Embed 4B	Qwen 3 Reranker 4B	0.739	11.00%	77.50%
Zembed 4B	Zerank 2 4B	0.664	25.80%	67.10%
F2LLM 4B	Zerank 2 4B	0.919	2.40%	98.40%
F2LLM 8B	Zerank 2 4B	0.922	1.60%	99.20%
PPLX Embed V1 4B	Zerank 2 4B	0.8825	10.10%	91.90%
Octen Embed 4B	Zerank 2 4B	0.853	12.40%	89.00%
Voyage 4 Large [API]	Voyage Rerank 2.5 [API]	0.889	8.50%	94.70%

여기서 MRR은 Mean Reciprocal Rank, 즉 최종 점수고, Re-Δ는 리랭커가 얼마나 도움 됐는지, R@20은 검색된 20개 항목 안에 정답 번역이 있었는지 나타냄.

주요 댓글

r/localllama

사용자들은 8b 모델의 성능 이점과 양자화에 따른 성능 저하 여부를 두고 토론하며, 작성자는 4b 모델의 효율성을 강조함.

다국어 MTEB 섹션에 따르면 Qwen3-Embedding-4B가 F2LLM-v2-4B보다 몇 점 더 높게 나옴. 검색 성능 기준으로만 정렬하면 차이는 더 커짐. 그런데 네 벤치마크에서는 큰 차이가 나네. 혹시 Zerank 조합 때문일까? 그것도 테스트해 봤어?

나는 Qwen3-Embedding-4B-Q4_K_M을 대량의 음성 발화 데이터에 사용 중인데, 내가 시도해 본 그 어떤 것보다 훨씬 잘 작동함. 벤치마크에서 특정 임계값을 넘어서는 몇 점 차이가 이전의 몇 점 차이보다 훨씬 더 큰 의미를 갖는 것 같음. 임베딩 모델에 대한 요구 사항이 매우 높았는데, 이 모델이 그걸 해결해 줬어.

F2LLM 한번 써보셈

개별 언어별로 확인해보면 F2LLM이 사실상 모든 면에서 앞서고 있음.

어쨌든, 내가 발견한 공통적인 경향인데, Qwen 3 임베딩 모델들은 벤치마크에서는 보통 이기지만 내 경우처럼 맞춤형 유즈케이스에서는 점수가 더 낮게 나옴.

그리고 맞음, Zerank 2는 인스트럭션 팔로잉(instruction-following) 기능이 추가되면서 진짜 제대로 꽃을 피웠음. Qwen 리랭커들도 그 기능을 지원하는 걸로 알고 있음.

예전에는 이런 식이었지:

"How are you?"
<번역 1>
<번역 2>
...

이제는 이런 인스트럭션과 함께:

"How are you?"의 X 언어 번역을 찾아라
<번역 ...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

현재로선 Qwen 3 8B VL 임베딩이랑 리랭커가 사용 가능한 최고의 오픈 모델들이야. 그 이후로 별다른 개선은 없었어!

이게 내 스택인데 아주 잘 작동함. 나는 임베딩 모델을 돌리고 나서 리랭킹에는 bge m3를 사용함. 아주 잘 돌아감

난 그냥 gte-modernbert-base 쓰고 있어. 충분히 좋고 다른 모델들보다 훨씬 작아서 아주 빠르게 처리돼. 같은 그래픽카드에서 다른 모델을 이미 돌리고 있어서 VRAM 여유가 별로 없는 나한테는 이게 이상적인 모델이야.

난 그냥 CPU에서 MxBAI 대형 모델들 쓰고 있어.

잠깐 시도해 봤는데 - 진짜 별로였음.

이 분야를 이제 막 공부하는 중이라 당연한 질문일 수도 있는데 양해 부탁해.

벤치마크에서 Qwen3-embedding-8b가 제외된 특별한 이유가 있어?

그리고 이 벤치마크는 비양자화(unquantized) 상태로 진행된 거야? 비양자화였는지 Q8 양자화였는지 가물가물한데, 양자화가 임베딩 모델 성능을 크게 떨어뜨린다고 들었거든. 예를 들어 VRAM이 제한적이라면 Qwen3-embedding-8b를 양자화해서 쓰는 것보다 Qwen3-embedding-4b를 비양자화로 쓰는 게 낫다는 식으로 말이야...

8b 모델로 초기 테스트를 좀 해봤는데 4b 모델이랑 결과가 너무 비슷했어. Qwen 3 8b는 Qwen 3 4b랑 거의 똑같았거든. F2LLM 8b도 벤치마크에 나온 F2LLM 4b랑 비슷하고, Octen 8b도 Octen 4b랑 비슷했어.

늘어나는 레이턴시를 감수할 가치가 없다고 판단했어.

원문r/LocalLLaMA