Nemotron-3.5 임베딩, 파싱, 리랭크 모델 출시

파싱 모델 좀 흥미롭네. 누가 전용 청킹 모델 좀 만들어줬으면 좋겠다고 생각하고 있었거든.

공식 발표 블로그 포스트: https://huggingface.co/blog/nvidia/nemotron-retriever-world-class-agentic-retrieval 많은 분야에서 SOTA인 것 같네! 1B 임베드 모델이 텍스트-이미지 검색에서 Qwen3-VL-Embedding-8B를 능가하는 것 같은데, 진짜 미쳤다.

내 사용 사례에 딱 맞아서 한번 써보려고. 유일한 단점은 pgvector 제한 때문에 matryoshka로 결과 벡터를 다듬지 않으면 postgres를 쓸 수 없다는 건데, 그게 얼마나 중요한지 테스트해 볼 생각이야. 그래도 Reranker는 진짜 크네.

Parse 모델은 내 문서들에는 굳이 필요 없을 것 같아서 테스트 안 할 거야.

노름(norm)만 다시 스케일링해주면 벡터를 잘라낼 수 있게 설계되어 있음. 솔직히 성능 저하가 꽤 있는 것 같긴 함. 그래도 fp16으로 쓰면 96차원 정도만 잘라내면 되니까 생각보다 나쁘지 않을 수도 있음. pgvector 써본 경험은 어떰? 우리도 그거 고려 중인데, 임베딩 차원이 크면 굳이 고생할 가치가 있는지, 아니면 그냥 qdrant로 갈아타는 게 나을지 고민 중임.

임베딩 모델들은 Nemotron 3이랑 똑같은 frozen text embedding을 쓰더라(내가 직접 확인해 봄). 우리 테스트 결과 Nemotron 3은 Qwen 임베딩을 포함해서 우리가 테스트해 본 그 어떤 모델보다도 압도적으로 성능이 좋았음. 유일한 단점은 8B 임베딩 모델은 문서 인제스트(ingest)하는 데 시간이 너무 오래 걸리고, 8B 리랭커(reranker)는 런타임 연산이 더 많이 든다는 거임. 1B 리랭커조차도 우리 RAG 프로세스에 3초 정도를 추가하는데, 8B 모델이면 아마 6~8배는 더 걸릴 듯.