의료용 ASR을 위해 Parakeet 0.6B를 파인튜닝했습니다 — 오픈 웨이트, 로컬 Mac/CUDA/CPU 지원

제 경험상 학습 데이터의 품질은 정말 중요합니다. 데이터셋의 오류 하나가 성능을 급격히 떨어뜨릴 수 있는데, 학습 단계에서 모델이 그 잘못된 값을 외우려고 최선을 다하기 때문이죠. 다른 학습 데이터들은 해당 샘플에 대해 정답을 주겠지만, 모델은 억지로 그 오류를 특별한 차이로 인식하게 됩니다. 결과적으로 작은 변수들 때문에 정답이 오답으로 바뀌게 되죠.

데이터셋을 꼼꼼히 정제하려면 엄청난 노력이...

전적으로 동의합니다. 다만 설명하자면, 그 댓글은 이 모델이나 학습과는 관련 없는 다른 평가 데이터셋에 대한 이야기입니다. 어떤 문제가 있는지 구체적인 내용이 부족해서 더 들어보고 싶네요. 지난 몇 달간 이 데이터셋을 여러 곳(이 서브레딧 포함)에 공유해왔는데 아무런 피드백이 없었거든요.

좋네요. 1B 미만의 파인튜닝 모델이 체급 이상의 성능을 내는 건 제가 제일 좋아하는 분야입니다. 저도 작은 모델들을 연구하고 있는데, 모델 크기를 한계치로 생각하지 않으면 생각보다 훨씬 더 많은 여유 공간이 있다는 점이 항상 놀라워요. 궁금한 게 있는데, 0.6B 모델이 억양이나 소음이 있는 오디오에서도 잘 버티나요, 아니면 깨끗한 음성에서만 성능이 잘 나오는 편인가요? 보통 그 '깨끗함 vs 지저분함'의 격차가 소형 모델의 한계가 드러나는 지점이라서요.

저도 같은 생각입니다. 작은 모델이 체급 이상의 성능을 낼 때 정말 짜릿하죠. 데이터셋을 다양화하려고 노이즈를 섞고 여러 억양을 만들어 넣었는데, 그게 중요하다고 생각합니다. 하지만 여전히 실제 환경의 원본 음성 데이터셋은 구하기가 어려워서, 그런 데이터가 있다면 정말 귀중할 것 같아요. 깨끗한 음성과 지저분한 음성에 대한 지표는 따로 없지만, 다음 버전에서 신경 써보겠습니다!

이거 미국식 영어로 학습된 건가요? 아니면 다른 방언들도 포함됐나요?

우선, 고생 많으셨습니다. 저는 프랑스 의사인데, 당신의 모델을 프랑스어로 학습시켜보고 싶어요.. 혹시 RAG에 사용할 만한 오디오 파일이 있을까요?

좋게 봐주셔서 감사합니다! RAG는 이런 음성 모델과는 작동 방식이 다릅니다. 하지만 v2는 프랑스어를 포함한 다국어 모델이 될 예정이니, 플랫폼을 팔로우하시거나 DM 주시면 출시될 때 알려드릴게요.

정말 흥미롭네요. Parakeet은 크기 대비 정말 강력한 ASR 모델이라 제가 Handy에서 애용하고 있습니다. 세 가지 질문이 있어요:

1. 왜 Parakeet V3나 Canary, 혹은 Qwen 같은 다른 모델로 시작하지 않으셨나요?
2. RAG가 불가능하다는 건 이미 언급하셨지만, 각 베이스 모델이 커스텀 어휘를 통합하는 근본적인 능력에 대해 살펴본 적 있으신가요? 경험하신 내용이나 공유할 만한 배운 점이 있을까요?
3. H...

Parakeet이 훌륭한 로컬 모델이라는 점에 전적으로 동의합니다. 질문에 답해드릴게요:

1. 기본적으로 로컬에서 부드럽게 돌아가고, 특히 MLX 버전이 전용 GPU 없이도 Mac에서 아주 잘 돌아가기 때문입니다(Qwen이나 Canary는 그렇지 않죠). 이건 영어 전용이었고, V2는 영어 성능이 좀 더 좋아질 겁니다. 다음 다국어 버전은 아마 V3를 기반으로 계속할 것 같아요. 클라우드 전용 옵션으로는 다음번에 Qwen을 시도해볼 수도 있겠네요.

좋은 작업이네요. 모델 파인튜닝에 사용한 데이터는 어디서 구하셨나요?