Audio processing landed in llama-server with Gemma-4
llama.cpp 서버에서 Gemma-4 모델을 활용한 로컬 STT 기능이 공식 지원됨.
신사 숙녀 여러분, llama.cpp(llama-server)가 이제 Gemma-4 E2A 및 E4A 모델을 사용한 STT를 지원한다는 소식을 전하게 되어 매우 기쁩니다.
로컬 STT 기능 추가에 대해 큰 기대감을 보이면서도, 기존 모델들과의 성능 비교 및 초기 버전의 안정성 문제에 대한 논의가 활발함.
이게 Whisper보다 전사 성능이 더 좋을지 궁금하네.
솔직히 Parakeet이 이미 Whisper보다 나음. 침묵 구간에서 헛소리 안 하는 모델이면 뭐든 Whisper보단 낫지.
Parakeet은 진짜 대박이고 CPU에서도 엄청 빠름. Gemma-4는 Parakeet이랑 비교하면 어떤지 궁금하네. E2B랑 E4B에만 들어간 건 좀 아쉽다.
지원하는 언어가 별로 없잖아.
Whisper도 쓸만한 WER(단어 오류율) 나오는 언어는 별로 없는데 뭐.
글쎄, 난 둘 다 써봤는데 내 경험상 'commit to git' 같은 거 알아듣는 건 Whisper가 훨씬 나았음.
ㅇㅇ 나도. 누가 이거 테스트 좀 해줬으면 좋겠다.
잠깐, 그럼 llama.cpp에서 네이티브 오디오 지원이 진짜 되는 거야? 이거 대박인데. 따로 Whisper 파이프라인 안 돌려도 되길 기다리고 있었거든.
동감이야. llama-server가 REST API로 이걸 지원해주면, 완전히 로컬에서 처리되는 '에이전트와 대화하기(STT)' 솔루션을 만들 수 있지.
이미 했지! llama-swap으로.
어떤 Voxtral 모델 말하는 거야? vllm Omni 쓰는 4B TTS?
마이크에서 바로 텍스트로 변환되는 기능도 곧 나올까? 아니면 여전히 녹음하고 파일 변환해서 업로드해야 하는 거야? 임시방편으로 구현은 해봤는데, 네이티브로 지원되면 진짜 대박일 듯.
스페인어로 테스트해봤는데 완벽하진 않아도 꽤 정확함. 맘에 들어. Whisper보다는 확실히 나은 듯.
예시 좀 보여줄 수 있어?
아직 해결해야 할 문제들이 좀 있는 듯. 지금 상태로는 5분 넘는 오디오는 거의 못 쓰는 수준임. Voxtral이 훨씬 잘 작동해. 난 E4B Q8_XL 퀀트에 BF16 mmproj 써서 테스트 중이야 (다른 mmproj 포맷은 성능 저하가 심해서 이게 권장됨). 긴 오디오 처리하면 이런 에러가 뜨네: llama-context.cpp:1601: GGML_ASSERT((cparams.causal_attn || cparams.n_ubatch >= n_tokens_all) && "non-causal attention requires n_ubatch >= n_tokens
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.