tokenizers v1 (rust)
Hugging Face가 다국어 지원과 멀티스레드 성능을 강화한 tokenizers v1을 공개했습니다.
다들 안녕!
나는 Hugging Face의 Aritra야. Hugging Face에서 관리하는 tokenizers 라이브러리 업데이트 소식을 전하려고 왔어. 그동안 큰 변화가 있었는데, 드디어 대망의 버전 1을 릴리즈했다.
우리가 제일 기대하는 부분은 이거야:
> 다국어 지원
> 멀티스레드 스케일링
> 최소화된 패키지 크기
Hugging Face의 tokenizers v1 출시에 대해 긍정적인 반응과 함께 성능 향상 폭에 대한 궁금증 및 chat template 기능 추가 요청이 있었다.
엄청난 성능 향상이네요, 수고하셨습니다.
좋은 말씀 감사합니다! 🤗
저 완전 초보인데요(아마도).. 이거 어디에 쓰는 건가요?
우리는 LLM(또는 사용하는 에이전트)에 평범한 영어(또는 모국어)로 프롬프트를 입력하죠. 모델은 언어를 이해하지 못하기 때문에 이 프롬프트를 숫자로 매핑하는 방법을 찾아야 합니다.
토큰화 알고리즘의 주된 목적은 프롬프트를 토큰이라는 단위 덩어리로 나누고, 모델이 이해하고 처리할 수 있는 숫자로 매핑하는 것입니다.
tokenizers v1은 이 과정을 더 효율적으로 수행하며, 다른 접근 방식이나 프레임워크와 비교했을 때 상당한 속도 향상을 제공합니다. 🤗
GTA 6 나오기 전에 tokenizers v1이 먼저 나왔네
업데이트 감사합니다.
이거 브라우저에서도 작동하나요(WASM으로)?
제가 만든 온라인 토큰화 도구에서 transformers.js를 이걸로 교체해보고 싶네요: https://www.danieldemmel.me/tokenizer / https://github.com/daaain/online-llm-tokenizer
좋네
드디어 Rust ML 툴링이 제대로 대접받기 시작하네! 고마워요!!!
업데이트 고마워. 요청 하나 있는데, chat template 적용할 수 있게 해주면 안 될까? 메시지마다 정확한 토큰 수를 계산해야 하는 워크플로우가 있는데, 지금은 transformers를 써야 해서 로딩에만 20초나 걸려. 너무 짜증 나고 시간 낭비가 심해.
안녕하세요!
Hugging Face 생태계에서 저희는 Rust 백엔드와 파이썬 브릿지로 구성된 tokenizers를 제공하고 있습니다. 찾으시는 답은 이 블로그 포스트에 있습니다: https://huggingface.co/blog/tokenizers
v1 출시 축하해. 내가 제일 기대하는 건 멀티스레드 스케일링이야. 모델 자체가 충분히 빨라지면 토큰화가 조용히 병목 현상이 되거든. 그래서 거기서 얻는 처리량 향상은 전체 파이프라인에 걸쳐서 큰 도움이 되지.
블로그 읽어보기 전에 질문 몇 개만 할게:
아니, 전혀 아니거든. 네가 봇이 아니었다면 그 gif를 봤을 테고, 이게 문제가 되려면 엄청난 동시 작업량이 필요하다는 걸 알았을 텐데.
속도 향상이 얼마나 됨? 겨우 몇 퍼센트 정도라는 소리를 들었는데?
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.