커스텀 WebGPU 커널을 사용해 브라우저에서 1,400 tok/s로 구동되는 LFM2.5 230M

난 이 LFM SLM들을 단순 개념 증명 이상으로 잘 쓰고 있음. 임의로 긴 텍스트 시퀀스에서 RLM 돌리는 거 보면 진짜 훌륭하고 RAG를 구식으로 만들 잠재력이 있음. 내 워크플로우 몇 개에서 테스트해보면 사용 사례가 얼마나 많은지 깜짝 놀랄 거임. 그리고 이건 예전 tinyLlama 같은 수준이 아님, 초기 SLM 시도들보다 몇 배는 더 나음. 물론 라이선스가 골치 아픈 건 우리 모두 알지만...

직접 한번 해봐, 아마 놀랄걸.

난 Edge AI Accelerators로 박사 과정 밟고 있음. 우리 베어메탈 환경에선 DRAM 읽기조차 비싸고 드문 경우로 취급되는 1MiB Scratchpad SRAM만 쓰는데, 이런 기술이 딱 필요함 ㅋㅋ.