새로운 SOTA 1B 모델? HRM-text

그래서 결과가 어떰?

지금 일하는 중이라 지루한 풀스택 작업 중임. 시간 날 때 테스트해보고 알려주겠음. 일단 논리 기반 질문 몇 개 던져봤는데 꽤 괜찮은 답을 내놓긴 했음. 물론 그게 큰 의미는 없으니 종합적인 테스트가 필요함. 주말에 llama.cpp랑 돌아가게 드라이버 같은 것도 짜볼 생각임. gguf로 모바일 성능 잘 나오면 대박일 듯.

llama.cpp 지원 관련 토론이 여기 있음.

이 접근 방식이 규모가 커져도 잘 작동한다면(안 될 이유가 전혀 안 보임), 대형 연구소들이 '훔쳐'가서 이 모델은 존재하지도 않았던 것처럼 굴고 자기들이 개척자인 척할 거임. 정작 위험을 감수한 건 이런 작은 스타트업들인데 말이지. 문제는 총 컴퓨팅 자원이 클수록 모델 성능이 좋아진다는 건데, 너무 느리지 않게 더 나은 스케일링 방식을 적용해야 함. 지금 당장 볼 수 있는 유일한 장점은 우리가 결국...

보고된 결과는 좋아 보이지만, 좀 회의적임. 영상 자체는 고퀄리티지만, 대중 과학 커뮤니케이션의 함정에 빠져서 개념을 너무 단순화한 나머지 틀린 소리를 하는 것처럼 보임. 또 CoT가 전통적인 LLM의 성능을 높이기 위해 덧붙인 일종의 꼼수라는 사실을 무시하는 것 같음. 작업 해결에 CoT가 '필요'한 건 아니고, 그냥 몇몇 경우에 도움이 될 뿐인데. 내가 보기엔 걔네가 비교 대상으로 삼은 모델들은 전부...