Aurora1.0-150M 출시!

맞는 말임. n-gram이랑 PLEs 연구하는 입장에서, 작은 모델은 그냥 학습시켜서 결과가 어떻게 나올지 확인하기에 너무 좋음. 작은 모델에서 성공하면 큰 모델로 학습시켜서 시간 아끼기도 쉽고. 물론 큰 모델로 넘어갈 때 생기는 에러 유형은 다르겠지만, 바로 큰 모델로 뛰어드는 것보다는 확실히 적을 거임.

난 Emacs에서 간단한 비서 용도로 LFM 350m을 쓰고 있어. 코딩용은 아니고 그냥 새 버퍼를 열거나 이름 바꾸기, 테마 변경 같은 거 할 때 써. 단일 도구 하나만 쓰는 단순 작업에는 꽤 잘 돌아가.

거의 즉각적으로 반응함

맞아, 네 말이 맞아. SLM(소형 언어 모델)들이 Arc-Challenge에서 고전하거든.

LFM2.5-230B랑 비교하면 어때?

1.7B 모델은 1년 동안 꽁꽁 숨겨둬라. 위험할 수도 있으니까.

그러니까 GPT-2인데 훨씬 작아진 버전이라는 거지?

좋네. 좀 지저분하더라도 학습 코드랑 데이터 준비 과정, 설정값 같은 걸 공개하는 걸 고려해 봐. 사람들이 아마 도와줄 수 있을 거야.