밀집형 9b 모델에 대한 관심이 여전히 높을까?

모델 하나 완성했고, 이제 학습 돌릴 준비 끝났다. 파라미터는 9b 정도 됨.

정확히는 9.4b. 1/2/3 Engram 테이블이랑 Moonshot의 AttnRes 모델링, 그리고 메이저 연구소들에서 얼추 검증된 3:1 비율의 RoPE / NoPE 레이어링까지 다 때려 박았음. 시작점은 Llama 3 시리즈 토크나이저랑 LM Head 썼고, 데이터는 Llama 3 티칭 모델에서 추출한 로짓 레벨 데이터 먹였음.

모델 안정적인지 확인하려고 첫 학습 단계는 이미 돌려봤다.

이제 모델 프리 IT(pre-IT) 학습 좀 돌려보려고 하는데, 솔직히 사람들이 이걸로 정확히 뭘 하고 싶은 건지 잘 모르겠네. 그래서 IT 학습 방향은 그냥 오픈 표준 중 하나인 "Thinking" 기능 넣어주는 거 말고는 좀 애매한 상태임.

솔직히 말해서? 사람들이 이걸 어디에 쓰든 알 바 아님. 그냥 쓰기만 하면 됨. 어차피 세상에 던져놓을 생각이었고, LocalLlama라면 쉽게 공유할 수 있을 것 같아서 여기 올림.

이론상으로는 학습만 충분히 시키면 지금 돌아다니는 9b급 모델들보다는 훨씬 성능 좋을 거임. 물론 난 연구소가 아니라서 그쪽 같은 예산은 없음. 데이터 생성 같은 건 전부 4090이랑 대여한 하드웨어로 굴렸음.

학습 코드는 RTX 6000 Pro 시리즈 카드에서 돌아가게 빡세게 최적화해 놨다. 딱 카드 한 장으로 돌아감.

내 Engram 연구는 Qwen 모델 나오기 전부터 하던 거임. Qwen 보니까 내가 썼던 테이블 2개 말고 레이어에 1개만 넣어도 충분하더라고. 2개 넣었을 때랑 비교해도 1개 넣은 게 이득의 대부분을 가져감.

코드랑 데이터 전부 오픈 소스로 풀 거임. 알 게 뭐야. 어차피 지금도 다 공개 리포지토리에 올라와 있어서 기술적으로는 이미 오픈 소스나 다름없음. 그냥 내가 이걸 계속 붙잡고 있을 가치가 있나 싶어서 고민 중일 뿐. 최소한 몇백 달러 정도는 태워서 "기능하는" 프리 IT 모델이랑 IT 데이터셋은 만들어 볼 생각임. 아마 IT 데이터셋 돌리기 전에 프리트레이닝이 더 필요할 것 같긴 한데, 이런 식의 학습에 대한 정확한 수치를 공개하는 놈이 없어서 잘 모르겠다.

혹시 데이터센터 쪽 아는 사람 있어서 시스템 빌려줄 수 있으면, 다 같이 보면서 공용 모델로 굴려도 되고. 일단 이름은 "Budget"이라고 지어놨는데... Localllama 놈들이 알아서 이름 붙이든가.

처음부터 끝까지 다 짜고 데이터 생성하고 하는 거 재밌었음. vLLM에서 문제도 발견해서 리포지토리에 리포트했는데, 너희들한테도 도움 될 거다. 프롬프트 로딩 코드 쪽에서 10배에서 100배 정도 더 빨라질 수 있는 부분 찾아서 예시 코드도 줬음.

여기까지 읽었으면 고맙다.

논문 너무 많이 읽고 시간 남아도는 ML 하는 놈이 씀.

수정; Apache 2.0 라이선스 문제 좀 검토해 봤는데, Llama 토크나이저나 데이터를 쓰는 거에 큰 구멍이 있네. 라이선스 문제 때문에 걔네 모델에서 나온 합성 데이터도 마음대로 못 씀. 그냥 타겟을 OLMo 3 시리즈로 바꿔야 할 듯. 데이터 다시 뽑고 코드 수정 좀 하고 일주일 뒤에 다시 오겠음.

오픈 소스 언센서드 Goon 모델 어떠냐? 모델이 그냥 연구용 유물로 끝나지 않고 사람들이 실제로 쓸 만한 틈새시장을 찾고 있음. 연구용으로 만드는 건 당연한 거고, 진짜로 이걸 써줄 사람들이 있을지가 관건임. 다 공짜니까 돈 뜯어낼 생각은 전혀 없다. 코드랑 데이터는 GH/HF에 다 있음.