의미 있는 대화를 생성할 수 있는 LLM의 최소 크기는?
The minimum size of an LLM to generate a little meaningful convo
핵심 요약
의미 있는 대화가 가능한 최소 LLM 크기에 대해 질문하며, 10M 이하 모델의 한계를 논의함.
- 모델 크기 한계 — 10M 이하 모델은 문법적 오류가 많고 문맥 파악이 불가능함.
- 권장 파라미터 — 최소 100M~350M은 되어야 기본적인 대화가 가능함.
- CPU 성능 고려 — 1B~4B 모델도 최신 CPU에서 충분히 원활하게 구동 가능함.
- 용도별 차이 — 단순 분류 작업과 달리 텍스트 생성은 더 큰 파라미터가 필수적임.
"정상적인" 영어로 글을 생성할 수 있는 가장 작은 모델을 찾고 있어. AI가 쓴 티가 좀 나도 괜찮긴 한데, 문법은 대체로 맞아야 하고 문맥상 말이 돼야 함.
CPU에서도 잘 돌아가게 10M 미만이었으면 해서 Supra-Mini-v6-1M 같은 걸 테스트해 봤는데, 음... 결과가 영 별로네.
```output
// "Once upon a time"이라는 프롬프트에 대한 출력 결과:
rounded, and dripped a small part and mi, while others.
Clicy for example in Papuano Pauder (18159), is often found as "maping with all" in which we believe from God; (2036): “Body's Give to do a sight is in your bust and is not very old."
Approaching it may look a few days, which includes any kind which gives you to yourself if we have the best name or other cosy to be heard in it). But that you want it, because they say there should only need some kinds to have all you would want you and then you must use their good good fellow, and I can’ln? (1-5): 1.) What does any good biblo mean and do you know that the pets you have come with or are all those that they love me for a lot to learn and give me the word? This was when
```
템플릿으로 돌린 것보다 더 개판이네. 좀 더 나은 결과물 뽑아주는 마이크로 LLM 뭐 없냐? 최소 파라미터는 어느 정도여야 함?
고맙다!
