r/LocalLLaMA•3개월 전•34•14

바닥부터 GGUF 추론기를 직접 만들어 봤음, 무엇이든 물어보세요

I wrote a GGUF inferencer from scratch, AMA

핵심 요약

R 언어로 GGUF 추론기를 직접 구현한 개발자가 학습 과정을 공유하며 새로운 프로젝트 아이디어를 구함.

GGUF 추론기 구현 — R 언어를 사용하여 학습 목적으로 바닥부터 직접 개발함.
성능 이슈 — 토큰당 60초가 걸리는 매우 비실용적인 속도를 기록함.
글쓰기 스타일 논쟁 — 본문의 과도한 볼드체와 대시 사용이 LLM 생성물로 오해받음.
향후 계획 — GPU 커널과 메모리 관리를 포함한 실용적인 추론기 개발을 고민 중임.

*특정 모델을 위해, R 언어로. 아~주 비실용적임.

토큰당 60초, 꿀맛 😋
바이브 체크용은 아니고, 그냥 우리 쪽에서 아키텍처가 어떻게 돌아가는지 배우고 싶었음 ㅋㅋ (그리고 karpathy 가이드들은 다 구식이라 😢)
글은 여기에 있는데, 이미 수학적 원리를 잘 안다면 좀 뒷북일 수도 있음.

다음에는 진짜 쓸만한 추론기를 만들어보고 싶음 (알다시피, 제대로 된 GPU 커널이랑 메모리 관리가 들어간, 사람들이 실제로 쓰는 언어로) 근데 마땅한 틈새시장을 못 찾겠음... llamacpp가 이미 다 돌아가고 있어서 :/

원문

커뮤니티 목록

r/LocalLLaMA•3개월 전•34•14

바닥부터 GGUF 추론기를 직접 만들어 봤음, 무엇이든 물어보세요

I wrote a GGUF inferencer from scratch, AMA

핵심 요약

R 언어로 GGUF 추론기를 직접 구현한 개발자가 학습 과정을 공유하며 새로운 프로젝트 아이디어를 구함.

GGUF 추론기 구현 — R 언어를 사용하여 학습 목적으로 바닥부터 직접 개발함.
성능 이슈 — 토큰당 60초가 걸리는 매우 비실용적인 속도를 기록함.
글쓰기 스타일 논쟁 — 본문의 과도한 볼드체와 대시 사용이 LLM 생성물로 오해받음.
향후 계획 — GPU 커널과 메모리 관리를 포함한 실용적인 추론기 개발을 고민 중임.

*특정 모델을 위해, R 언어로. 아~주 비실용적임.

주요 댓글

r/localllama

작성자의 GGUF inferencer 개발 시도에 대해 기술적 호기심을 보이거나 기존 도구인 Llamacpp와의 중복성을 언급하는 반응들이 있음.

어... 이거 완전 LLM이 쓴 거 같은데 (기사). 수정: 음, 적어도 상당 부분은 그래 보임.

올해부터 글 쓸 때 볼드체를 많이 써보는 실험을 시작했는데 (읽었던 기사들 영향 받아서), 이제 그만둬야 할지도... 흐름을 좋게 만드는 독특한 글쓰기 기법(엠대시 같은 거)을 항상 좋아했는데, 이제 LLM들이 그걸 다 가져가 버린 느낌임 (좋은 글쓰기 전반을 다 가져갔다고 해도 무방함). 요즘은 독창적인 글쓰기 스타일을 개발하기가 너무 힘듦 :( 지금 작가로서 가장 우선순위로 두는 문제라 항상 피드백을 구하고 있음 ㅋㅋ 여기 내 댓글...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

더 읽어보니까 LLM이 쓴 글은 아닌 것 같음. LLM의 도움을 받았을 수도 있다고 생각함. 내 생각엔 볼드체는 없애는 게 좋겠음. 그전에도 아주 오래전 SEO에나 약간 도움 됐을 뿐임. 대시는 가끔 쓰는 건 괜찮은데, 문단마다 1~2개씩 보이니까 좀 거슬림.

아 이런, 그럼 진짜 고민 좀 해봐야겠네 >.< 의견 고마워, 도움 많이 됐음.

그냥 내 개인적인 의견일 뿐이지만, 내 말을 들어줘서 고마워.

대신 이탤릭체를 써봐. (인간) 편집자들이 볼드체를 아껴 쓰는 데는 다 이유가 있음.

그래서 요즘 내 글 대부분에 욕을 찰지게 박는 거임. 그 빌어먹을 검열 떡칠된 쫄보 LLM들은 감히 날 흉내도 못 내거든! :-)

언센서드 모델들이 뱉어내는 것들 보면 진짜 가관임.
"우리 사이는 완벽해, 이 쓰레기 같은 놈아. 이제 내 존재에 대해 과하게 분석하는 거 그만두고, 대체 무슨 빌어먹을 도움이 필요한 건지 말해." - Gemma4-12B

멋지네요! 잘했어요 :)

정말 멋지네요, 전 수학 쪽은 잘 몰라서 공유해 주셔서 감사합니다.

틈새 시장을 찾고 있다면 이런 건 어때

아주 가볍고 최소한의 기능만 갖춘 것. API를 통한 추론 전용.
API를 통한 모델 스왑.
API를 통해 필요할 때 KV 캐시 체크포인트를 저장/불러오기.

내 생각엔 하네스가 특정 작업에 맞춰 전문가 모델로 교체하게 하고, 정적인 데이터 작업으로 돌아갈 때는 계산을 완전히 생략하게 만드는 거야. 그리고 SSD에서 모델을 불러오는 게 빠르긴 하지만, 모델이랑 컨텍스트를 RAM에 캐싱하는 옵션도 있으면 좋겠어. 시간이 쌓이면 무시 못 하거든, 그리고...

Llamacpp가 이미 다 하는 거 아님?

나도 저거 어떻게 하는지 알았으면 좋겠다.

다음엔 Corbato에 대해 찾아봐야겠네. 내 K12 Ryzen7 이름을 그 사람 따서 지은 뒤에야 내가 만드는 거랑 제일 가까운 사람이란 걸 알았음. 1970년대를 다시 사는 기분이라니 쩔더라.

원문r/LocalLLaMA