Luce Megakernal: 왜 아무도 이걸 언급 안 하는 거지?

그게 원래 의도 아니었음?

로컬 LLM으로 어떤 파일에서든 거의 즉각적으로 코드 정보를 얻을 수 있다면 여전히 유용할 수 있지. '요즘 AI IDE는 다 그 정도는 한다'고 할 수도 있겠지만, 이유 없이 느려질 때가 있잖아. 그리고 이 모델은 일반적인 초고속 코드 예측 모델들과 달리, 동시에 일반적인 사고 모델로서의 기능도 한다는 장점이 있어.

맞아. 하지만 핵심은 누군가 이걸 활용해서 뭔가를 만들어낼 수 있다는 거지. 기본 아이디어 자체가 꽤 탄탄하거든. 그리고 lcpp의 퓨즈드 델타 구현도 비슷한 맥락인데, 혹시 그거 어떻게 돌아가는지 아는 사람?

간결한 답변 고마워. 무슨 말인지는 알겠는데, 내 말은 이게 꽤 괜찮은 기술이고 그들이 타겟팅한 문제 자체가 실존한다는 거야. 더 나은 구현을 위한 템플릿으로 쓸 수 있잖아. lcpp에 있는 fused delta도 같은 문제를 다루는 거 아냐? 그거 어떻게 됐는지 아는 사람?

다들 알고 있을걸. 그냥 다 할 시간이 없는 거지. 다른 프로젝트들의 PR 개수만 봐도 알 수 있음.

내가 알기로는 지금 Qwen 0.6b에서만 돌아가서 그래. 아래 좀 읽어보니까 누가 단일 아키텍처라고 지적했더라. 지금은 그냥 개념 증명 단계임. Luce-Dflash는 잘 돌아감. 방금 Strix Halo 빌드 테스트해봤는데(Hermes가 한 건지 모르겠지만)—메인 브랜치에선 깨져있었음—Hermes/Qwen 397b로 코드 버그 잡느라 하루 다 썼다. 근데 이제 잘 됨. 16k 컨텍스트에서 240tps PP, 40tps 디코드 나옴. Strix Halo 미니 PC에서 Qwen 27b 같은 밀도 높은 중형 모델 에이전트로 쓰기엔 충분함. Hermes는 14k부터 시작함.