크레이그리스트에서 4천 달러에 미개봉 제품 득템함. 이제 내 모델들 직접 돌릴 생각에 신난다!

난 Flash next (Q4) 돌리는데 Pi랑 Opencode를 엄청 비교해봤거든. Pi는 기본 설정으로 쓰면 문제가 좀 있더라. 이 모델은 추가적인 에이전트 프롬프트나 더 엄격한 가이드라인이 필요한 것 같아. 작은 작업 하나 시키면 작업 수행하고, 변경 사항 테스트할 테스트 프레임워크 짜고, 헤드리스 브라우저로 검증하고, 그러고 나서 "잠깐! 하나만 더 확인할게"를 계속 반복함.

ㅇㅇ Strix Halo에서 너무 잘 돌아가서 하나 더 샀음.

진지하게 묻는 건데, 요즘 모델들이 위키피디아 'internet in a box' 덤프에 있는 정보를 다 가지고 있다고 봐도 될까? 심심풀이로 100GB 덤프 저장해둘까 생각했는데, 어차피 모델들이 다 학습했을 테니 중복일 것 같아서 말이야. 다들 어떻게 생각해?

네 댓글 보고 든 생각은 딱 하나네... 프로그래머들은 종말이 와도 일을 쉴 수가 없구나 ㅋㅋㅋ

첫날 바로 좀비한테 잡아먹힘

이 밈 올라왔나 확인하려고 스크롤 내렸다.

와, 축하해! Spark에서 NVFP4 모델들 꽤 부드럽게 돌아감. ARM CPU에서 기본적으로 지원 안 되는 라이브러리들 때문에 좀 고생할 준비는 해둬. 몇몇은 직접 컴파일해야 할 수도 있어. 엔비디아에서 제공하는 도커 컨테이너 받으면 좀 더 수월할 거야. 나 같은 경우엔 초기 세팅 끝나고 나니까 Spark가 NVFP4 양자화 모델 돌리는 상시 추론 머신이 됐음. 얻을 수 있는 속도, 낮은 전력 소모, 그리고...

라이브러리랑 ARM CPU 쓰면서 문제 겪은 적 한 번도 없음.

나도 Spark 두 대 있는데 과열 문제 전혀 없었음.