r/LocalLLaMA•2개월 전•271•487
소프트웨어 엔지니어분들, LLM으로 진짜 도움 되는 거 얻고 계신가요?
Software Engineers: Do you honestly get anything useful out of LLMs?
핵심 요약
로컬 LLM을 활용한 코딩의 실효성에 대해 회의적인 작성자가 숙련된 엔지니어들의 의견을 묻는 글입니다.
- 로컬 모델의 한계 — 에이전트 코딩 시 기술 부채만 쌓이고 결과물이 만족스럽지 않음
- 지시사항 무시 — 문맥이 길어지면 지시를 어기거나 불필요한 코드를 양산함
- 프런티어 모델과의 차이 — 로컬 모델은 아직 취미 수준이며 실무에는 부족함
- 워크플로우 최적화 — 복잡한 작업을 잘게 쪼개고 적절한 도구를 섞어 써야 효과적임
6개월 동안 Pi와 30~120B급 모델(Qwen, Nemotron, Leguna 등)을 써보면서 에이전트 코딩을 실무에 적용하려고 노력해봤음. 욕심부린 것도 아님. 괜찮은 양자화 모델을 썼고, KV 캐시 양자화는 절대 안 했으며, 세션은 최대 90k 토큰으로 유지했음. 하지만 결과는 항상 실망스러웠음.
모델을 아무리 잘 다루고 마크다운 지시사항을 페이지 단위로 쏟아부어도, 에이전트들은 가치를 더하기보다는 기술 부채만 계속 쌓아감. 결국 내가 직접 처음부터 다 하는 것보다 엉망이 된 코드를 치우는 데 시간을 더 쓰게 됨.
모델들이 정말 뻔뻔하다고 느낀 점들임:
- 똑같은 말을 심하게 반복함.
- 자기가 더 편한 방식(예: 객체 지향)이 있으면 내가 지정한 방법론(예: 함수형 프로그래밍)을 완전히 무시함.
- 50k 이상의 문맥 깊이에서는 지시사항을 대놓고 무시함.
- 스스로 뿌듯해하려고 쉽게 통과되는 겉핥기식 테스트만 작성함.
- 코드를 쌓아 올리기 전에 엉망인 부분을 리팩토링할 생각은 거의 안 함.
- 항상 코드를 너무 많이 써내서 심장마비 오기 전에 ctrl+c를 누르게 만듦!
제대로 된 주니어 엔지니어라면 이렇게 엉망으로 짜진 않을 거임.
결국, 마이크로매니지먼트 지옥으로 변하기 전까지 아키텍처를 설계하고 방향을 잡아주는 데에는 한계가 있음.
그래서, 에이전트 코딩 덕분에 생산성이 늘었다고 말하는 시니어 엔지니어분들, 정확히 어떻게 하고 계신가요? 감사합니다!
수정: 죄송합니다. 로컬 모델을 의미한 거였습니다. 여기가 LocalLLama 서브레딧인 줄 알았네요.
