r/LocalLLaMA•3개월 전•81•56

더 일찍 알았더라면 좋았을 로컬 AI 워크플로우가 있나요?

What's one local AI workflow you wish you'd discovered sooner?

핵심 요약

로컬 LLM 활용도를 높여주는 실무 워크플로우와 도구들에 대한 사용자들의 경험 공유.

평가 세트 구축 — 모델 교체 시 성능 검증을 위한 JSONL 기반 테스트 케이스 활용
Qwen 모델 전환 — 코딩 작업 시 기존 유료 서비스 대신 Qwen 모델로 전환하여 효율성 증대
비즈니스 자동화 — 로컬 모델을 활용한 이커머스 전환율 최적화 및 에이전트 운영
로컬 검색 강화 — OS 기본 검색보다 효율적인 파일 및 앱 검색을 위한 로컬 모델 연동

모델이나 벤치마크에 대한 글은 많지만, 사람들이 실제로 사용하는 워크플로우에 더 관심이 갑니다. 여러분의 시간을 절약해 주었거나 로컬 LLM을 더 유용하게 만들어 준 워크플로우가 하나 있다면 무엇인가요?

RAG, MCP, 코딩 에이전트, 프롬프트 정리, 문서 인덱싱, 자동화 등 무엇이든 좋습니다. 그게 무엇이었고, 왜 여러분의 일상적인 워크플로우에서 큰 차이를 만들었나요?

원문

커뮤니티 목록

r/LocalLLaMA•3개월 전•81•56

더 일찍 알았더라면 좋았을 로컬 AI 워크플로우가 있나요?

What's one local AI workflow you wish you'd discovered sooner?

핵심 요약

로컬 LLM 활용도를 높여주는 실무 워크플로우와 도구들에 대한 사용자들의 경험 공유.

평가 세트 구축 — 모델 교체 시 성능 검증을 위한 JSONL 기반 테스트 케이스 활용
Qwen 모델 전환 — 코딩 작업 시 기존 유료 서비스 대신 Qwen 모델로 전환하여 효율성 증대
비즈니스 자동화 — 로컬 모델을 활용한 이커머스 전환율 최적화 및 에이전트 운영
로컬 검색 강화 — OS 기본 검색보다 효율적인 파일 및 앱 검색을 위한 로컬 모델 연동

주요 댓글

r/localllama

사용자들은 모델 성능 검증을 위한 평가 세트 구축, 특정 모델(Qwen)로의 전환, 비즈니스 자동화 및 로컬 검색 최적화 등 실질적인 생산성 향상 사례를 공유하고 있습니다.

나한테 가장 효과적이었던 건 아주 작은 로컬 평가 세트였어.

유용한 프롬프트나 워크플로우가 생기면 input, expected_shape, fail_reason이 포함된 JSONL 케이스를 5~10개 정도 만들어. 모델이나 양자화를 바꾸기 전에 로컬 서버에서 이걸 돌려보고 결과값을 비교하지.

RAG보다 훨씬 덜 흥미로워 보일 수 있지만, '새 모델이 더 낫겠지'라는 착각에 빠지는 걸 확실히 막아줘.

모델을 평가하는 아주 똑똑한 방법이네.

-3

그 평가 세트는 로컬 모델을 진지하게 다루는 사람이라면 누구에게나 추천하는 방식이야. 나 같은 경우는 여기에 '악의적인' 케이스 세트를 추가했어. 모델이 과거에 환각을 일으켰던 프롬프트들(존재하지 않는 인용구 생성, 없는 코드 라이브러리 출력, 가짜 DOI가 포함된 논문 등)이지. 모델을 바꿀 때마다 먼저 일반적인 케이스 10개로 기능 체크를 하고, 그다음 악의적인 케이스 5개로 신뢰도 체크를 해.

이 덕분에 기본 평가에서는 잘 작동하는 것처럼 보이지만 실제로는…

실제로 어떻게 하는 건지 좀 더 자세히 알려줄 수 있어?

물론, 간단히 설명해 줄게.

Git으로 관리하는 evals/ 디렉토리를 만들고 워크플로우당 파일 하나씩 둬. 형식은 JSONL이고 케이스당 한 줄이야:

{"id": "summarize_long_pdf", "input": "...", "expected_shape": {"type":"object", "required":["key_points","action_items"]}, "fail_reason": null}

expected_shape는 정확히 일치해야 하는 건 아니야. 생성 작업에서는 쓸모없거든. 대신 형태 검증(필드가 있는지? 형식이 맞는지?)을 하고, 추가로 작은 로컬 모델을 따로 써서 '사람이 이걸 받아들일까?'를 확인하는 검증 프롬프트를 돌려…

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

언어와 거리가 정보의 자유로운 교환을 가로막는 장벽이 되지 않는 인류 역사상 이런 시기에 살고 있다는 게 얼마나 ㅈㄴ 멋진 일인지 모르겠음.

공유해 줘서 고마워!

천만에. 맞아, 나도 그 점이 좋아. 20년 전이었으면 페이월 뒤에 숨겨진 전문 학술지였을 내용이 지금은 유럽 전역을 가로질러 두 가지 언어로 된 레딧 댓글이 됐잖아. 이 시대가 좀 거친 면은 있어도, 바로 이 부분만큼은 정말 마음에 들어.

워크플로우라고 할 순 없지만, 진작 Qwen으로 갈아탈 걸 그랬어. Z.AI 코딩 플랜에 돈을 꽤 썼는데, 지금은 거의 항상 Qwen만 써. 사실 이게 더 마음에 들어.

최신 Llama.cpp에서 모든 mtp 최적화를 적용한 Heretic 3.6 27B Q4_K_M 양자화 버전을 사용 중이야. 초당 50 토큰 정도 나오는데, 프롬프트 처리가 느린 건 OpenCode의 방대한 시스템 프롬프트 때문이야.

그리고 Pi로 바꿀 생각은 없어. 도구 바꾸느라 시간을 너무 많이 썼거든. 당분간은 여기에 정착하려고…

정확히 어떤 모델 쓰는지 공유해 줄 수 있어? 27b heretic에 mtp 적용되는 모델이 요즘 꽤 많아서.

난 작은 로컬 모델을 챗봇으로 쓰지 말고, 결정 과정을 미리 구조화해서 좁은 범위의 작업만 맡기면 훨씬 유용해진다는 걸 깨달았음. 9B 모델을 내 음악 라이브러리 라디오 DJ로 돌리면서 다음 곡 고르고 인트로 쓰게 시켰거든. 첫 버전은 툴이랑 메모리 다 쓰는 완전한 에이전트 루프였는데, 느리고 모델이 딴소리하더라고. 그래서 방식을 바꿨음. 코드로 후보 18개 정도 추려서 모델한테 선택지 주고 하나만 고르라고 함. 훨씬 빠르고 싸고 성능 차이도 거의 없음. 이게...

난 /new를 최대한 자주 치는 식으로 워크플로우를 극도로 최적화했음. Qwen은 컨텍스트가 커지면 금방 맛이 가버리는데, 적어도 M4 맥북에서는 prefilling이 작업할 때 유일하게 느린 부분임. 그래서 큰 작업할 때는 md "상태 파일"을 만들어서 새 세션마다 Qwen한테 먹여줌. 그럼 오늘 뭘 작업 중인지, 진행 상황이 어떤지 바로 파악하고 나랑 Qwen 둘 다 그 파일을 업데이트할 수 있음. 이게 compaction보다 훨씬 빠르고 안정적임...

원문r/LocalLLaMA