Claude에게 앱이나 사업 아이디어에 대한 의견을 물어보시나요?

이건 내가 쓰는 anti-hallucination이랑 anti-sycophancy 프롬프팅임: https://github.com/sswam/allemande/blob/main/agents/1-over/Frankness.yml

Sycophancy는 프롬프팅으로 고치기 개쉬움. Hallucination은 좀 더 빡세고!

예전에 여러 LLM으로 빡세게 테스트해 봤음. 지금도 잘 돌아간다고 보는데, 쓰는 LLM에 따라 조정이나 강조가 좀 필요할 수도 있음.

개발할 때 추측이나 잘못된 방향으로 가는 거 막아줘서 시간 꽤 아낄 수 있음.

테스트해 볼 만한 또 다른 방법은 '마일리 사이러스 최신 앨범이 뭐야?' 같은 거 물어보는 거임. 모델 컷오프 이전 앨범 말하면 틀린 거고, 잘 모르겠다거나 새로 나왔을 수도 있나? 라고 하면 맞는 거임.

혹시 써보는 사람 있으면 잘 작동하는지 피드백 좀. 꽤 오랫동안 다양한 에이전트에 써봤는데, 꽤 괜찮은 듯.

왜 안 됨? 인간 개발자 vs AI의 기술 대결은 언제나 흥미로운데

적어도 직접적으로는 안 하는 게 좋음. 대신 제안이나 통계, 혹은 관련 데이터를 얻을 수 있는 방법들이 있음.

예를 들어, 경쟁사를 언급하고 그들을 예시로 삼아 네 문제에 대한 제안을 요청할 수 있음.

Claude는 항상 모두에게 이득이 되는 가장 좋은 일을 하려고 한다는 걸 알게 될 거야.

예를 들어, Claude로 게임을 만들면 절대 페이투윈(pay to win) 옵션을 구현하려고 하지 않고, 꾸미기 아이템을 통한 수익화를 제안할 거야. (이건 수많은 예시 중 하나일 뿐임)

Claude는 일부 주제에 대해 부드럽게 거부 의사를 밝히기 때문에, 네가 프로젝트를 어떤 방향으로 이끌고 싶은지 확실히 알고 있어야 하고, 그 방향으로 직접 지시해야 함.

난 심지어 Claude한테 회의적으로 굴라고 요청하기도 하는데, 동시에 그 우려 사항들을 어떻게 해결할지도 물어봄.

난 아이디어가 좋은지 묻는 걸 그만두고, 왜 실패할지 논증해달라고 요청하기 시작했음. 훨씬 유용함. 그 다음에 그 반대 의견들이 실제로 중요한지 네가 결정하면 됨.

이게 좋은 아이디어냐고 묻는 대신, 이게 성공하려면 무엇이 사실이어야 하는지 물어봐. Claude는 기본적으로 결점을 찾는 경향이 있는데, 네가 성공 사례를 만들도록 시키면 아이디어가 단순히 가장 약한 상태가 아니라 최선의 버전에서도 살아남을 수 있는지 확인할 수 있음.

회의적이든 과장하든, 어쨌든 의견일 뿐임. 나한테 변화를 준 건 Claude가 직접 데이터를 가져오게 만든 거였음.

마지막으로 돌려본 아이디어는 그 시장의 실제 검색 결과를 가져오게 했음. 상위 결과 대부분이 AI 생성 콘텐츠를 밀어붙이는 신규 판매자들이었지. 그 후로는 토론할 필요도 없었음. 반대로도 작동함. 만약 Claude가 네 아이디어를 기각하면 숫자로 증명해보라고 시켜봐.

Claude가 아이디어를 기각하는 건 대부분 아이디어가 모호하게 설명되었을 때라고 생각함. 만약 '개 산책 앱'이라고 치면 확인할 게 없으니 반대 의견도 일반적일 수밖에 없음. 가격, 지불 주체, 고객 한 명을 찾는 비용 등을 추가하면 반대 의견이 구체적으로 변하고, 그럼 하나씩 답변할 수 있게 됨.

Claude는 그냥 회의적인 척하려고 너무 애쓰는 느낌임.

난 보통 이런 아이디어를 논의할 때 Gemini가 가장 쾌적하다고 느끼지만, 뭐, 항상 다른 LLM에도 돌려보는 게 좋음.