사람들은 어떻게 LLM으로 수학 문제를 풀게 할까?

이건 brute force가 아님... brute force는 가능한 모든 조합을 다 시도해보는 건데, 여기엔 시도할 조합 같은 게 없거든... 그냥 에이전트 하나로는 그런 일을 할 수 없으니까 brute force처럼 보이는 것뿐임.

철학적으로 보면, 한 세대의 과학자들이 매달려 연구하는 것도 일종의 '느린 브루트 포스' 방식이지. 그들은 이제 '컴퓨터 과학자'들의 무리를 이용해 생각하고, 시도하고, 오류를 수정하는 과정으로 한 세대의 과학자들을 대체한 거야.

사람이 루프에 남아있는지, 그리고 그들이 '프롬프트'에 얼마나 기여하는지 궁금하네.

명심하겠음

OpenAI가 세부 사항을 공개하진 않은 것 같지만, 내 추측으로는 1만 개의 에이전트 대부분은 소수의 오케스트레이터 에이전트가 실행하고 지시를 내렸을 거임. 그럴듯한 단서를 모아서 하위 에이전트들에게 심층 분석이나 증명을 맡기는 식으로 말이지.

그치. 'brute force'를 어떻게 정의하느냐에 달렸지. 그냥 무작정 때려 넣는 식의 brute force는 아니야. 그건 멍청한 짓이지. LLM이 가장 확률 높은 경로를 찾도록 가지치기(pruning)를 엄청나게 한다고. 만약 완전히 무작위적인 brute force였다면 이런 문제들은 진작에 다 풀렸겠지.

그래도 OpenAI가 해결한 문제에 대해서는 여전히 brute force 방식이긴 해.

만약 이 모델이 Astra였고 우리가 토큰당 비용을 지불했다면 아마 2천만 달러는 들었을걸. 최첨단 모델은 토큰당 비용이 그 3배는 됐을 거라고 가정하면...