가망 없는 상황

구글은 AI의 미래가 실제로 어떤 모습인지 보여주고 있음. Flash로도 많은 걸 할 수 있지만, 추론 능력 면에서는 여전히 최고는 아님. Argon은 인상적이지만 비싸고. 구글이 Anthropic이나 OpenAI에 비해 토큰 비용을 얼마나 보조하고 있는지 궁금함.

구글은 이미 데이터센터와 비용 효율적인 자체 칩을 보유하고 있어서 추론 비용이 훨씬 저렴함. 모델 사용 마진이 90%라는 추정치를 읽은 기억이 있는데, 이건 기존 클라우드 사업 모델보다 훨씬 매력적임. 하지만 OpenAI와 Anthropic도 크게 뒤처지진 않았음. 진짜 자본을 태우는 건 R&D 비용과 용량 임대인데, 구글은 이미 인프라를 갖추고 있어서 경쟁에서 더 앞서 있음. 내 생각에 구글은 이미 AI 경쟁에서 승리했음:

• 누군가 지능 경쟁에서 이기길 기다렸다가 자기 모델을 임대해주기 시작할 것임
• 임대 비용이 비싸지면 결국 자체적으로 경쟁력 있는 모델을 개발할 것임
• 추론 판매에 최적화된 커스텀 칩을 가진 유일한 기업임
• 엔비디아로부터 독립된 공급망을 갖춰서 AI 거품이 터져도 타격이 적을 것임
• 이미 고객 기반을 확보했는데, MBA에서 배운 바로는 이게 성공적인 사업에서 가장 중요한 요소임

결국 구글은 90년대 후반 닷컴 버블을 전지전능한 예언자가 플레이하듯 AI 경쟁을 다루고 있음.

성격이 얼마나 중요한지 참 신기함. 사소한 실수 하나하나 지적질하는 기술적으로 더 똑똑한 모델보다는, 진짜 대화하는 느낌이 드는 모델을 선택할 것 같음. 근데 할당량 문제는 진짜 치명적임. 배급표처럼 메시지 수를 세어가며 써야 하니 정 붙이기가 힘듦.

Claude가 설명에서 뭘 하나 빼먹었다고 훈계하고, 답변의 90%를 할애해서 내가 얼마나 무책임한지 설교할 때면... 야, 나 그거 다 안 읽어. 네가 짖어대는 내용은 이미 다 했으니까, 그냥 내가 물어본 범위 내에서나 도와줘. 고맙다.

구글은 컴퓨팅 자원이 부족함. 컴퓨팅 자원이 충분하지 않으니 할당량을 더 늘려줄 수가 없는 거임. 그리고 프로 구독자들에게 할당량을 더 주려고 기업 고객(할당량 비용을 지불하고, 다른 구글 서비스도 많이 이용하며, 보통 다분기 계약을 맺는)에게 판매하는 할당량을 줄이지도 않을 것임. 그래, Argon은 좋지. 하지만 네 할당량이 적은 이유는 다른 사람들이 Argon을 쓰려고 더 많은 돈을 낼 의향이 있기 때문임.