12 hour prompt coaching
OpenAI API의 12시간 프롬프트 캐싱 기능 도입으로 비용 절감 및 효율적인 컨텍스트 재사용이 가능해짐.
"12h"를 선택하거나, 기본값인 30분을 그대로 쓰거나, 아니면 한 요청에 둘 다 섞어서 쓸 수도 있음. 공유 지침에는 12h를 쓰고, 최근 대화 내용에는 30분을 쓰는 식이지.
하루 종일 같은 컨텍스트를 계속 써야 한다면, 반복해서 재사용할 때 얻는 비용 절감 효과가 12시간 캐싱에 드는 추가 비용보다 훨씬 클 거임.
사용자들은 12시간 캐싱 기능이 비용 절감과 긴 작업 효율성 측면에서 매우 유용하다며 전반적으로 긍정적인 반응을 보이고 있습니다.
잠깐만… 이거 대박인데…
리눅스 커널을 특정 애플리케이션용으로 파인튜닝하는 것도 재밌겠네. 아주 빠른 머신이 아니면 빌드에 몇 시간씩 걸리니까 12시간 TTL은 여기서 아주 좋지.
며칠 동안 이걸로 이것저것 해보고 있는데, 12시간 옵션은 내 작은 설정 환경에 진짜 괜찮네. 한 요청에 섞어서 쓰는 건 파악하는 데 시간이 좀 걸렸지만, 일단 작동하기 시작하니까 꽤 매끄러워. 비용 차이가 엄청나게 크진 않지만 주간 사용량 보면 체감이 됨.
API 전용임, 아쉽게도 Codex는 안 됨.
완전 좋아! 돈 엄청 아껴지네.
메타가 AI 모델 학습을 위해 가상 세계에서 AI들이 인간처럼 살아가게 만드는 연구를 두고 커뮤니티에서 다양한 반응이 나오고 있습니다.
메타가 AI 모델 학습을 위해 가상 세계에서 AI들이 인간처럼 살아가게 만드는 연구를 두고 커뮤니티에서 다양한 반응이 나오고 있습니다.
Claude가 방대한 분량의 박사 학위 논문 수학 계산을 단시간에 검증해내며 뛰어난 정확도를 입증했습니다.
Claude가 방대한 분량의 박사 학위 논문 수학 계산을 단시간에 검증해내며 뛰어난 정확도를 입증했습니다.
Claude의 자동 모드와 보안 분류기(classifier)의 제약으로 인해 사용자들이 겪는 불편함과 위험 감수 성향에 대한 토론입니다.
Claude의 자동 모드와 보안 분류기(classifier)의 제약으로 인해 사용자들이 겪는 불편함과 위험 감수 성향에 대한 토론입니다.