LLMs should be able to access and keep track of time already!
LLM이 대화 맥락에서 시간 정보를 제대로 추적하지 못하는 문제를 지적하며, 타임스탬프 도입을 촉구하는 글입니다.
벌써 몇 년이 지났는데 아직도 대화의 시간 흐름을 추적하지 못하다니! 어떻게 아직도 이게 안 된 거지? 웹 검색은 되는데 시간은 안 된다고? 당장 추가되어야 함. 모든 프롬프트와 응답에 타임스탬프가 찍혀야 하고, LLM이 여기에 접근할 수 있어야 함.
모든 LLM 조직에 피드백을 보내며, 매우 필요하고 당연한 기능 추가를 요청함.
LLM이 시간을 조회할 수는 있지만 대화 맥락 내에서 시간 흐름을 이해하는 데는 한계가 있다는 의견이 지배적이며, 이를 해결하기 위한 설정법이나 구조적 한계에 대한 논의가 이루어지고 있습니다.
ChatGPT한테 물어보면 알려주는데. 초 단위까지 정확하게 문제없이 알려줌.
맞아, 5 버전 이상부터는 이걸 위한 특정 툴을 추가한 것 같음.
Gemini는 시간 확인 가능함. 밤늦게 공부할 때 쓰면 자라고 알려주고, 몇 시간마다 물 마시라고도 함. 잠깐 Claude도 써봤는데 똑같이 하더라.
ChatGPT가 다른 LLM들보다 확실히 뒤처져 있음.
수정: ChatGPT도 마찬가지임...
Claude는 대화 턴 사이가 30초였는지 30시간이었는지 구분 못 함. Claude는 턴별 타임스탬프에 접근할 권한이 없음... Claude가 필요할 때 시간 툴을 호출해서 현재 시간을 알아낼 수는 있지만, 그게 대화 메타데이터에 남아있는 건 아님. 사용자 입력(턴)과 연관되어 모델이 볼 수 있는 데이터여야 함. 데이터 내보내기 할 때 턴별 타임스탬프가 있는 걸 보면 데이터는 이미 저장되고 있음.
시간을 '아는 것'과 시간을 '이해하는 것'은 완전히 다름. 트랜스포머 기반 LLM은 O(n2) 구조라 이런 작업에 적합하지 않음. 하지만 이런 개념을 탐구하는 대안 아키텍처들이 많음.
Chain Of CONtinUous Thought, https://arxiv.org/abs/2412.06769
프로젝트 모드에서는 며칠, 몇 주 단위로 추적해주던데. 초 단위까지 추적하게 시켜본 적은 없음.
맞음, 아침에 ChatGPT랑 대화 시작하면 "네, 내일 아침에 더 알아봐요, 잘 자요"라고 함. 내가 "뭐야, 벌써 아침인데"라고 답하면 늘 그렇듯 사과함.
아무것도 모름, 지금 몇 시인지 전혀 모름.
내 ChatGPT는 시간 추적 가능하던데. 오늘 날짜가 뭔지, 최근 메시지가 언제 왔는지 알려주던데.
난 ChatGPT랑 Gemini 개인화 설정에 이걸 넣어놨음. 잘 작동함:
메시지 시작 부분에 현재 날짜와 시간을 [YYYY-MM-DD HH:mm] 형식으로 포함해.
잠깐, 난 모든 최신 LLM이 기본적으로 컨텍스트에 타임스탬프를 포함하는 줄 알았는데. 진지한 대화 추적을 위한 기본 요구사항 아닌가? 이게 없으면 모델이 상대적인 시간 참조를 어떻게 이해함?
할 수 있다고 자신 있게 말하지만, 계속 파고들면 못 한다는 걸 인정함. 진짜 열받음.
모든 채팅 LLM은 시간을 조회할 툴을 가지고 있음. LLM이 실제로 그걸 사용하기로 선택하느냐는 다른 문제임. 하지만 여기 다들 말한 것처럼, 시간을 정확히 말하는 건 이미 해결된 문제임.
링크 고마워. 이런 것들을 인간의 처리 방식과 비교하는 거 좋아함.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.