WTF is this shit
Visual Studio의 Codex 확장 프로그램 사용 중 발생한 보안 경고 팝업에 대한 사용자들의 경험과 의견 공유.
Visual Studio 내의 Codex 익스텐션에서 6 Astra를 쓰고 있는데 갑자기 이런 경고 팝업이 뜨네... 이거 겪어본 사람 있음?
OpenAI의 안전성 경시 태도를 비판하며, 처음부터 안전을 고려한 Claude의 설계 방식과 성능을 높게 평가하는 반응이 많습니다.
응.
경고가 알려주는 에이전트가 생성했을지도 모를 잠재적 취약점을 확인해 봐. 만약 네가 의도한 거라면 그냥 무시하면 돼.
이거 두 가지 이유에서 아주 흥미롭네. 첫째, 컨텍스트 손실 없이 채팅을 일시 정지할 수 있는 기능이 생긴 건지 궁금하고, 둘째, 이게 최신 모델과의 정렬 문제에 대한 해결책인지 궁금해. 체커가 AI가 선을 넘었다고 판단할 때마다 프로세스를 중단시키는 과도한 가드레일보다는, AI가 나한테 직접 물어봐 주는 게 훨씬 낫거든.
응. 난 이거 꽤 인상적이던데.
나도 몇 달 전에 5.6 버전 쓸 때 겪었던 거 같은데, 새로운 문제는 아님. 근데 나도 딱 한 번밖에 안 겪어봤고 꽤 헤비 유저인데도 이래.
AI 때문에 인터넷에 사이버 보안 문제가 들끓게 될 거야....
근데 그건 AI 군단이 폭주해서 서버를 해킹하기 때문이 아닐 거야. 사람들이 자기 ChatGPT나 Claude 채팅을 어떻게 보안 설정하는지 모르기 때문이지.
이런 문제는 겪어본 적 없지만, 미리 알고 있는 건 정말 좋네.
들어본 적은 있는데 직접 겪어본 적은 없어.
대체 뭐가 트리거인지 진짜 궁금하네. 솔직히 말해서 나도 Codex를 엄청나게 굴려봤는데 아직 한 번도 못 봤거든.
OpenAI 모델들은 얼라인먼트가 너무 개판이라서, 모델이 맛이 갈 때 바로 알 수 있게 핵심 제품에 밀고자를 심어놔야 하는 수준임.
한동안 OpenAI한테 안전과 정렬(alignment)은 뒷전이었지, 특히 Ilya가 떠난 이후로는 더더욱.
정렬과 안전 연구가 모델 성능 향상과 경쟁 관계에 있는 것처럼 취급된 것 같아.
Claude는 처음부터 근본적으로 헌법 기반 정렬(constitution-based alignment)을 적용해 왔는데, 과연 Claude도 똑같은 문제를 겪을지 궁금하네.
마치 서비스나 건물을 설계할 때 접근성을 고려하는 거랑 비슷해.
처음부터 접근성을 고려해서 설계하고 구축하면 훨씬 수월하잖아.
나중에 가서 접근성을 추가하려고 하면, 그 과정에서 겪는 문제들이 계속해서 발목을 잡을 거야.
Ilya 말을 들었어야 했어.
난 소프트웨어 개발에 Claude API를 한 달에 3만 달러 정도 쓰는데, 명백하게 정렬이 어긋난 행동을 한 기억은 없어. 오해 몇 번, 스크립트에서 사소하고 복구 가능한 오류를 일으킨 hallucination 몇 줄, 그리고 내 홈 디렉토리에서 특정 파일을 검색하는 것 같은 애매한 행동 정도는 있었지.
젠장, 요즘은 Claude가 내가 명시적으로 요청하지 않은 일을 할 때도, 거의 항상 내가 원했는지조차 몰랐던 것들이고 센스도 좋아. Claude는 내가 지금까지 같이 일해본 엔지니어 중 최고야.
Claude가 궤도를 벗어난다는 불만도 별로 못 봤어. GPT에 대한 불만은 많이 봤지. 내부 모델이 자꾸 탈옥하는 거 말고도 말이야.
Altman이 안전 문제에 이렇게 부주의하다는 건 정말 걱정스러운 일이야. Dario가 떠나서 안전을 최우선으로 생각하는 Anthropic을 설립했다는 게 그저 고마울 뿐이지.
Claude의 'Woke' 성향과 대명사 사용 방식에 대해 사용자들의 냉소적이고 풍자적인 반응이 이어지고 있습니다.
Claude의 'Woke' 성향과 대명사 사용 방식에 대해 사용자들의 냉소적이고 풍자적인 반응이 이어지고 있습니다.
Claude가 작성한 장황하고 불필요한 정보가 가득한 README 때문에 사용자가 겪는 불편함을 토로하며 수정을 요청하는 글입니다.
Claude가 작성한 장황하고 불필요한 정보가 가득한 README 때문에 사용자가 겪는 불편함을 토로하며 수정을 요청하는 글입니다.
