Claude가 웹사이트 접속 시 가장 큰 불만 사항을 해결해 줌

브라우저 사용의 유일한 문제는 토큰을 너무 쉽게 소모한다는 거야. 조만간 해결책이 나온다면 도입이 엄청나게 늘어날 듯.

그게 바로 내가 달성하려는 목표야. 기술이나 플러그인에 의존하는 대신, Accessibility API(와 코어 그래픽)를 사용해서 화면에 뭐가 있는지 설명하고 그걸 Claude에게 보냈거든. 유일한 문제는 웹사이트에 aria label이 없거나 HTML이 엉망이면 요소를 찾는 데 애를 먹는다는 거야. 그래도 전반적으로 Haiku에서 꽤 잘 작동해.

야, 이거 한번 봐봐 https://github.com/lightpanda-io/browser

응, 깃허브에서 프로젝트 확인해 봤는데 진짜 흥미롭더라. 다만 AI 관점에서 토큰을 많이 안 쓰고 웹사이트에 접근하는 방법으로 lightpanda 브라우저를 추천했었어. 근데 내 생각엔 네 아이디어는 사용자가 시각적인 화면을 직접 보는 걸 전제로 하는 거 맞지? 만약 그렇다면 내 추천은 목적이 달라서 좀 안 맞았을 수도 있겠다.

맞아, 내 아이디어는 화면에 있는 걸 텍스트(JSON 객체)로 설명하게 한 다음, Claude한테 어디를 클릭하고 타이핑할지(좌표) 물어보고 반복하는 방식이야. 이건 브라우저를 넘어서 화면에 렌더링되는 모든 창과 버튼에 적용할 수 있어. 그래도 브라우징할 때 Panda를 통합하거나 사용하는 건 고려해 볼 만하네, 진짜 유망해 보여.