Claude가 내 필기 옆에서 바로 답변해주는 오픈소스 캔버스를 만들었습니다
I built an open-source canvas where Claude responds beside your handwritings
핵심 요약
물리학 및 수학 연구를 위해 필기 내용을 인식하고 실시간으로 Claude의 답변을 캔버스에 띄워주는 오픈소스 도구 'PenEcho'를 개발함.
- PenEcho 개발 — 필기한 수식과 다이어그램을 인식해 Claude가 옆에서 바로 답변하는 오픈소스 캔버스 구현함.
- 효율적 통신 — 전체 캔버스가 아닌 관련 영역만 잘라내어 API 토큰 비용을 최소화함.
- 시각적 이해도 — Opus 4.8 모델을 활용해 복잡한 필기와 공간적 관계까지 정확히 파악함.
- 로컬 실행 지원 — Anthropic API 및 OpenAI 호환 API를 지원하며 로컬에서 원활하게 작동함.
물리학이랑 수학 쪽 연구를 좀 하는데, 보통 화이트보드랑 스타일러스 펜을 써. 근데 하다가 만 유도 과정을 채팅창에 옮기는 게 진짜 개불편하거든. 수식 다 치고 어떻게 연결되는지 설명하다 보면 흐름 다 끊기기 일쑤고.
최근 모델 비전 성능이 좋아진 거 보고, 특히 Opus 4.8(그중에서도 fb5) 보면서 든 생각이 '이걸 화이트보드에서 바로 쓸 수 있지 않을까?'였어.
그래서 PenEcho를 만들었어. 오픈소스 캔버스인데, 여기에 수식도 손으로 쓰고, 다이어그램도 그리고, 필요한 곳에 메모도 남길 수 있어. 잠시 멈추면 PenEcho가 캔버스에서 필요한 부분만 딱 잘라서 모델한테 보내거든. 그럼 모델이 답변을 내 작업물 옆에 수정 가능한 초안 형태로 띄워줘.
따로 채팅창 켤 필요 없이, 중간 단계를 설명해주거나 아이디어를 이어가 주기도 하고, 혹시 틀린 부분 있으면 바로 짚어주기도 해.
캔버스 크기는 논리적으로 20,000 x 20,000인데, 잉크가 있는 512 x 512 타일만 할당해서 써. 전체 캔버스를 다 보내는 게 아니라, 잘라낸 비주얼 아틀라스랑 지오메트리 정보만 보내는 방식이지. 평소에 써보면 입력 토큰은 몇천 개, 출력은 1,000 토큰 미만이라 모델이나 제공업체에 따라 다르긴 해도 몇십 원 정도밖에 안 들어.
PenEcho는 로컬에서 돌아가. Anthropic API랑 기존 Claude Code CLI 로그인도 지원하고, OpenAI 호환 API나 Codex CLI도 다 돼.
이 워크플로우에서 Opus 4.8(fb5 버전이 더 좋더라)을 써봤는데, 내가 테스트해 본 것 중 비전 이해도가 제일 압도적이었어. 단순히 글자 인식하는 수준이 아니라, 휘갈겨 쓴 글씨나 덜 끝난 수식, 다이어그램, 그리고 그것들 사이의 공간적인 관계까지 다 파악하더라고. 불완전한 낙서만 보고도 내가 뭘 의도했는지 알아채는 거 보고 진짜 소름 돋았다.
확실히 말할 수 있는데, 불과 6개월 전 모델들은 지금 영상에 나오는 거랑 비슷한 수준조차 못 보여줬어. 거대 언어 모델에서 사람들이 제일 간과하고 있는 부분이 바로 이거 아닐까 싶다.
한번 써보고 피드백 좀 많이 남겨줘.
Github 링크:
