Ollama 기반으로 로컬 투-브레인 에이전트(비전 + 추론)를 실행하는 무료 데스크톱 앱 'ULTRA'를 만들었습니다. 피드백 부탁드립니다.

안녕, 연락 줘서 고마워. 같은 분야에서 일하는 1인 개발자 만나는 건 언제나 반갑지. 듀얼 에이전트 방식은 일리가 있다고 생각하고, 백엔드 에이전트랑만 통신하는 가벼운 프론트엔드 아이디어도 맘에 들어. 내 건 화면 읽기 쪽에 더 치중해서, 아마 서로 다른 방향에서 같은 문제를 해결하고 있는 것 같네. 언제든 얘기하자. 그리고 SENSE라는 이름 좋네!

어느 정도는 맞아요, 온보딩이 큰 부분을 차지하죠. 하지만 단순히 초보자용이라는 의견에는 조금 반대하고 싶네요. 뭘 해야 할지 정확히 알고 있더라도, 결국 내 그래픽카드에 맞는 퀀트(quant)가 뭔지, 어떤 비전 모델을 조합하는 게 좋을지, 그리고 내가 선택한 모델에서 실제로 어떤 스킬이 작동하는지 일일이 찾아봐야 하잖아요. ULTRA는 그 과정을 대신해 줍니다. 하드웨어를 프로파일링해서 내 기기에서 실제로 잘 돌아가는 모델과 스킬을 엄선해주거든요. 이건 보조 바퀴라기보다는, 아무도...

흥미롭네요. 근데 프로파일링은 어떻게 하는 거죠? 자체 벤치마크를 돌리는 건가요, 아니면 하드웨어 리스트를 가지고 있는 건가요, 그것도 아니면 웹에서 검색하는 건가요?

똑같은 사양의 컴퓨터라도 하나는 발열 때문에 성능 저하가 올 수도 있고, 하드웨어 버그가 있을 수도 있고, 아니면 잘 알려지지 않은 생소한 부품을 쓸 수도 있잖아요.

자체 벤치마크를 하지 않는 이상 잘 모르겠네요. 설령 벤치마크를 한다 해도, 재벤치마크는 어떻게 할 건지, OS나 다른 앱들이 방해하면 어쩔 건지, 시간이 지나면서 디스크 속도가 느려지거나 부품을 업그레이드하면 어떻게 대응할 건지 궁금하네요.