10년간 데이터 과학자로 일하다 사지마비가 된 후, 지난 3개월간 Polars와 React Flow 기반의 초고속 시각적 Alteryx 대안인 VibeETL을 만들었습니다.

안녕 <a href="/r/vibecoding">r/vibecoding</a> 형들.

데이터 사이언티스트로 거의 10년 동안 현장에서 구르면서 거대한 데이터셋이랑 씨름하고, 개판인 엔터프라이즈 스키마 처리하고, 시중에 있는 웬만한 ETL 툴은 다 써봤어. 몇 년 전에 사지마비 판정을 받으면서 인생이 완전히 바뀌었지만, 밑바닥부터 소프트웨어를 만드는 거에 대한 내 열정은 절대 안 죽더라.

지난 3개월 동안 내가 현업에 있을 때 진작에 있었으면 좋았겠다 싶었던 비주얼 데이터 조작 플랫폼을 밑바닥부터 직접 만들었어.

이름은 <strong>VibeETL</strong>이고, 이제 커뮤니티 형들이 직접 써보고, 부수고, 스케일링 테스트해 볼 준비가 됐어.

🔗 <strong>Repository:</strong> <a href="https://github.com/cardchase/VibeETL">https://github.com/cardchase/VibeETL</a>

<h1>⚡ 진정한 확장성과 무한한 속도를 위해 설계함</h1>

무거운 레거시 시스템에 하도 데여서, VibeETL은 시각적/계산적 렉이 아예 없도록 설계했어:

<ul> <li><strong>미친 속도의 Polars 코어:</strong> 백엔드는 전부 <strong>Polars</strong>랑 Rust 기반 최적화로 돌아가고, zero-copy Apache Arrow 메모리 전송 할당을 써서 속도 뽑아냈어.</li> <li><strong>의존성 제로 BFS 스냅 레이아웃:</strong> <code>dagre</code> 같은 무거운 서드파티 라이브러리는 다 걷어냈어. Vite HMR 쓸 때 의존성 때문에 멈추는 꼴 보기 싫었거든. React Flow 캔버스 안에 직접 <strong>Topological BFS Layout 알고리즘</strong>을 짜 넣어서, 연결된 노드 매트릭스를 왼쪽에서 오른쪽으로 즉시 스냅되게 만들었어.</li> <li><strong>렉 없는 UI 버퍼링:</strong> 폼 파라미터 사이드 패널은 로컬라이즈된 컴포넌트 입력 쉴딩(<code>SafeInput</code>)을 써. 키 입력이 컨테이너화되어 있어서, 복잡한 커스텀 수식을 짜거나 40개가 넘는 스포츠 베팅/과거 배당 컬럼 레이아웃을 다뤄도 <strong>타이핑 렉이 아예 없어.</strong> 메인 캔버스에 부하도 안 줌.</li> <li><strong>격리된 프로세스 제이링(Jailing):</strong> 파이썬 코드 노드는 커스텀 데이터 스크립트나 머신러닝 알고리즘을 초보안 로컬 <code>subprocess</code> 감옥 안에서 돌려. 30초 실행 제한을 빡세게 걸어놔서 계산이 멈추거나 메인 서버 스레드가 터지는 일은 없을 거야.</li> </ul> <h1>🌌 AI 시대를 위한 설계: 커스텀 툴을 마음껏 때려 박아!</h1>

VibeETL을 만들 때 딱 하나 원칙을 세웠어. <strong>완벽한 커뮤니티 확장성.</strong> 매니페스트 기반 파이썬 백엔드 덕분에 새로운 처리 블록 만드는 게 진짜 쉬워.

만약 자율 코딩 에이전트(AI 안티 그래비티 에이전트 같은 거)를 쓴다면, 그냥 워크스페이스 베이스 템플릿 폴더를 던져주고 새 데이터 툴 짜달라고 한 다음에, <strong>생성된 폴더를 코드베이스에 바로 넣고 PR 날리면 끝이야.</strong> 바로 생태계에 기여할 수 있어.

<h1>🛠️ 커뮤니티 형들의 테스트와 검증이 필요한 부분:</h1>

데이터 수집 경로, 데이터 클렌징 엔진, DB 읽기/쓰기 블록, 고밀도 스프레드시트 그리드 레이아웃 같은 핵심 기능은 로컬 환경에서 엔터프라이즈급으로 빡세게 검증 끝냈는데, 외부 클라우드 경로 쪽은 내가 직접 다 테스트하기가 좀 빡세네.

개발자, 클라우드 아키텍트, 머신러닝 전문가 형들이 레포 가져가서 좀 굴려보고 부숴줬으면 좋겠어:

<ol> <li><strong>Gemini Vision AI 연동:</strong> 이미지 캡셔닝 수집 파이프라인이랑 토큰 처리 루프 검증.</li> <li><strong>클라우드 커넥터 & Google Cloud 툴:</strong> Google Sheets 입출력, GCS 스트림, 보안 자격 증명 경로 격리 가드 한계 테스트.</li> <li><strong>하드웨어 & GPU 가속:</strong> 로컬 GPU 환경이 있다면 격리된 파이썬 서브프로세스 컨테이너 안에서 매트릭스 가중치 스케일링(Nvidia RAPIDS <code>cuDF</code>/<code>cuML</code>이나 PyTorch CUDA 드라이버 같은 거)을 어디까지 밀어붙일 수 있는지 확인.</li> </ul> <h1>🚀 로컬호스트에서 바로 시작하기:</h1> <pre><code># Clone the Core git clone https://github.com/cardchase/VibeETL.git cd VibeETL # Run the automated launcher # Windows: .\run.ps1 # Mac/Linux: ./run.sh </code></pre>