사지마비 장애를 겪기 전 10년간 데이터 과학자로 일했습니다. 지난 3개월 동안 Polars와 React Flow 기반의 초고속 시각적 Alteryx 대안인 VibeETL을 밑바닥부터 만들었습니다.

안녕 r/LocalLLaMA 형들.

데이터 사이언티스트로 10년 가까이 현장에서 구르면서 거대한 데이터셋이랑 씨름하고, 개판인 엔터프라이즈 스키마 처리하고, 시중에 있는 거의 모든 ETL 툴 다 써봤어. 몇 년 전에 사지마비가 오면서 인생이 완전히 바뀌었지만, 밑바닥부터 소프트웨어를 만드는 거에 대한 내 열정은 절대 안 죽더라.

지난 3개월 동안, 내가 현업에 있을 때 진짜 있었으면 좋겠다고 생각했던 비주얼 데이터 조작 플랫폼을 밑바닥부터 직접 만들었어.

이름은 VibeETL이고, 이제 커뮤니티 형들이 직접 써보고, 부숴보고, 스케일링 테스트해 볼 준비가 됐어.

🔗 Repository: https://github.com/cardchase/VibeETL

⚡ 진정한 확장성과 무한한 속도를 위해 설계함
무거운 레거시 시스템에 질릴 대로 질려서, VibeETL은 시각적/계산적 렉을 완전히 없애는 데 집중했어:

• 미친 속도의 Polars 코어: 백엔드는 전부 Polars랑 Rust 기반 최적화로 돌아가고, zero-copy Apache Arrow 메모리 전송 할당을 활용해.

• 의존성 없는 BFS Snap 레이아웃: Vite HMR 멈추는 꼴 보기 싫어서 dagre 같은 무거운 서드파티 레이아웃 라이브러리 다 걷어냈어. React Flow 캔버스 안에 네이티브 Topological BFS 레이아웃 알고리즘을 직접 짜 넣어서, 연결된 노드 매트릭스를 왼쪽에서 오른쪽으로 즉시 정렬해.

• 렉 없는 UI 버퍼링: 폼 파라미터 사이드 패널은 SafeInput이라는 로컬라이즈된 컴포넌트 입력 쉴드를 써. 키 입력은 컨테이너화되어 있어서, 복잡한 커스텀 수식을 수정하거나 40개가 넘는 스포츠 베팅/과거 배당률 컬럼 레이아웃을 다뤄도 메인 캔버스에 렉이 전혀 안 걸려.

• 격리된 프로세스 제어: Python Code 노드는 커스텀 데이터 스크립트나 머신러닝 알고리즘을 초보안, 일회성 로컬 서브프로세스 감옥(jail) 안에서 돌려. 30초 실행 제한을 걸어놔서 계산이 멈추거나 메인 서버 스레드가 터지는 걸 방지했어.
  🌌 AI 시대를 위한 설계: 나만의 커스텀 툴을 넣어봐!
  VibeETL을 만들 때 딱 하나 원칙을 세웠어. 바로 '완벽한 커뮤니티 확장성'이야. 매니페스트 기반의 Python 백엔드 덕분에 새로운 처리 블록을 만드는 게 엄청 쉬워.

자율 코딩 에이전트(AI anti-gravity 에이전트 같은 거)를 쓴다면, 그냥 워크스페이스 베이스 템플릿 폴더를 던져주고 새로운 데이터 툴을 짜달라고 해봐. 생성된 폴더를 코드베이스에 바로 넣고 PR 날리면 바로 생태계에 기여하는 거야.

🛠️ 커뮤니티 형들의 테스트와 검증이 필요한 부분:
데이터 수집 경로, 데이터 클렌징 엔진, DB 읽기/쓰기 블록, 고밀도 스프레드시트 그리드 레이아웃 같은 핵심 기능은 로컬 환경에서 엔터프라이즈급으로 안정화해 놨는데, 외부 클라우드 경로 쪽은 내가 직접 다 검증하기가 좀 빡세네.

개발자, 클라우드 아키텍트, 머신러닝 전문가 형들이 레포 받아서 아래 내용 좀 빡세게 테스트하고 부숴봐 줘:

• Gemini Vision AI 연동: 이미지 캡셔닝 수집 파이프라인이랑 토큰 처리 루프 검증.

• 클라우드 커넥터 & Google Cloud 툴: Google Sheets 입출력, GCS 스트림, 보안 자격 증명 경로 격리 가드 한계 테스트.

• 하드웨어 & GPU 가속: 로컬 GPU 환경에서 격리된 Python 서브프로세스 컨테이너 안에서 매트릭스 가중치 스케일링(Nvidia RAPIDS cuDF / cuML이나 PyTorch CUDA 드라이버 같은 거)이 어디까지 버티는지 확인.
  🚀 로컬호스트에서 시작하기:
  레포 클론하고 자동 실행 스크립트만 돌리면, 몇 초 안에 반응성 쩌는 예쁜 글래스모피즘 비주얼 캔버스 워크스페이스가 로컬 포트에서 바로 뜰 거야: