AI 엔지니어링 분야에서 AI 개발과 AI 플랫폼은 앞으로 어떻게 발전할까?

플랫폼 팀은 더 많은 '추론 엔지니어링(inference engineering)'을 하게 될 거야. 즉, VRAM 같은 GPU 내부 구조나 vLLM 같은 프레임워크를 배울 준비를 해둬.

모델을 만지작거리는 걸 더 좋아해, 아니면 인프라 쪽을 더 좋아해? 아마 그게 결정적인 기준이 될 거야.

하나는 소프트웨어 엔지니어링 쪽에 더 집중할 거고, 다른 하나는 데이터와 소프트웨어를 합친 쪽에 집중할 거야.

에이전트에 MCP 서버 몇 개 붙여놓고 다 했다고 하던 시절은 끝났다고 봐. 이제는 기업 입장에서 에이전트가 접근하는 자산을 관리하고, 누가 무엇을 왜 사용했는지에 대한 추론 로그와 텔레메트리를 추적하는 게 훨씬 중요해질 거야. 이런 것들이 실무자들이 계속해서 학습 내용을 반복 개선하게 만들겠지.

이걸 잘하려면 데이터 플랫폼이 필요할 거야. 나라면...

개발 쪽은 실제 사용 사례와 가까이 지내면서 무엇을 만드는 게 가치 있는지, 아니면 그냥 거품인지 파악하는 능력을 키우게 돼. 플랫폼 쪽은 인프라를 깊게 파게 되는데, 문제들(신뢰성, 비용, 접근 제어)이 어디서나 비슷하기 때문에 회사 간 이직 시 기술 이전이 더 잘 되는 편이야. 비기술직 이해관계자들과 무엇을 만들지 논의하는 걸 좋아하면 개발 쪽에 남아. 그런 게 싫다면 장기적으로는 플랫폼이 더 잘 맞을 거야.

플랫폼 역할은 앞으로 강력하게 통합될 거야. 모든 회사가 내부 플랫폼을 기성품으로 사거나, 한 번 구축하고 나면 더 이상 건드리지 않게 될 테니까. 도구가 성숙해질수록 그 분야의 업무 범위는 줄어들 거야.

에이전트/애플리케이션 쪽은 정반대야. 모델이 좋아질수록 복잡성은 오케스트레이션, 평가, 도메인 로직 같은 상위 스택으로 이동하거든. 앞으로 몇 년간은 그쪽에서 흥미로운 문제들이 많이 나올 거야.

이미 에이전트를 설계하고 RAG의 트레이드오프를 시스템 수준에서 이해하고 있다면...