시니어 AI 엔지니어 면접은 정의를 묻지 않는다. "운영 환경에서 시스템이 터졌으니, 어떻게 해결할지 설명해봐"라고 묻는다.

한동안 AI/LLM 면접 준비 자료들을 훑어봤는데, 대부분 수준이 거기서 거기더라. RAG가 뭐냐, 임베딩이 뭐냐, 프롬프트 엔지니어링 설명해 봐라... 이런 건 1차 면접용으로는 괜찮아도 시니어급으로 가면 아무짝에도 쓸모없음.

내가 직접 면접관으로도 들어가 보고 지원자로도 겪어본 실전 면접은 전혀 다름. 대충 이런 식임:

• 스테이징에선 잘 나오던 정확도가 프로덕션만 가면 박살 남. 어디부터 뜯어볼래?

• 코드 한 줄 안 건드렸는데 레이턴시가 2초에서 8초로 튐. 왜 이럴까?

• 비용이 4배나 뛰었는데 아무도 이유를 모름. 어떻게 할래?

• 에이전트가 무한 툴 루프에 빠짐. 어떻게 해결할래?

• 팀 4개가 각자 RAG 플랫폼을 따로 만들어놨는데, 이제 네가 이걸 다 떠맡게 됨. 어떻게 통합할래?

• 프론티어 모델 쓸지, 작은 모델 쓸지, 아니면 파인튜닝 할지 정해야 함. 수치로 근거 대서 설득해 봐.

• 보안팀에서 고객 데이터 VPC 밖으로 못 나가게 막음. 아키텍처 다시 짜.

이런 질문들은 첫 대답에서 끝나지도 않음. 설계를 끝내면 "트래픽 15배 됨", "비용 3배 뜀", "API 제공업체 장애 터짐", "정확도 15% 하락함" 같은 상황을 계속 던짐. 정답을 맞히는 게 중요한 게 아니라, 상황이 급변하는 와중에도 네 논리가 버티느냐를 보는 거임.

코딩 테스트도 마찬가지임. 릿코드(LeetCode) 같은 건 줄어들고, 대신 이런 게 나옴: 재시도/백오프(retry/backoff) 기능 있는 LLM 클라이언트 짜기, 취소 기능 포함된 비동기 추론 구현하기, 레이트 리미팅(rate limiting) 구현하기, 평가용 하네스(eval harness) 만들기, 종료 조건 있는 에이전트 루프 짜기. 해피 패스(happy path)는 기본 중의 기본이고, 면접관들이 진짜 보는 건 타임아웃, 배압(backpressure), 장애 모드, 관측 가능성(observability) 같은 것들임.

그래서 이런 실전 시나리오랑 해결 논리를 정리해두기 시작했음. 정답지 같은 게 아니라 사고 과정을 담은 거라 보면 됨. 오픈소스고 아직 좀 다듬어야 할 부분은 많음.

댓글에 있는 링크 확인해라