브라우저 에이전트 50개 동시 실행하면 자꾸 터지는데... 다들 어떻게 해결함?
browser agents keep breaking at 50 concurrent.. what's anyone doing different
핵심 요약
브라우저 에이전트 50개를 동시에 돌릴 때 발생하는 원인 불명의 세션 종료 문제에 대한 해결책을 찾는 질문.
- 리소스 고갈 — 브라우저 프로세스가 OOM 킬러에 의해 강제 종료되면서 발생하는 현상임.
- 배치 처리 — 세션 관리와 명시적 대기 시간을 통해 부하를 분산하는 것이 표준적인 대응책임.
- 인프라 관리 — 브라우저베이스 같은 외부 서비스를 사용하거나 커널 수준의 연결 제한을 확인해야 함.
- 실시간 요구사항 — 사용자 대기 시간이 중요한 경우 큐 방식보다 동시성 확보가 훨씬 어려운 과제임.
브라우저 에이전트 50개를 동시에 돌리니까 세션이 그냥 죽어버림. 타임아웃, 멈춤 현상 발생하고, 절반은 에러도 안 뜨고 그냥... 멈춰버림?? 진짜 도움 되네.
메모리 제한도 늘려보고 동시성을 30으로 낮춰봤는데도 소용없음. 이거 때문에 오후 다 날렸는데, 시간 낭비 제대로 함. 그냥 무시하고 넘어갈 수 있는 문제도 아니고.
이거 한계치가 있는 거임, 아니면 대규모로 이거 해결해서 쓰는 사람 있음?


