r/LocalLLaMA•약 5시간 전•37•8
업데이트: Yandex/AliceAI 80B-A3B 파인튜닝 진행 상황
Update: Yandex/AliceAI 80B-A3B fine tune progress
핵심 요약
Yandex/AliceAI 80B-A3B 모델 파인튜닝이 40% 완료되었으며, 학습 손실 곡선의 변동 원인과 향후 모니터링 팁이 공유되었습니다.
- 파인튜닝 진행률 — 초기 학습 단계의 약 40%가 완료됨
- 손실 곡선 변동 — 마이크로 배치 단위의 손실 값을 사용하여 그래프가 튐
- 학습 모니터링 — 평가 손실과 라우터 균형 및 전문가 활용도 확인 권장
- 전문가 사멸 방지 — 파인튜닝 중 전문가가 죽는 현상을 주의 깊게 관찰해야 함
손실 곡선 (변동을 설명하기 위해 각 스텝의 마지막 마이크로에서 가져옴)
gemini 3.8 flash high의 도움 좀 받음
초기 파인튜닝 40% 정도 끝났다. 손실 값이 왜 이렇게 널뛰나 했더니, 스텝별 평균값이 아니라 실수로 각 마이크로의 마지막 손실 값을 써서 그랬네.
학습 라이브 스트리밍 주소는 여기: https://figure-bios-expect-cio.trycloudflare.com/
