관련링크
본문
※ 본 정보는 외부 공개 자료를 바탕으로 작성되었습니다. 기관 사정 등에 따라 변경 내용이 존재할 수 있습니다.
(서울=호수뉴스) 대규모 언어 모델 개발사들이 최근 6개월간 데이터 품질 문제로 인해 사전 학습 과정을 재개하고 있다는 소식이 전해지고 있으며, 이는 AI 모델 성능 에 직접적인 영향을 미치는 것으로 나타났다. 한 개발사는 약 1년간 훈련시킨 수조 개 매개변수(parameter) 모델의 성능이 훨씬 작은 규모의 모델보다.
못 미치는 결과를 겪었는데, 결국 문제가 훈련 데이터에 포함된 웹 스팸, 중복 데이터, 저품질 주석 등 때문이었음을 확인했다. 이에 텐센트 의 Hunyuan 은 이미 올 2월부터 사전 학습 및 강화 학습 인프라를 재구축하며 작업 전면 재개를 공표했으며, 과거 순위 조작 데이터 혼입 및 주석 규칙 비일관성 문제가 있었던 것으로 알려졌다.
알리바바 와 바이두 역시 데이터 거버넌스 강화에 나서고 있으며, 알리바바는 Qwen3 모델로 문서를 정제하고 합성 데이터 보강에 집중하는 한편, 바이두는 Ernie 4.5 모델에 중복 제거, 저품질 필터링, 데이터 매핑, 수동 검토 과정을 추가했다. 대규모 언어 모델 개발 과정에서 데이터 품질 의 중요성이 다시 한번 강조되고 있다.
|
|
|
|
|
추천 0 반대 0
댓글목록
등록된 댓글이 없습니다.
