[해외 DS] 마이크로소프트 수학 전용 SLM ‘오르카-매쓰’ 발표, LLM과 기존 모델 모두 능가
오르카-매쓰는 미스트랄 7B 모델 기반으로 만들어졌으며, GSM8K 벤치마크에서 LLM과 기존 수학 전용 모델을 모두 능가해 주요 성공 요인은 고품질 합성 데이터, 반복 학습, SFT-KTO-KTO 시퀀스를 활용한 교사의 피드백 품질 향상에 있어 마이크로소프트는 20만 단어의 AI 생성 합성 수학 문제 세트를 허깅페이스에 공개 마이크로소프트 리서치(이하 MS)에서 수학 전문 언어 모델 ‘오르카-매쓰'(Orca-Math, 이하 오르카)를 발표했다. 오르카는 소형언어모델(SLM)로…