헬창 개발자

✅개요Phi-4 모델: 14억 파라미터의 언어 모델로, 데이터 품질에 중점을 둔 새로운 학습 방식을 적용.기존 Phi-3 모델의 구조를 기반으로 개발되었으나, 합성 데이터의 활용 및 사후 학습(post-training) 혁신을 통해 성능을 크게 개선.주요 목표: 추론 및 문제 해결 능력을 강화한 모델 제공.phi-4의 개발은 세 가지 핵심 기둥에 의해 진행됨.사전 훈련 및 중간 훈련을 위한 합성 데이터고품질 유기 데이터의 큐레이션 및 필터링SFT 데이터 세트의 새로운 개량된 버전과 핵심 토큰 검색을 기반으로 DPO 쌍을 생성하는 새로운 기술을 개발💡정리  비교 대상Phi-4, Phi-3, GPT-4o, GPT-4o-mini, Qwen 2.5, Llama-3.3결과Phi-4는 MATH(80.4), GPQ..