OpenAI 谷歌天天刷流量，微软也坐不住了，推出最新小模子 Phi-4。
参数目仅 14B，MMLU 性能就和 Llama 3.3/ Qwen2.5 等 70B 级别大模子坐一桌。
数学才智上，Phi-4 在好意思国数学竞赛 AMC 10/12 上卓越了 GPT-4o 等一众大模子，分数冲上 90。
编程才智亦然开源模子一流，卓越了 70B 的 Llama 3.3 和 72B 的 Qwen 2.5。
更引起热议的是，微软在技能施展中还提议了一个新的考试范式——midtraining。
这一举动让 Phi-4 领有了更强的长文本措置才智，窗口长度达到 16K 后，调回率依然保捏在 99%。
小模子挑战复杂推理
在常见基准测试中，Phi-4 获得了优异的文本措置和复杂推理水平：
在 MMLU 上，Phi-4 以 84.8% 的准确率卓越了 GPT-4o-mini 的 81.8% 和 Llama-3.3 的 86.3%；
在连络生水平 STEM 问答 GPQA 上，Phi-4 准确率达到 56.1%，高于同尺寸模子 Qwen-2.5 的 42.9%，致使卓越了 GPT-4o 的 50.6%；
在数学测试集 MATH 上，Phi-4 以 80.4% 的准确率卓越 GPT-4o-mini 的 73%，并接近 GPT-4o 的 74.6%；
编程才智方面，Phi-4 在 HumanEval 上以 82.6% 卓越了其他开源模子，以及 GPT-4o-mini。
在难度稍高的 MMLU 和 HumanEval+ 上，Phi-4 的发扬也卓越了其他开源模子；在 ArenaHard、LiveBench 和 IFEval 上则发扬欠佳。
另外，微软还用里面的基准 PhiBench 对模子才智进行了更全面的评估，归天 Phi-4 获得了 56.2% 的抽象得分，展现出在推理、常识、编程等方面的全面才智，但比拟于 Qwen 2.5-72B 等模子，照旧表示了有待提高之处。
在 Phi-4 的宣传页中，微软还展示了其在一个具体的数学推理题目上的发扬。
Phi-4 相配有档次地商酌了多样可能出现的情况，并盘算出了正确谜底。
除了这些惯例才智，微软团队还特意在长文本上测试了 Phi-4 的发扬。
在 8K 和 16K 两种窗口长度中，连络团队应用 HELMET 基准评估了 Pho-4 和其他模子在 RAG、QA 问答、长文本节录等任务上的水平。
归天，Phi-4 在多个任务上与同尺寸的 Qwen 2.5-14B 特别，部分方针还可与 70B 的 Llama 3.3 一决高下。
不外，Phi-4 在某些任务（如 RAG 和文档排序）上，仍有进一步训诲的空间。
不同于一般大模子的预考试 + 后考试的两阶段方法，微软在两个阶段中间新加入了一个 midtraining 阶段。
在 10 万亿 tokens 范围的预考试完成后，Phi-4 不错措置 4k 长度的凹凸文窗口，而 midtraining 的倡导是在此基础上进一步将窗口长度训诲到 16k。
连络团队发现，自然的长凹凸文数据（如无缺的学术论文）比东说念主工拼接短样本更成心于考试长凹凸文才智。
因此，团队从学术著述、竹素、代码库等高质料非合成文本中筛选出长度大于 8K tokens 的样本算作考试集，何况对长度卓越 16K tokens 的样本进行加权，以匹配方向长度。
为进一步丰富长凹凸文考试数据，连络团队特意生成了餍足大于 4K 长度条目的新合成数据，与真确长文本数据共同构成了 midtraining 阶段的数据集。
最终，midtraining 阶段的数据包含 30% 新引入的长文本数据（筛选 + 合成）和 70% 预考试阶段的历史数据，范围为 2500 亿 tokens。
同期，为了妥当 16K 的长序列考试，连络团队将 rope 位置编码的基频从预考试阶段的 2K 扩大到 250K；同期，为保证考试结识性，团队将学习率缩小为预考试阶段的十分之一。
最终，Phi-4 在 HELMET 等长文本基准测试中发扬出色，解释了 midtraining 阶段的灵验性。
除此以外，在后考试阶段，连络团队还提议了一种新颖的对比学习要津——枢轴 tokens 搜索（PTS）。
通过识别对模子输出影响最大的漏洞 tokens，并围绕它们构造正负样本对，PTS 不错生成高信噪比的对比学习数据，显耀训诲考试遵守和成果。
除了 PTS 生成的对比学习数据，连络团队还引入了东说念主类响应对比学习（Human Feedback DPO）。
他们招募了无数东说念主员对模子输出进行评判，并据此构造优质的正负样本对，使得模子愈加迫临东说念主类偏好。
One More Thing
不外 midtraining 并不是微软初次提议，早在 7 月份，OpenAI 就一经启动为伦敦的 midtraining 团队招东说念主了。
论文地址：
https://arxiv.org/abs/2412.08905
— 完 —
点这里� � 蔼然我，铭刻标星哦～
一键三连「共享」、「点赞」和「在看」
科技前沿进展日日相逢 ~