基础模型在兼顾幻觉与推理能效上仍有很长的路要走。 作者丨郑佳美 编辑丨马晓宁 近日，智利大学 CIAE 教育研究所的研究员 Roberto Araya 进行了 4...

多模态模型在感知、理解与生成等方面的能力持续提升，但其输出中仍普遍存在与客观事实不一致的内容，即多模态幻觉现象。当模型面对信息缺失、语义含混或视觉细节复杂的场景时，往往会通过臆测进行补全，从而捏造并不存在的病灶、物体或情节。这类问题并非偶发失误，而是偏好优化训练过程中逐渐积累的结构性偏差所致：模型更容易从数量庞大、差异明显的简单样本中获得学习收益，却对真正困难、歧义性强的样本关注不足，结果是在复杂真实场景中的可靠性受到限制。围绕这一问题，上海科技大学信息科学与技术学院何旭明教授带领团队在论文《DA-DPO: Cost-efficient Difficulty-aware Preference Optimization for Reducing MLLM Hallucinations》中开展了系统研究。这项工作指出，现有偏好优化方法的核心症结不在于数据规模的不足，而在于样本难度分布失衡。为此，团队提出了 DA-DPO...