来源：成电DMLab

文章链接：https://mp\.weixin\.qq\.com/s/RPG5\-RxizzddXtb7KpJTRw

近日，电子科技大学计算机科学与工程学院（网络空间安全学院）数据挖掘实验室（DMLab）的论文“The Geometry of Compromise: Unlocking Generative Capabilities via Controllable Modality Alignment”被多媒体领域重要国际会议The 35th ACM International Conference on Multimedia（ACM MM 2026）接收。

该论文由实验室博士生刘鸿源（一作）、刘佳铭、韩葳、秦之理、郭锦霞以及实验室三位老师杨勤丽、张众、邵俊明等共同完成，其中杨勤丽、张众、邵俊明为共同通讯作者，电子科技大学为论文主要完成单位。

ACM MM 是多媒体与人工智能领域具有重要影响力的国际学术会议，研究内容涵盖多媒体内容分析、计算机视觉、跨模态学习、视觉语言模型和生成式人工智能等方向。

视觉语言模型通过将图像和文本映射到共享特征空间，实现了出色的零样本分类和跨模态检索能力。然而，图像与文本特征在共享空间中仍可能呈现明显的几何分离，即“模态鸿沟”。这一问题会限制图像描述、图文联合聚类等需要跨模态特征直接互换的任务。

论文研究发现，现有方法主要缩小了图像与文本特征中心之间的距离，但未能解决两种模态内部几何结构的不一致。为此，论文将模态鸿沟分解为中心鸿沟（Centroid Gap）和分布鸿沟（Distribution Gap），并指出分布鸿沟与跨模态任务性能具有更强的相关性。

针对上述问题，论文提出可控模态对齐框架。该方法通过负样本重加权和模态内几何匹配，同时缓解模态中心偏移与分布结构不一致；同时设计三阶段课程学习策略，逐步增强对齐约束，在跨模态对齐能力和原有判别能力之间实现可控平衡。

论文链接：https://arxiv\.org/abs/2604\.00279

代码链接：https://github\.com/herkerser/tpc\_cma

原文链接: https://www.leiphone.com/category/private/GuAVnhnMFQxl8q6X.html