来源：CCF开源发展技术委员会
文章链接：https://mp\.weixin\.qq\.com/s/XsJgu4hY44apDlnOBJWmSQ
Token经济下的开源AI Infra机遇和挑战
论坛简介
随着大模型从能力探索走向规模化应用，AI Infra正在进入新的发展阶段。一方面，模型规模、多模态任务与智能体应用持续推高计算、访存、通信和调度需求；另一方面，行业对AI基础设施的评价标准，也正在从单点算力与模型性能，逐渐走向单位Token成本、资源利用效率以及任务完成的综合成本。在这样的背景下，AI Infra应该如何演进？硬件架构、云原生基础设施、分布式推理、异构计算与开源软件栈之间又将形成怎样的新协作方式？
CCF开源发展技术委员会旗下AI Infra工作组发起"Token经济下的开源AI Infra机遇和挑战"分论坛。将邀请来自产业界、学术界及开源社区的多位专家，从云原生 InfraServices、大模型高效部署、分布式推理、科学智能到 Agentic AI Infra 等不同视角展开讨论。
日 程
时间
10月22日 13:30-17:30
地点
西博城4号馆-404
论坛主席
章文嵩
CCF会士、常务理事、开源发展技术委员会副主任委员，开源项目LVS(Linux Virtual Server)创始人
个人简介：CCF会士、常务理事、开源发展技术委员会副主任委员，开源项目LVS(Linux Virtual Server)创始人。现在主要从事云原生和AI Infra创业孵化与投资。曾任高瓴运营合伙人、滴滴出行高级副总裁、阿里副总裁和阿里云首席技术官、TelTel联合创始人、国防科技大学计算机学院副教授。他在设计和架构大规模系统、云计算、大数据、AI工程、软件研发管理、开源上有着丰富的经验。
联合主席
章津楠
CCF开源发展技术委员会委员、CCF ODTC AI Infra工作组组长，沐曦股份开源生态总监
个人简介：CCF开源发展技术委员会委员、CCF ODTC AI Infra工作组组长，沐曦股份开源生态总监，10年+创业经历，15年以上的Infra开源产品设计和运营经验，参与制定国内开源领域多项标准，获全国信息技术标准化委员会颁发的“2022年度云计算标准工作先进个人”，2025 CCF中国开源大会、2025 CNCC、COSCon’s“开源AI 基础设施论坛”发起人之一。
嘉 宾
01
从Token效率到Agent生产力：面向智能体时代的 AI Infra开源创新
马涛
龙蜥社区理事长，阿里云智能集团研发副总裁
随着大模型与智能体加速落地，Token经济正在推动AI基础设施从单点性能优化走向端到端效率提升。本报告将结合阿里云在 AI Infra 领域的创新实践，围绕异构算力与开源软件栈的深度协同，从AI 编译、KVCache 管理到性能可观测等关键环节，分享阿里云提升模型训练推理效率与资源利用率的系统性优化思路。在此基础上，进一步探讨智能体规模化应用带来的新型负载需求，介绍Agentic OS在高效运行、状态恢复与安全治理等方面的创新探索，推动经济性评价从单位Token成本延伸至任务完成的综合成本，并讨论开源协作如何将技术优化转化为可持续的生态能力。
02
llm-d：打造跨负载、跨模态、跨硬件、跨平台的分布式推理平面
张家驹
vLLM社区大使
llm-d（2026年3 月进入CNCF Sandbox，由Red Hat、Google、IBM Research、NVIDIA、AMD等联合发起）给出的答案是：将推理系统的核心收敛为一层独立于引擎、独立于编排、独立于硬件的分布式推理平面——以KV-cache感知路由、Prefill/Decode分离、分层前缀缓存卸载和基于Envoy ext-proc的可扩展调度框架为基座，让 vLLM 等引擎的单点优化在成百上千个副本上依然成立。本次演讲将以"四种异构、一个平面"为主线，结合生产级benchmark数据，展开 llm-d 的四条最新演进路线。
03
面向异构算力的推理实践：FlagOS生态下的多芯适配与高效执行
刘艳青
先进编译实验室研究员
在Token经济背景下，算力价值越来越需要通过实际有效Token产出体现。面对日益多样化的异构算力，开源AI Infra不仅要解决不同芯片如何快速接入主流推理框架的问题，还需要解决新模型、新推理能力如何持续适配，以及如何通过框架执行、分布式协同和底层算子等层面的优化，充分发挥异构硬件性能，实现更高效的Token生成。
本报告结合先进编译实验室参与FlagOS开源生态共建的实践，围绕 FlagOS生态中的推理插件与多芯适配实践展开，重点介绍如何通过多芯基础能力和推理插件机制，连接上游主流推理框架与不同异构硬件平台，在尽量保持原有框架接口和使用方式的基础上完成多芯适配，并持续支持新模型、新量化方式以及新的推理能力。
在完成“能够运行”和“能力可用”的基础上，报告将进一步重点介绍高效执行的工程实践，包括面向异构硬件的执行路径优化、分布式执行优化、Graph等执行机制优化，以及必要的算子级性能优化，推动多芯推理从“适配可用”进一步走向“稳定高效”。同时，结合上游框架版本和模型持续演进，探讨如何建立可持续的适配、验证与性能优化机制。
04
大模型高效部署与优化技术研究
宋卓然
上海交通大学计算机学院副教授、博士生导师
随着人工智能技术的快速发展，以大语言模型（LLM）、视觉大模型（VLM）以及多模态大模型为代表的新一代智能模型正在推动计算、访存需求持续增长。相比传统深度神经网络，大模型在参数规模、数据依赖、访存带宽以及异构计算协同等方面提出了更高要求，传统通用处理器架构面临计算效率不足、数据移动开销过高以及能效受限等问题，因此开展面向大模型的专用处理器芯片架构与系统研究已成为当前的重要方向。本报告将围绕多模态人工智能任务，介绍面向大模型的处理器芯片架构与系统研究进展，介绍面向稀疏数据处理的高效并行架构与数据流优化方法，以及基于异构计算与高带宽数据交换的加速架构设计。
05
从AI4S模型到科学智能
赵学庆
沐曦股份产品研发部高级总监
沐曦股份以曦索X系列科学智能GPU和MXMACA软件栈为算力底座，兼容科学计算与AI框架，支持分子动力学、气象海洋、材料计算等经典科学计算，通过AI4S加速库和标准化AI4S Skill，把药物发现、材料筛选、气象预测、分子模拟等模型封装为可调用、可编排的科研任务单元。依托AI4S开源模型与开发者社区，汇聚框架、工具与协作资源，让模型和Skill持续迭代。科学智能Agent可根据科研目标自动组合Skill、调度算力资源、迭代优化计算结果形成并闭环验证，推动AI4S从单点模型走向自主科研智能。“从AI4S模型到科学智能”，通过开源开放生态体系，推进从模型到科学智能的演进升级。
06
大模型时代云原生InfraServices的机会
章文嵩
CCF会士、常务理事、开源发展技术委员会副主任委员，开源项目LVS(Linux Virtual Server)创始人
本报告主要抛砖引玉讲述在大模型时代下云原生InfraServices的发展机会。LLM触发的智能化科技革命会持续一百年，各行各业都有智能化升级的机会。开源是AI发展的重要力量，加快AI的开发速度，构建AI的开源生态，大幅降低智能化的门槛，加速AI技术的扩散。智能化升级和AI应用会创造巨大价值。人工智能应用成功需要三个必要条件：人才、数据、算力，催生新的基础设施需求，包括数据基础设施和AI服务基础设施等，来复用人才的经验（软件）和公共的硬件基础设施。这些基础设施服务应该建设在云基础设施之上，来重用云上的计算与存储服务，并实现自动伸缩的弹性能力。会概要地讨论用云原生的架构来设计数据基础设施和AI服务基础设施等。AI开发生态还处于早期阶段，通过开源协作在智能服务开发框架、高性能算子库等领域形成事实的标准，大有可为。云原生Infra Services可以大幅降低大模型AI技术的应用门槛，它自然是多云的，通过开源可以拓展国际化市场。
原文链接: https://www.leiphone.com/category/private/TebalVpt4ANn7xbe.html
