150 个结果
GuardAgent:首个专门为LLM agent提供安全Guardrail 的守卫型agent
本文由 UIUC 李博教授 (Virtue AI)领导,文章一作向臻曾于李博教授课题组担任博士后研究员,现任佐治亚大学计算机系助理教授。 近年来大型语言模型(LLM)发展迅速,从纯粹的对话工具变成可以自主执行任务的“智能体”(agent)。这些LLM agent正在被部署到各类现实场景中,如医疗问诊、金融分析、网页导航、自动驾驶等。它们可以调用外部工具、读取数据库、与网页交互,实现复杂的自动化流程。 然而,随之而来的却是日益严峻的安全和隐私挑战。一个没有安全限制的医疗agent,可能在无意中泄露患者敏感信息;一个自动化网页agent,可能在儿童使用时触发不合适的购买行为。传统的针对大模型本身的安全监护(Guardrail)主要用于检测文本输出中的有害内容,在处理文字时效果不错,但面对执行现实世界操作(如查询数据库、点击网页按钮)的LLM agent时,它们显得力不从心。这类agent需要的不是“文字审查”,而是真正理解上下文、能处理结构化安全请求的机制。 为此,来自佐治亚大学,UIUC大学等院校,联合AI安全公司Virtual AI的多位学者发布了GuardAgent ——...
CZ
on 2025-07-23
SimpAgent (ICCV2025 Highlight):上下⽂简化重塑GUI智能体,更少计算,更强性能
近年来,GUI智能体的发展正从依赖HTML、Accessibility树等⽂本解析的模式,逐步迈向基于截图感知的“纯视觉”范式。在多模态⼤模型(MLLM)的加持下,纯视觉GUI智能体展现出⽆需系统权限、泛化能⼒强、交互⾃然等优势,被视为未来通⽤操作智能体的重要⽅向。然⽽,这⼀新范式背后却暗藏困境:⾼密度、松散关联的元素上下⽂,以及冗余的历史上下⽂,正在制约GUI智能体在性能与效率上的平衡。 为此,哈⼯深和华为的研究者们从上下⽂简化建模的⻆度提出了SimpAgent,实现了更快更强的GUI智能体,该⼯作已被 ICCV 2025 录⽤为 Highlight 论⽂。 📄 论⽂地址:https://arxiv.org/abs/2507.03730 💻 代码仓库:https://github.com/JiuTian-VL/SimpAgent01 背景:从⽂本解析到纯视觉智能体,效率困境浮现...

on 2025-08-07
清华团队开源发布首个结构化数据通用大模型
2025 年 8 月 29 日,由清华大学计算机系崔鹏教授团队联合稳准智能共同研发的结构化数据通用大模型“极数” (LimiX)正式宣布开源。此次发布标志着我国在结构化数据智能处理领域的技术突破与生态开放迈出关键一步,将显著降低千行百业应用结构化数据 AI 技术的门槛。特别是在结构化数据占主导的泛工业领域,“极数”大模型将助力AI深度融入工业生产全流程,破解工业数据价值挖掘难题,为实现智能制造与新型工业化提供关键支撑,推动产业技术变革和优化升级。在泛工业领域,结构化数据是核心资产——工业生产参数、设备运行数据、质量检测数据、科研实验数据等均以结构化数据形式呈现,其智能处理能力直接影响产业效率与科研突破,也是 AI 赋能工业制造的关键突破口。虽然通用大语言模型(LLM)凭借强大的文本理解与生成能力,已在内容创作、对话交互等领域实现广泛应用,但 LLM...

on 2025-09-02
飞轮“倒转”,灵巧手厂商困在夹缝里
技术远未成熟,但价格鏖战已过早升级。 作者丨丁莉 编辑丨陈彩娴 “关于灵巧手,你可以认为所有 demo 都是假的。一切都是过拟合的结果,自主完成任务的能力基本不存在。从业者和非从业者对技术进展的认知差距过大,需要一些可视化的东西来弥合这种鸿沟。”一位业内人士告诉AI科技评论。 这一说法后来得到了多方认同。放眼刚刚过去的 WAIC 和 WRC 两个大会,预编程仍是主流。 今年以来,具身智能的焦点突然从本体延伸至灵巧手——上游零部件、下游本体纷纷下场,灵巧手初创公司遭受两面夹击。 投资者也多方下注,主要押注三个特征:最AI、最像人手、最早量产。 但智能不足仍是最大痛点。 此外,何为最像人手?商用客户到底在哪里?围绕这些问题仍争议不断。环境一片嘈杂,所有争议又最终指向另一个问题——降本。 作为上游部件,理想的状态本应该是“规模量产—数据涌现—技术迭代—成本下降”,但飞轮跑不开就是死循环。本征资本的邢大地指出,灵巧手行业的残酷之处在于,场景需求和竞争优势不明确,市场很容易红海化,“这样的项目几乎是必死的”。 2024...

on 2025-09-03
万字长文实录:RL 界与 CV 界的“世界模型”有什么不同?Ⅰ丨GAIR Live
丨GAIR Live 无论是自动驾驶还是具身智能,都在走向大规模基于世界模型的训练之路 作者丨刘欣 编辑丨马晓宁、陈彩娴 世界模型在人工智能领域中扮演着重要角色,能够有效为智能体提供对复杂现实世界的内在表征,使其像人类一样理解世界运行的逻辑与因果关系,对自动驾驶、具身智能的突破性发展至关重要,它已成为学术界和工业界的研究热点。 2015年8月5日,雷峰网、AI 科技评论 GAIR Live 品牌举办了一场主题为“世界模型 — — 通向通用智能的关键拼图”的线上圆桌沙龙。 圆桌主持人为清华大学智能产业研究院( AIR )助理教授、智源学者赵昊,并邀请了宁波东方理工大学助理教授金鑫、浙江大学特聘研究员廖依伊、布里斯托大学助理教授杨梦月、伯克利人工智能实验室博士后研究员郑文钊一起进行了一场深度的讨论。 会上主持人赵昊带头讨论世界模型,先是探讨其定义、范围,接着分析强化学习界与计算机视觉界的世界模型的不同,随后围绕视频生成、三维重建等内容,剖析通用视频生成模型向真正的世界模型的发展路径,最后关注于落地场景,聚焦于自动驾驶以及具身智能,并探讨构建其世界模型的难点和方向。...

on 2025-09-04
万字长文实录:RL 界与 CV 界的“世界模型”有什么不同?Ⅱ 丨GAIR Live
作者丨刘欣 编辑丨马晓宁、陈彩娴 世界模型在人工智能领域中扮演着重要角色,能够有效为智能体提供对复杂现实世界的内在表征,使其像人类一样理解世界运行的逻辑与因果关系,对自动驾驶、具身智能的突破性发展至关重要,它已成为学术界和工业界的研究热点。 2015年8月5日,雷峰网、AI 科技评论 GAIR Live 品牌举办了一场主题为“世界模型 — — 通向通用智能的关键拼图”的线上圆桌沙龙。 圆桌主持人为清华大学智能产业研究院( AIR )助理教授、智源学者赵昊,并邀请了宁波东方理工大学助理教授金鑫、浙江大学特聘研究员廖依伊、布里斯托大学助理教授杨梦月、伯克利人工智能实验室博士后研究员郑文钊一起进行了一场深度的讨论。 会上主持人赵昊带头讨论世界模型,先是探讨其定义、范围,接着分析强化学习界与计算机视觉界的世界模型的不同,随后围绕视频生成、三维重建等内容,剖析通用视频生成模型向真正的世界模型的发展路径,最后关注于落地场景,聚焦于自动驾驶以及具身智能,并探讨构建其世界模型的难点和方向。 其中,四位嘉宾围绕具身智能世界模型的构建分别提出了自己的独到见解:...

on 2025-09-04
AI 的下一个战场:端侧模型崛起
作者丨齐铖湧编辑丨陈彩娴过去一段时间,大模型行业经历了一场风切变。越来越多厂商官宣了自己的小模型成果:8 月初,腾讯官宣“混元系列小模型”落地,不久后,阿里跟进两款通义Qwen3–4B。起初,大家以为只是国内大厂对轰,互秀肌肉罢了。几天后,剧情愈演愈烈。大洋彼岸,英伟达研究院和佐治亚理工大学在论文里抛出了一个“暴论”:小语言模型才是未来,在社交媒体上引发了不少讨论。Press enter or click to view image in full size论文链接:https://arxiv.org/abs/2506.02153v1不久后, OpenAI 也传来消息,破天荒开源了 GPT-OSS-20B 等两款小尺寸模型。同日,面壁开源最新的4B参数的多模态模型 MiniCPM-V 4.0。头部玩家们如此整齐划一的举动表明:小模型不再只是囿于算力资源的创业公司的押注;相反,在基础大模型突破愈发艰难的当下,越来越多公司将研发团队的部分战斗力转向小模型,尤其是落地到各个终端设备上的端侧模型。事实上,面壁智能 CEO 李大海很早就提出:AGI...

on 2025-09-04
AI 颠覆的第一个职业是程序员?
作者丨马晓宁、郑佳美 编辑丨陈彩娴 当 AI 大模型飞速进化,最先被卷入洪流的,不是写作画画或运营,而是程序员。过去几年,从 GitHub Copilot 开始,到 Cursor、Codeium、Claude Code,再到各类 Agent 框架如雨后春笋般涌现,AI 开始进入代码世界,试图不仅写代码、补代码,更要理解工程、构建系统,乃至在没有人的指令下完成一次次自动迭代。 这场看似技术层面的革新,其实正在悄然重塑整个软件开发范式,也让“AI 是否将程序员作为第一个被颠覆的职业”成为一个日益无法回避的问题。 然而,颠覆,从来不是一个单向度的词。AI Coding 正在打开的是一条分叉的路径:在存量程序员眼中,它是效率的跃迁工具,是写代码的新搭子;在非程序员眼中,它是一种“去编程化”的自由工具,是一种“用自然语言造软件”的全新可能。而在真正理解软件工程的人看来,AI Coding 更像是刚刚起步的“工程幼儿园”:离真实的复杂协作、架构设计、上下文演进与严肃生产环境仍有巨大距离。 7 月 19 日上午,AI 科技评论组织了一场围绕“AI Coding”的线上圆桌,请到了三位长期深耕于...

on 2025-09-04
Rich Sutton 最新 WAIC 演讲:从数据时代到经验时代的 AI
整理丨梁丙鉴 编辑丨陈彩娴 AI 和人都站在两个时代之间的历史转折点上。 随着人类数据中可提取的知识迅速接近极限,Scaling Law 的终点已经隐约可见。今天的大语言模型可以编程、写诗,却仍无法独立发现新知。显而易见,真正的智能,呼唤着新的训练范式出现。 更迫切的问题关乎人自身。自古以来,智者们便试图理解人的心智如何运作。当这一原理终于要被探明,千年追求的终点前却不仅有期待,还有对 AI 的恐惧。站在 AI 智能水平可能超越人类的转折点上,我们要如何看待它?以及更关键的问题,如何看待自己? WAIC 2025 现场,现代强化学习的奠基人、阿尔伯塔大学教授 Rich Sutton 教授发表了题为《从数据时代到经验时代的 AI》的主旨演讲。Sutton 教授指出,学习源于强大的体验,而体验是心智活动的基础。智能体与世界的第一人称互动中,可能藏着一条通向超越人类智能的小径。 “经验时代”的概念由此而来。智能体对世界进行感知与交互,获取海量动态且高度定制化的数据,这种数据源将超越任何静态的合成数据生成程序,也更贴近生命的本质。就像 Sutton...

on 2025-09-04
WAIC最强亮点:非Transformer离线AI大模型已大规模量产,大模型商业比我们想得更快II
作者丨郭海惟 编辑丨陈彩娴 会自我学习自我生长的大模型。 智能离线内容可见上篇 2. 场景、场景,还是场景 “踩技术的坑”,只是RockAI过去一年两大“年度工作总结”中的一个。而比技术的坑更大的,则是“场景的坑”。 场景很难,邹佳思对AI科技评论说,演示和落地之间存在鸿沟,量产化落地难上加难。 假如说,Yan1.2部署在树莓派可以算得上一个写在公司手册里的里程碑事件。那么Yan1.3发布后,公司拿到了出海头部硬件公司的订单,则又算得上是业务里程的一大步。 邹佳思至今都记得,当合作伙伴把搭载着Yan1.3能力的PC拿给海外经销商的时候,合作伙伴的震动与兴奋。甚至一些实力雄厚的“巨头”友商代表,都专门到展台前面询问离线端侧功能是怎么实现的。 断网其实是一件比很多人想象得更重要的事情。 “离线端侧大模型在海外的需求是非常旺盛的”,邹佳思对AI科技评论表示,只是其中很多需求还没有获得最佳的解决方案。 首先,对于出海的硬件企业来说,海外关于信息安全的政策环境是很多样的。端侧可以规避大量信息传输、上云带来的政策风险与合规成本。...

on 2025-09-04
相关文章