在手机上对智能助手说一句“帮我打车到上海虹桥站”，手机便能自动打开打车软件、识别目的地、完成下单操作；收到一张会议通知截图，AI能看懂时间、地点，主动问你是否需要添加日程。这些看似简单的跨APP任务背后，是一项科研人员持续多年攻坚的硬核技术。
近日，由复旦大学可信具身智能研究院姜育刚教授团队牵头完成的“端侧多模态感知与交互关键技术及应用”项目荣获2025年度上海市科技进步奖一等奖。该项目围绕终端设备上的多模态感知、理解、推理与交互，突破了大模型在手机、电脑、摄像头、机器人等终端上“跑不动、看不清、想不远”等瓶颈，让AI从云端加速走向用户身边的各类智能设备。
让AI在终端上也能“跑得动”
走进位于湾谷科技园的复旦大学可信具身智能研究院，明亮的实验空间里陈列着各类计算机终端与机器人设备。机械臂在编程指令下灵活转动，搭载着团队自研的视触觉传感器的夹爪，正稳稳地夹起一片薯片和一块豆腐，动作轻柔，毫发无损。几名研究人员正围在屏幕前，对多模态感知与交互系统进行反复测试。
这个去年成立的跨学科创新实体，专注具身智能的前沿研究与应用落地，是复旦大学面向世界科技前沿的重要战略布局。其中，“端侧多模态感知与交互关键技术及应用” 正是研究院沿着端侧智能方向持续推进的重要成果之一。
所谓“端侧智能”，就是在手机、电脑、摄像头、机器人等终端上直接实现AI的感知、推理与交互，尽可能减少对云端的依赖。一方面，终端设备能够获取丰富的图像、语音、文本、触觉等多模态信息；另一方面，终端设备的算力、内存、电量和散热条件较为有限，难以部署现有的大参数量模型。
如何让大模型既具备强大的理解和推理能力，又能在资源受限的终端设备上高效运行，是端侧智能必须跨越的关键难题。一个大模型参数量动辄千亿，好比要把一头蓝鲸装进鱼缸。“传统方法受限于感知精度不足、长链路推理交互受阻、模型计算资源消耗巨大等瓶颈，难以直接部署于算力严重受限的终端设备。”项目团队带头人、复旦大学副校长姜育刚说。
团队历时多年攻关，围绕“感知精细化、交互智能化、架构轻量化”三大方向取得突破。在感知层面，项目提升了终端设备对图像、语音、文本、界面和环境信息的综合理解能力，使AI能够更准确把握复杂场景中的关键信息；在交互层面，项目增强了系统面向复杂任务的连续推理、规划和反馈调整能力，让智能体能够从单次响应走向多步骤协同；在部署层面，项目通过模型轻量化、计算调度和资源压缩等方法，降低大模型在终端运行的资源门槛，使更多智能能力能够在本地设备上稳定、高效运行。
一场20多年的“长跑”
2005年，当姜育刚进入人工智能领域时，该领域远不像今天这样炙手可热。“很多时候，我们做的是一些看起来离应用还很远的基础研究。”回忆往昔，姜育刚说，“科研有时候像长跑，真正困难的是在外界还没有形成共识的时候，仍然相信这个方向有价值，并且持续深耕下去。”
回过头看，团队早年在视频理解、图文对齐、细粒度识别、多模态建模等方向上的持续探索，不仅在当时推动了相关基础研究和应用发展，也逐步沉淀为今天端侧多模态智能研究的重要方法基础。随着大模型技术兴起和终端应用场景不断拓展，这些长期积累进一步与真实设备和产业需求相结合，在更广泛的应用场景中持续释放价值。
“企业需求和高校研究形成了很好的互相牵引。”姜育刚说。端侧智能不是单一算法的突破，而是从模型架构、感知能力、交互机制到系统工程的整体创新。搭载该技术的荣耀MagicOS操作系统，成为行业首个通过中国信通院《终端智能化分级测试方案》L3等级认证的系统。项目成果还在华为、腾讯、海康威视等企业实现规模化落地，服务用户超十亿。这些成果还获得了包括图灵奖得主在内的知名学者正面评价，被阿里云、英伟达等知名公司的大模型采用。姜育刚教授因在相关领域的突出贡献，当选IEEE Fellow、IAPR Fellow，并获得新基石科学基金会科学探索奖、何梁何利基金科学与技术创新奖。
创新生态
加速科技成果“落地生金”
在研究院的实验室里，端侧智能的探索仍在继续。从手机、电脑、摄像头到机器人，终端正在成为AI感知世界、理解环境、服务用户的重要入口。复旦大学可信具身智能研究院也正沿着这一方向，围绕各类终端设备上的多模态感知、智能交互和操作持续开展研究，推动人工智能从数字世界走进物理世界。
成立不到一年，研究院已与8家企业共建联合实验室，成为前沿智能技术从理论走向应用的关键枢纽。团队研制的视触觉传感器，可以让机器人拥有类似人类皮肤的“触觉神经”，空间分辨率达到每平方厘米4万个感知点，精度甚至超越人类指尖。相比传统电子皮肤，成本降低到原来的五十分之一。这项技术已成功应用于机器人灵巧手和夹爪，在高精度分拣和精细化操作等任务中表现出色。近期，研究院孵化的企业还完成了近亿元天使轮融资，将推动相关技术加快走向工厂、家庭等真实应用场景。
复旦大学的这项获奖成果，是杨浦区深化“三区联动”、推动科技成果转化的生动缩影。作为上海科创中心重要承载区，近年来杨浦充分发挥科创教育资源优势，加强与在地高校科研院所、创新机构以及科技企业的合作，共同打造了一批推动科技创新的高能级的平台：与复旦大学共建上海智能产业创新研究院、未来谷C8创新源，推动前沿技术孵化与产业化落地；与同济大学共建上海数学与交叉学科研究院（丘成桐院士领衔）、同济致蓝概念验证中心及中国（上海）数字城市研究院，夯实基础研究与场景验证能力；联合字节跳动旗下火山引擎打造全国首个政府主导的“城市AI工厂”，推动人工智能赋能千行百业。
从大学校区的创新源头，到湾谷科技园的转化平台，再到公共社区的产业生态，杨浦正着力当好重大科技创新的“后勤部长”和科技成果转化应用的“战略合伙人”，让更多科研成果跨越“死亡之谷”，让越来越多“实验室里的黑科技”正加速变为“百姓口袋里的日用品”。
