转载自：库帕思
10月24日，全球开发者先锋大会“新方法、新基线、新语料”多领域系列评测基准发布会在上海张江科学会堂举行。活动围绕医疗、法律、建筑工程、科学智能、具身智能五大领域，集中发布8项评测基准及5项具身智能数据评测与应用系列标准成果，探索以真实任务检验专业能力、以科学评测促进产业应用的新路径。上海市经济和信息化委员会副主任潘焱出席发布会并致辞，上海市市场监督管理局相关负责同志及企业机构、行业协会、高校和科研院所代表参加活动。
本次活动由全球开发者先锋大会组委会指导、组委会办公室主办，上海库帕思科技有限公司、上海人工智能实验室、上海创智学院、商汤科技、阶跃星辰、稀宇科技共同承办，并得到相关科研机构、行业企业和生态伙伴的支持。
潘焱在致辞中表示，专业可信的评测体系是衔接技术创新和产业应用的重要桥梁，高价值语料突破是弥补算力短板、提升模型能力的重要路径。他提出，要坚持以评促建、需求牵引、开放协同，让评测牵引技术迭代、服务产业应用、惠及创新生态。上海将深入实施“模塑申城”行动，加大对高价值语料评测基准的支持力度，强化资源整合与供需对接，完善产业公共服务。
基准发布
以真实任务检验人工智能专业能力
本次发布的系列评测基准，将专业场景中的实际需求转化为可测量的任务、可核验的结果与可复现的评价流程，为模型能力比较、技术迭代和产业应用提供依据。
医疗领域，聚焦循证医学与证据应用。复旦大学附属中山医院、上海人工智能实验室、联影智能、脉博深处、库帕思联合发布MedBench RWE临床智能体真实世界证据应用评测基准。基准依托MedBench长程临床智能体评测框架，将循证医学证据分级规范与全链路溯源校验相结合，从临床决策质量和循证合规性两个维度，对医疗人工智能应用能力开展评估。首期评测聚焦上消化道出血场景，结合典型临床病例与权威指南文献，并同步开源KPS-Evidence循证医学数据集，为医疗可信人工智能的发展与应用提供可核验、可比较的量化评价依据。
法律领域，以真实案件检验实务成果。百事通、阶跃星辰、MiniMax、库帕思联合发布LegalAgentBench-CN中文法律智能体评测基准。基准以真实案件和法律咨询任务为基础，聚焦法律推理与长程任务执行，重点评估智能体交付成果的完整性与结论的可溯源性，并与真实案卷、判决进行校核，为法律人工智能的能力评估与应用落地提供评价标尺。
建筑工程领域，从图纸理解走向工程交付。华建集团、同济大学、华建数创、商汤科技、阶跃星辰、MiniMax、库帕思联合发布VecCAD-Bench图模CAD+评测基准。基准以真实工程图纸为基础，围绕图纸感知、理解、生成及长程任务执行构建评测体系，检验模型连续完成图纸识读、编辑、核验与成果提交的能力，并依据交付文件自动评分，评价模型能否将图纸理解转化为可编辑、可校核的工程成果。
科学智能领域，检验解决真实科研问题的能力。中国科学院上海营养与健康研究所、上海创智学院、上海科学智能研究院、华东师范大学、东华大学、MiniMax、库帕思共同发布科学智能领域系列评测基准，包括ChemSciBench化学科研任务评测基准、LifeSciBench生命科学科研任务评测基准、MatSciBench材料科学科研任务评测基准。系列基准聚焦生命科学、化学与材料三大方向，分别考察生命科学研究中的信息理解与科学判断、化学研究中的文献解析与合成规划，以及材料研究中的建模、模拟与数据分析能力，同时关注工具使用、错误修正与过程可复现性，呈现人工智能解决真实科研问题的能力。
具身智能领域，在真实场景中检验长程任务执行。上海市人工智能行业协会、上海大学、上海创智学院、大晓机器人、它石智航、穹彻智能、库帕思共同发布具身智能领域系列评测基准，包括RoboRealBench Industry工业场景真机长程任务评测、RoboRealBench Retail零售场景真机长程任务评测。系列基准面向真实工业制造和商业零售场景，建立长程任务评测规范与评分体系，结合真机执行轨迹，完整留存多模态观测与动作，衡量实际任务中的执行表现，使每一次执行可记录、可比对、可回流，为具身智能走向生产一线提供上岗前的能力评价依据。
标准支撑
贯通数据管理质量评测与场景应用
活动同步发布5项标准，覆盖数据管理、质量评测及工业制造、家政服务、商业零售三大场景。上海人工智能实验室、上海机器人产业技术研究院、人形机器人（上海）有限公司、上海市人工智能行业协会、库帕思的代表共同参与发布。
《人形机器人数据集管理规范》规范数据全生命周期管理，《具身智能数据评测方法》建立数据质量评价体系；《具身智能工业制造场景数据语料评测及应用导则》、《具身智能家政服务场景数据语料库建设导则》、《具身智能商业零售场景数据语料评测及应用导则》分别面向三类场景，支撑数据建设、质量评估与应用验证。
圆桌交流
让专业评测更好服务真实应用
上海人工智能实验室青年科学家张子澄围绕司南评测作引领发言。随后，库帕思前沿行业部总监曹宇主持圆桌，张子澄与上海创智学院孙宇涛、华建集团华建数创罗睿锋、中国科学院上海营养与健康研究所钱嘉强等嘉宾，围绕真实任务设计、评价依据和评测成果应用展开交流。
作为AI原生的语料数据新基建运营商，库帕思将继续携手生态伙伴，完善高质量语料供给与专业评测服务，推动语料、模型和场景协同迭代，更好服务模型研发与能力提升、服务行业应用与智能化转型。
