一、前言

为贯彻落实党中央、国务院关于促进人工智能发展的决策部署，中国工业互联网研究院深入研究人工智能大模型在工业领域的应用性能、技术架构、标准体系，并在此基础上，形成本报告。本报告跟踪大模型的技术进展，结合工业企业大模型应用情况调研，针对近期业界广泛关注的大模型的智能体应用能力和工业标准问答等新型工业场景能力开展测试，发布新一轮的准确性测评报告，供业界进行参考。本报告测评结果虽经中心专家委论证，但因大模型迭代速度快，技术复杂，囿于工作团队专业知识和能力，报告难免存在分析结论不足等问题，且测评结果仅适用于测试期间，欢迎大家批评指正。

二、测试体系与方法

2.1 测评体系

中国工业互联网研究院的大模型测评体系涵盖从基础能力、智能体能力到场景能力的全链路评估。体系底层聚焦文本/图像生成、文本图像理解、人机对齐等评价维度，涵盖语言组织、逻辑推理、多轮对话等通用基础能力，为模型整体表现奠定技术底座；中间层重点考察大模型在智能体应用中的能力，包括自主规划、多步推理、工具调用与环境交互等评价维度，评估模型在记忆、感知、规划、执行等方面的能力；最上层围绕研发设计、生产制造、运营管理等工业关键场景，评测模型在工业知识问答、工单识别等具体业务中的应用表现。通过三层体系的系统测试，全面反映模型在工业场景落地时的综合能力水平，为工业大模型的选型、优化与应用提供可靠依据。

相比于此前的报告，本次报告重点突出面向智能体任务应用特点，围绕自主规划、多步推理、工具调用、环境交互等能力维度，进行大模型智能体组件级能力测试。同时，在场景能力方面，首次面向工业标准问答、工业单据识别等大模型创新场景进行应用成熟度测评。

2.2 测试方法

本期测评题型包括问答、选择、计算等多种题型，为更贴合实际应用，场景测试主要采用问答形式。对于问答题，为保障判分的一致性与准确度，评分模型本身需通过测试场景的评分能力测试，选取与人类评分一致性大于90%的模型作为“裁判”。在测试过程中，选取2个大模型作为评分模型，二者偏差较大时（偏差大于30%）引入人工评分。

三、基础能力测试结果

国内头部模型基础能力与国外模型能力接近，国内模型基础语句理解、物体识别、长文本处理等领域能力较强，多轮对话、指令遵循上与国际接近，但空间理解和幻觉消除能力有待提升。

四、智能体能力测试结果

4.1 智能体能力评测：评测内容

智能体是以大模型为核心的，具备自主规划和多步任务执行能力，可灵活选择运用工具，能动态感知适应环境的人工智能系统，在快速发展过程中，逐步体现出自主规划、工具调用、多步任务、环境感知等突出特点。

4.2 智能体能力测试结果：

(1)环境感知能力测试

环境感知从结构理解、元素定位等维度对执行智能体任务的大模型进行测试，考察其结合语义理解环境、有效交互的能力。

结论：（1）国内和国际大模型在环境感知领域准确率为50%—60%左右，说明当前大模型在复杂界面理解和操作层面效果均有待提升；（2）国际头部大模型在各维度均有一定优势，说明国内模型在各项环境感知方面，还需结合工业软件进一步提升。

备注：[1]. 取具备多模态能力的模型进行测试。

（2）工具调用能力测试

结论：头部大模型具有较强的工具调用能力，国内头部模型在工具选择、参数匹配等细分维度上表现亮眼，在意图识别、执行效率、执行准确率等层面与国际持平。

（3）自主规划能力测试

结论：国内头部模型规划能力整体相较国外模型能力略有优势。国内模型在约束识别和动态校准领域中占据优势，在统筹择优和状态追踪方面有待提升。

（4）多步推理能力测试

结论：国内外大模型在多步推理层面能力较为接近。国内头部模型在记忆管理、任务多步执行等细分维度上表现亮眼。

五、工业场景能力测试结果

5.1 工业标准问答

（1）场景介绍

大模型应用于工业标准问答，作为标准解释器，参考工业标准执行问答，可快速、精准回应关于标准条款应用的设计、验证疑问；还可嵌入自动化流程，如审图规则生成，梳理审图要点与判定逻辑，为工业流程中标准遵循及规范执行提供支持。

（2）测试内容

（3）测试结果

工业标准问答场景围绕工业标准的产品质量、生产流程、安全规范、环境合规性，以及互操作性等核心要素，指导企业研发创新，助力工程师设计规格、性能更完善的工业产品，确保产品质量和可靠性、保障安全生产、提升环境合规性。

结论：（1）国内模型取得领先，但与国际先进模型差距不大；在细分能力维度上，国内顶尖模型也展现出一定优势。（2）国内外大模型在标准问答领域得分均较高，说明大模型在标准问答领域成熟度较高。

5.2 工业单据识别

（1）场景介绍

（2）测试内容

（3） 测试结果

结论：（1）工业单据识别场景中，国内外头部模型有一定优势，但差距不大，国内模型在检验单、加工单等复杂单据识别领域有一定优势；（2）顶尖模型准确率已达88%，说明该场景大模型已具备较强能力，可有效执行单据辅助识别任务。

5.3 产品客服

（1）场景介绍

按照使用场景分类，客服可细分为售前、售中、售后；按照对话内容分类，可分为检索式、生成式、任务式。对于不同的细分场景，可在技术侧进行专门的优化，提升系统的相应效果，例如如果实践中检索式对话多，可引入向量数据库进行优化。

（2）测试内容

大模型赋能产品客服，基于产品说明、售后规则、常见问题等文献资料，实现智能问答、自动问题处理与多轮对话，可显著提升响应效率，扩展服务时间，降低人力成本，推动企业服务智能化转型升级。

（3）测试结果

结论：（1）国内外头部模型在产品客服场景表现接近，对于大部分场景可以参考产品说明及其规则给出准确回答；（2）国内外头部大模型在产品客服场景准确度均较高，正确率均在90%以上，说明该场景具备较高成熟度。

六、结论

▶在发展趋势上，国内外顶尖模型的基础能力已较为接近，细分领域各有优势；国内外大模型在智能体任务上表现接近，国内模型复杂环境理解力有待提升。国内大模型在标准问答、单据识别等多个工业应用场景中领先。

▶在智能体能力上，国内外模型在工具调用、多步推理等维度表现优秀；但在环境感知、自主规划方面，均存在不足，需针对工业复杂场景进行强化。

▶在场景成熟度方面，标准问答、单据识别、产品客服等场景的大模型成熟度较高，可优先考虑应用。

七、其他场景能力评测：国内第一梯队

八、工作计划

我们将重点从四个方向推进相关工作。

首先，在基础应用能力研究方面，我们将持续跟踪高智能、多模态大模型的发展趋势，进一步扩展基础能力的评测维度，并不断优化测试标准，为后续体系化评估打好技术基础。

第二，在行业应用场景挖掘方面，我们将围绕重点行业的实际需求，深入调研大模型在工业领域的潜在落地场景，面向设备运维、工业质检等高潜力场景进行测试。同时研判可应用的业务链路，遴选并推广一批具有代表性的优秀行业模型，加速大模型的行业价值释放。

第三，围绕评测体系构建，我们将持续完善工业语料库建设，迭代评测工具，提升评测的准确性与覆盖度，构建能够快速响应、科学评估的大模型应用测试能力，为企业侧选型和优化提供可靠依据。

最后，在丰富指数体系方面，我们将继续研究大模型对行业、产业以及社会的综合影响，不断充实和完善中国AI大模型应用指数体系，形成更具指导意义的评估框架，支撑行业发展决策。

联系人：李老师、邱老师

联系电话：18519316049、18823660419

附录：测试对象