制造可信AI
Trustworthy AI for Manufacturing
Joseph Cohen¹, Xun Huan²
¹ 美国新泽西州皮斯卡特维罗格斯大学机械与航空航天工程系
² 美国密歇根州安娜堡密歇根大学机械工程系
E-mail: joseph.cohen3@rutgers.edu, xhuan@umich.edu
现状
历史表明，人们对新技术的信任并非一蹴而就。工业自动化、航空自动驾驶仪以及自动驾驶汽车最初都面临着质疑，只有在证明了其可靠性、安全性，以及与人类监督和法规的有效整合之后，才逐渐获得广泛认可。制造业中的人工智能（AI）正面临类似的抉择：要想获得信任，AI系统不仅需要表现出色，还必须具备可解释性、可问责性，并能嵌入人类和制度背景之中。
AI正在快速变革制造业，推动了预测性健康管理与故障诊断[1]、预测性维护[2]、质量控制[3]、工艺优化[4]以及工业数字孪生[5]等领域的发展。这些技术提高了复杂多阶段制造环境中的吞吐量和良率，减少了停机时间，并提升了产品质量。然而，AI固有的不透明性和“黑箱”特性引发了关于透明度、可靠性和安全性的重大关切，尤其是在航空航天和医疗器械制造等高风险领域。这些关切可能导致抵触情绪或过度依赖，最终削弱AI的变革潜力。
对AI的信任不仅限于技术性能，还涉及文化和组织层面的要素。尽管具有强烈创新文化的企业可能更愿意采用AI，但其他企业则需要更强的可靠性和合规性保障。即使是高度精确的模型配合可解释AI，如果其解释无法有效表征系统行为，仍可能无法赢得信任。毕竟，如果人类无法理解或据此行动的AI“解释”，就不能称之为真正的解释。
信任的制度维度同样至关重要。由于AI系统本身无法承担法律责任，责任最终仍由人和组织承担。这使得可信性不仅对采用AI至关重要，还关系到责任划分、降低责任风险以及监管监督。在高后果制造领域，信任还取决于可保险性和可认证性：系统不仅需要在性能上可靠，还必须在法律和运营上值得信赖。
当前与未来的挑战
迈向制造可信AI的道路面临着相互关联的挑战，我们将其分为两类：计算与建模方面的挑战，以及人类与社会方面的挑战（见图1）。
1. 计算与建模方面的挑战
可解释性与可解释性： 现代AI系统通常以黑箱形式运作，深度架构创建的高度抽象的潜在表征难以被直接解释，这使得用户难以理解预测过程。大多数系统也缺乏阐述其输出背后推理过程的机制，从而限制了其可解释性。
数学基础： 与有限元法和数值积分等成熟的计算框架不同，许多现代AI模型——尤其是具有复杂架构和基础模型的AI——其理论分析相对有限[6,7]（例如在一致性、稳定性和收敛性方面）。这种理论差距意味着系统的部署往往仅基于经验性能，难以推广到未见过和数据稀缺的场景，难以理解意外行为，也难以进行系统性改进。
验证、确认与不确定性量化（VVUQ）： 尽管在噪声数据、稀疏数据以及可能存在模型误设假设的条件下运行，AI系统通常只提供预测结果而不附带有意义的置信度度量。这种缺乏原则性的不确定性量化（UQ）可能导致过度自信的预测——引发意外风险和失效——或过度保守的预测，从而造成不必要的安全裕度和资源浪费。稳健的部署还需要在全面的VVUQ框架下进行形式化验证（确立数学正确性和数值精度）和确认（确保对真实世界系统的准确表征）[8]。
计算建模中的技术基础（内环）支撑着人类与社会因素（外环），这些因素对于制造业环境中AI的成功采用至关重要。
安全性与隐私： 随着AI系统对数字基础设施的依赖程度日益加深，其受到恶意行为者对抗性攻击的脆弱性也不断增加。集中式数据存储库、云服务和互联设备面临着数据投毒、模型逆向和数据泄露等威胁[9]，这些威胁可能导致性能下降、敏感信息泄露以及信任受损。
生成式AI： 大型语言模型（LLM）和智能体系统的出现引入了新的关切，包括幻觉输出、不可预测行为以及难以追溯的推理路径。随着此类系统被部署于敏感的制造环节——工艺规划、设计、维护和运营——不仅理解它们能做什么变得越来越重要，理解它们何时、何地以及为何失效同样至关重要。
2. 人类与社会方面的挑战
人机交互（HCI）： 信任需要针对用户的角色、背景和决策情境，有效传达预测、不确定性解释和说明[10]。例如，现场操作员需要直观的可视化呈现，而管理者则需要与战略绩效指标相关的汇总摘要。信任也随时间演变，要求系统支持迭代交互、反馈和适应，以应对用户和制造环境的变化。
组织整合： AI必须促进包括运营、工程和业务战略在内的不同团队之间的有效沟通。解释必须既具有角色特异性，又能在不同职能之间转化，通常需要专门的多智能体系统而非孤立的模型。AI的采用还必须在遵守公平、公正和非歧视原则的同时，应对组织文化，特别是在劳资关系紧张和对工作岗位流失的担忧的情况下。此外，AI与遗留系统及领域专业知识成功整合对于保存宝贵的人类知识和直觉至关重要。
目标与价值错位： AI模型通常优化狭义的数学损失函数，而这些函数可能无法反映真实世界的优先级、伦理标准或用户意图。在制造业中，这可能导致新的失效模式或忽略对利益相关者重要的长期权衡。“所有模型都是错误的”这一说法在AI时代获得了新的意义，当模型与新兴领域现实错位时，这种错误可能悄无声息地以灾难性方式显现。
可持续性： 训练和部署大型模型不断增长的能源需求给电力基础设施带来了压力。高计算成本也阻碍了工业界的采用，特别是对较小的制造商而言。如果没有能在节能算法和基础设施方面的创新，AI的环境足迹可能成为阻碍负责任长期采用的障碍。
科学技术进展以应对挑战
我们将制造可信AI的最新进展按上述挑战类别进行组织：计算与建模方面的进展，以及人类与社会方面的进展。
1. 计算与建模方面的进展
可解释AI（XAI）： 事后解释方法如Shapley值[11]、反事实解释[12]和显著性归因[13]持续推动着为可解释模型输出提供解释的进展。此外，因果建模[14]和反事实推理的发展为因果关系提供了稳健的洞察，并支持对制造决策至关重要的“如果”情景分析。
数学基础： 研究人员日益深入研究AI模型的解析特性，包括复杂的训练动力学如相变、双重下降和grokking现象[6,15]。将AI与经典数值分析和科学计算相融合的努力对于将AI整合到制造计算基础设施中至关重要。物理信息AI和混合建模方法，如神经算子[16]和物理信息神经网络（PINNs）[17]，将数据驱动学习与领域特定的物理定律相结合，通过基于约束的学习和在训练范围之外改进外推来增强信任。
先进的不确定性量化： 不确定性量化提供了描述和交流认知不确定性（epistemic uncertainty）和随机不确定性（aleatoric uncertainty）的框架[18]。贝叶斯方法为表示认知不确定性（由于知识有限而导致模型不知道的内容）提供了原则性框架，特别有利于在同化稀疏、噪声和间接观测数据时更新不确定性估计。基于集成的方法和非贝叶斯方法能有效捕捉随机不确定性（固有变异性或随机性），这在制造过程通常是随机的环境中至关重要。这些方法共同为决策支持提供了不仅有AI模型预测，还有其置信水平。
AI生命周期监控： 检测分布漂移、概念漂移和异常的技术使模型降级的实时感知成为可能[19]。这些能力对于管理AI模型的完整生命周期至关重要，使模型能够根据不断变化的真实世界条件持续得到验证、更新或退役。
2. 人类与社会方面的进展
以人为中心的设计： 研究越来越强调用户自适应和交互式解释，而非静态输出。现代解释界面支持基于对话的细化，用户可以在其中提出后续问题并将解释导向他们认为有意义的方面[10]。这种方法支持信任校准，帮助用户建立适当的心理模型，以判断何时依赖AI、何时质疑AI。
人机协作： 人机协作[20]的进展专注于AI辅助而非替代人类决策者的场景，例如配有自主系统和人工操作员的工厂车间。这些方向将使人类专业知识与AI能力之间的协调更加顺畅和安全。
标准与社区基础设施： 共享标准、法规和社区基础设施的建设势头日益增强，包括带有标签结果、元数据和不确定性的基准数据集；评估性能以及可解释性和鲁棒性的标准化指标；第三方认证和确认框架；以及促进透明度和可重复性的开源平台和文档标准。
可持续AI开发： 节能AI进展包括模型压缩、硬件感知训练和碳意识部署，旨在减少开发和运营的资源需求。随着部署模型的规模和数量持续增长，这些方法变得越来越重要，确保AI的采用在环境上保持负责任。
结语
可信AI是下一代制造的基本要求。随着AI系统变得越来越强大和普及，其不透明性、错位和失效的风险也随着其潜在收益而一同增长。应对这些挑战需要在计算与建模以及人类与社会基础方面取得协调进展。
AI的成熟过程与传统工程学科通过严格理论、可验证实践和赢得社区信任的发展历程相似。实现这一愿景需要数学家、计算机科学家、工程师、社会科学家、领域专家和最终用户的共同努力。成功的实现将使制造业中的AI系统不仅强大，而且可理解、可靠并值得信赖。
参考文献
[1] Ochella, Shafiee and Dinmohammadi 2022 Artificial intelligence in prognostics and health management of engineering systems Engineering Applications of Artificial Intelligence 108 104552
[2] Ucar Karakose and Kırımça 2024 Artificial intelligence for predictive maintenance applications: Key components, trustworthiness, and future trends Applied Sciences 14(2) 898
[3] Prezas Michalos Arkouli Katsikarelis and Makris 2022 AI-enhanced vision system for dispensing process monitoring and quality control in manufacturing of large parts Procedia CIRP 107 1275–1280
[4] Senoner Netland and Feuerriegel 2022 Using explainable artificial intelligence to improve process quality: Evidence from semiconductor manufacturing Management Science 68(8) 5704–5723
[5] Huang Shen Li Fey and Brecher 2021 A survey on AI-driven digital twins in Industry 4.0: Smart manufacturing and advanced robotics Sensors 21(19) 6340
[6] Suh and Cheng 2025 A survey on statistical theory of deep learning: Approximation, training dynamics, and generative models. Annual Review of Statistics and Its Application 12(1) 177–207
[7] Colbrook Antun and Hansen 2022 The difficulty of computing stable and accurate neural networks: On the barriers of deep learning and Smale’s 18th problem Proceedings of the National Academy of Sciences 119(12) e2107151119
[8] Roy and Oberkampf 2011 A comprehensive framework for verification, validation, and uncertainty quantification in scientific computing Computer Methods in Applied Mechanics and Engineering 200(25–28) 2131–2144
[9] Biggio and Roli 2018 Wild patterns: Ten years after the rise of adversarial machine learning Pattern Recognition 84 317–331
[10] Liao and Varshney 2021 Human-centered explainable AI (XAI): From algorithms to user experiences arXiv:2110.10790
[11] Lundberg and Lee 2017 A unified approach to interpreting model predictions Advances in Neural Information Processing Systems 30 4765–4774
[12] Mothilal, Sharma and Tan 2020 Explaining machine learning classifiers through diverse counterfactual explanations Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency 607–617
[13] Adebayo, Gilmer, Muelly, Goodfellow, Hardt and Kim 2018 Sanity checks for saliency maps Advances in Neural Information Processing Systems 31 9505–9515
[14] Pearl 2009 Causal inference in statistics: An overview Statistics Surveys 3 96–146
[15] Liu, Kitouni, Nolte, Michaud, Tegmark and Williams 2022 Towards understanding grokking: An effective theory of representation learning Advances in Neural Information Processing Systems 35 34651–34663
[16] Azizzadenesheli, Kovachki, Li, Liu-Schiaffini, Kossaifi and Anandkumar 2024 Neural operators for accelerating scientific simulations and design Nature Reviews Physics 6(5) 320–328
[17] Raissi, Perdikaris and Karniadakis 2019 Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations Journal of Computational Physics 378 686–707
[18] Nemani, Biggio, Huan, Hu, Fink, Tran, Wang, Zhang and Hu 2023 Uncertainty quantification in machine learning for engineering design and health prognostics: A tutorial Mechanical Systems and Signal Processing 205, 110796
[19] Lu, Liu, Dong, Gu, Gama and Zhang 2018 Learning under concept drift: A review IEEE Transactions on Knowledge and Data Engineering 31(12) 2346–2363
[20] Dhanda, Rogers, Hall, Dekoninck and Dhokia 2025 Reviewing human-robot collaboration in manufacturing: Opportunities and challenges in the context of industry 5.0 Robotics and Computer-Integrated Manufacturing 93 102937