原机械部沈烈初副部长特别推荐——装备的“功能安全”与“网络安全(信息安全)”

　　新时代“机械”装备工业面临紧迫解决的问题——装备的“功能安全”与“网络安全(信息安全)”

　　近来世界上一些重大装备产生了一系列的安全事故，如埃塞俄比亚航空一架波音737MAX起飞后不久即坠毁，与数月前印尼狮航的波音737MAX发生的空难如同一辙。最近委内瑞拉水电站受敌对势力的网络攻击而大规模停电，再联系若干年前伊朗的浓缩铀离心机受到所谓“震网”病毒的攻击，导致离心机的功能失效，造成重大损失……等等案例，使我经常考虑，如何解决机械装备，特别是重大装备及敏感装备、极端制造装备等单机与成套装备的功能安全(Functional Safety)及网络安全(或信息安全Cybersecurity)问题，要引起各级政府及装备工业企业的有关领导和科技人员的注意。特别在新时代重大机械装备设计时，就要考虑功能安全与网络安全。根据我的观察，在高度发达的信息化时代，加上5G时代即将到来，通过互联网+、5G与IPV6的应用，实现万物互联互通才有可能，更要注意装备的功能安全及网络安全(信息安全)，往往敌对势力通过“病毒”、“黑客”等定向攻击联网的装备，破坏安全功能，从而使装备失效。

　　机械装备越是应用新的信息技术多，越是使装备的功能安全与网络安全(信息安全)更多地暴露在敌对势力的面前，更显得装备安全的脆弱性。

　　抽象化起来，我把机械装备分解为若干子系统组成，即：

　　·本体：作业系统(或称功能系统)、动力系统(动力总成)、支承系统(专用“三基”、通用“三基”);

　　·控制：控制系统、人机界面、接口(与内网即局域网，和外网即互联网相连);

　　·本体与控制系统之间，由传感系统(数据、信息的采集)和执行系统(由控制系统把采集的信息进行加工、计算、决策等再由执行系统反馈给本体，形成一个闭环的大系统)。

　　上面仅是一抽象化的概括，并不包含一些静态的装置等，因此外界的“病毒”通过接口，破坏控制系统，而使装备的功能失效。在这里的“防火墙”(物理的、数字加密等手段)十分重要，而且控制系统及本体在设计时要有自保功能，即国际标准中的“可信性”(含可靠性、维修性和保障性等)。

　　在此推荐机械工业仪器仪表综合技术经济研究所史学玲教授撰写的两篇文章，即“从网络安全改变战争形式说起” 及“从埃塞航坠机看智能化系统功能安全的重要性”给广大机械装备工业的同仁们，以唤起急切注意，特别在数字化、网络化、智能化时代要确保装备的功能安全与信息安全。

　　后附：

　　《从网络安全改变战争形式说起》

　　《从埃塞航坠机看智能化系统功能安全的重要性》

　　原机械部沈烈初副部长

　　推荐文章之一

　　从网络安全改变战争形式说起

　　机械工业仪器仪表综合技术经济研究所史学玲

　　【摘要】网络攻击的最高级别是网络战争。关键基础设施的网络安全防护必须依靠国家的国防、武装力量，利用军队、警察去保卫，然后才是工厂级的保护。工业类关键基础设施必须建立以功能安全为核心的安全一体化防护体系。机械工业行业需要担负责任。

　　引言

　　中美贸易战之后，很多人在猜测下一场对抗会发生在哪里。

　　最近发生的委内瑞拉大面积停电事件，向大家展示了可能的下一场战争新形式--网络战争，即用科技手段摧毁一国的关键基础设施，造成巨大的破坏和广泛的社会影响。

　　网络战争会在全面战争到来之前首先展开。

　　我国有大量关键基础设施，十几亿人口，我们必须避免自己处于如此被动的地位。

　　1.网络攻击的最高级别就是网络战争

　　关键基础设施是指那些对国家来说非常重要的系统和资产，其遇到的任何瘫痪或损毁将对国家安全、国家经济安全和/或国家公众健康和安全产生巨大的破坏性影响[1]。

　　目前各国的关键基础设施已经成为潜在的网络攻击对象。

　　1.1 网络攻击强度分级

　　国际上把网络攻击强度分为5级：

　　第一级，来自个人的、拥有很少资源的威胁源发起的恶意攻击;

　　第二级，来自外部小型组织的、拥有少量资源的威胁源发起的恶意攻击;

　　第三级，来自外部有组织的团体、拥有较为丰富资源的威胁源发起的恶意攻击;

　　第四级，来自国家级别的、敌对组织的、拥有丰富资源的威胁源发起的恶意攻击;

　　第五级：来自国家级别的、敌对组织的、拥有丰富资源的威胁源发起的旨在严重破坏它国安全的攻击。

　　网络攻击的最高级别就是网络战争。

　　网络攻击导致的危险事件是网络安全事故。网络安全是防止网络攻击造成的不可接受风险。我国在这方面研究起步较晚[2]。

　　频繁发生的针对关键基础设施的网络安全事故是网络战争的预演。关键基础设施一旦被攻击导致瘫痪，造成的损失不可估量。一场网络战争，有可能摧毁一个国家。

　　1.2 脆弱的工业类关键基础设施

　　在关键基础设施中，一部分是属于工业类，如石油、化工、冶金、化学、能源、运输等领域的关键基础设施，这类设施因其自身易燃易爆、有毒有害、高速高能量的特点，在受到网络攻击时除会导致其自身瘫痪不能提供服务外，还可能导致工厂爆炸、有毒有害物质外泄等严重后果。一个大型化工厂工业过程失控爆炸所造成的伤亡和破坏一点也不亚于真正的战争。

　　这些工业类关键基础设施在设计时只考虑了故障、失效、失误、可能的自然灾害，没有考虑人或组织的故意攻击行为。比如核电站的安全等级最高，也只考虑飞机可能意外坠落到反应堆上，而不会考虑战斗机攻击。因此，一个遵循了所有安全标准设计的工厂，如果有人向它投掷炸弹甚至火把，其所建立的功能安全防护系统不会有效;同样，网络攻击是原来工厂设计时没有考虑的，网络攻击或者网络安全措施都会使原来建立的功能安全防护系统失效。众多的工业系统网络安全事故说明了这一点。

　　1.3 关键基础设施网络安全事故案例

　　近20年，由于网络攻击导致关键基础设施崩溃的事件时有发生。

　　2019年3月7日下午，委内瑞拉国内大部分地区停电超过24小时，造成主要交通系统全部瘫痪，基础设施陆续失效。随后电力系统在努力修复后又多次崩溃。持续停电造成全国范围停课停工，居民停水，商店被抢。据分析，这是一起由网络攻击导致的事故。

　　2015年12月23日，乌克兰遭受BlackEnergy攻击，导致伊万诺-弗兰科夫斯克州数十万户发生大规模停电事件，这是网络攻击直接导致电力供应中断的首个案例。2016年12月17日，黑客们再次通过攻击乌克兰的国家电力部门致使其又一次大规模停电30分钟。

　　2010年6月，伊朗核电站遭受“震网”病毒攻击，导致伊朗纳坦兹的浓缩铀工厂的20%离心机报废，伊朗为此将核计划延后了两年。“震网”病毒是第一个专门攻击关键基础设施的蠕虫病毒[3]。

　　2018年，全球范围内针对工业领域的网络攻击有增无减。1月，“熔断”(Meltdown)和“幽灵”(Spectre)两大新型漏洞通过攻击获取数据、读取内核内存影响AMD、ARM、Intel系统和处理器等设备，思科800系列集成多业务路由器和工业以太网4000系列交换机以及西门子工业设备已确认受到影响。2月，接入欧洲废水设施运营技术网络的服务器遭遇加密货币采矿恶意软件入侵，拖垮废水处理设备中的HMI服务器CPU，导致欧洲废水处理设备服务器瘫痪。7月，包括福特、特斯拉、丰田、大众等在内的100余家制造公司的157GB含有高度敏感信息的商业和技术文档被曝光。8月，台湾积体电路制造三大厂区出现电脑大规模勒索病毒事件，约造成87亿元新台币(约合人民币17.6亿元)的营收损失。9月，英国布里斯托机场遭勒索软件袭击，导致航班信息显示系统宕机，机场工作人员只能用白板和记号笔通知航班起降信息。11月，柬埔寨多家互联网服务商遭到该国历史上最大规模DDoS攻击，150Gbps的DDoS攻击造成全国性网络瘫痪，宕机时间超过半天。

　　1.4 新技术应用使关键基础设施更加易被攻击

　　传统上关键基础设施都采用局域网，不与互联网联接。在系统边界内，设置包含多个保护层的功能安全防护系统。

　　近年来，随着人工智能、大数据、云计算等新一代信息技术的迅速发展，尤其是“两化融合”的深入以及“工业4.0”、“中国制造2025”等战略的推进，关键基础设施逐渐开始采用以太网、通用协议、无线设备、远程配置等。在互联互通、纵向集成等新的生产模式下，关键基础设施正逐渐暴露于互联网中，面临着网络攻击、病毒、木马等日益严峻的网络安全威胁和挑战。现有的关键基础设施的功能安全防护系统，已无法抵御新的威胁。

　　1.5 应建立国防级(军队)-安防级(警察)-经营者(工厂)级3级防护体系

　　网络战争与国土战争一样，是国家战略。

　　关键基础设施的安全防护必须依靠国家的国防、武装力量，利用军队、警察去保卫，然后才是工厂级的保护措施[4]。

　　就如我们有英勇的人民解放军保护国土边疆，有警察抓小偷强盗，工厂只需要保安，老百姓家门只需要一把锁一样。

　　1)国防级安全防护：国家要有力量，应该能够探测到针对关键基础设施的任何不怀好意的网络攻击与试探，并能够给以相当力度的回击。委内瑞拉此次受到攻击，一直非常被动地无法确定攻击源，也无能力回击。应综合运用政府和企业各方面掌握的网络安全数据资源，通过大数据挖掘分析，建立网络安全信息共享机制、建立安全态势感知和应急处理平台。实现全天候、不间断的感知能力，从而第一时间发现威胁，做出研判和处置，切实做好关键基础设施安全风险防范。

　　2)安防级安全防护：法制要完善，有震慑力，要以《中华人民共和国网络安全法》为基础，对于发现的关键基础设施网络攻击事件，利用法律手段，由警察来实施保护。

　　3)工厂级安全防护：工厂要有能力防范有限的网络攻击。要根据自身关键基础设施特点，遵循全生命周期的同步规划、同步建设、同步使用的“三同步”防护原则，建立切实有效的安全防护体系。对于工业类关键基础设施，则需要建立以功能安全为核心的安全一体化防护体系。

　　2.工业类关键基础设施需建立安全一体化防护体系

　　工业类关键基础设施的网络安全防护主要是防止对工业控制系统的非授权或意外的访问、篡改、破坏。其网络安全包含三个属性：可用性、完整性和保密性。这类关键基础设施的网络安全防护问题比较复杂，尽管各方都意识到其重要性，但由于其高危及连续生产特性，至今还没有找到完美的终极解决方案。

　　建立工业类关键基础设施的网络安全防护，必须首先了解这些设施已有的功能安全防护体系，因为任何停机或者误动作都可能导致巨大经济损失。

　　2.1 功能安全防护体系

　　传统上，工业类关键基础设施由于其生产过程自身的高危与连续生产特性，针对工业过程和工业控制系统，都建立有一套完整的功能安全防护体系。这个体系是在多年试错的基础上建立的，包含了多少血与泪的教训与经验。

　　功能安全防护体系包含3大系统：

　　1)预防系统，旨在降低事故发生的概率;由基于多种技术原理建立的多个保护层组成;

　　2)减轻系统，旨在减轻事故发生后果的严重程度。也由基于多种技术原理建立的多个保护层组成;

　　3)撤离系统，在前面几个系统失效后，只能逃跑。这个系统告诉工厂人员和周边人员如何安全撤离。

　　功能安全防护体系中的预防、减轻及撤离系统都和生产效率无关，只为降低风险而设置。这些系统功能所形成的保护层，必须实现在工业过程或工业控制系统出现故障时，或者操作员出现失误时依然维持安全。这些保护层设置得正确与否，以及这些保护层执行功能的可靠性保障，都是功能安全研究的内容。

　　但面对新技术与网络安全威胁，功能安全防护体系面临新挑战：

　　网络攻击作为一种新的危险源形式，目前的功能安全防护体系里没有考虑。

　　简单加上网络安全措施，可能会破坏目前的功能安全防护体系，导致非常严重的后果。就比如高楼为了人员安全要求必须设置消防梯，但是从安防的角度就会要求把消防梯封死，因为小偷会进来。

　　当真正发生火灾时，人员反而会因为消防梯被封死而无法逃生。

　　当生产装置之间互联互通、信息集成后，被保护对象的边界扩大甚至没有边界，如何建立功能安全防护体系?

　　新技术与网络安全威胁引入后，功能安全防护体系需要更新。

　　2.2 以功能安全为核心的安全一体化防护体系

　　必须综合分析新技术和新措施对功能安全防护体系的影响，建立以功能安全为核心的安全一体化的防护体系。

　　这个体系要求能够“识别生产过程和工业控制系统中所有危险，并采取措施将这些危险的风险降低到可容忍水平”。这个定义与功能安全的定义相同，不同的是，“所有危险”里加入了有限的网络攻击。

　　我们把网络攻击作为新技术条件应用的环境条件，就象电磁干扰一样。建立全生命周期的网络安全与功能安全结合的防护体系，综合应用网络安全措施，如区域隔离、边界防护、访问控制、网络诊断、主机加固、数据保护等以稳定网络和信息，同时综合考虑网络安全措施对关键基础设施各级系统的影响，保证各种安全措施协同作用，不会因彼此间存在的冲突而导致生产事故。

　　当关键基础设施遭遇网络攻击、网络安全防护措施无法抵御时，最底层的功能安全措施能够在实现“故障——安全”、“ 失效——安全”的基础上，实现“网络攻击——安全”，从而全面保障关键基础设施的安全稳定运行。

　　3.机械装备工业的责任与担当

　　为了实现工业类关键基础设施的安全一体化，机械装备工业的地位最为突出。

　　机械装备工业是整个工业的心脏，它为工业、农业、交通运输业、国防等提供技术装备，是整个国民经济和国防现代化的物质技术基础，机械装备工业的发达与否及机器装备的自给水平是衡量一国经济发展水平与科学技术水平的真正标志[5]。而这些机器装备本身的安全性如何直接影响各领域关键基础设施的安全。

　　3.1 军工行业急需安全可控的装备与系统

　　军工类关键基础设施的网络安全防护也包含三个属性：可用性、完整性和保密性。但因其性质特殊，保密性要放到首位，需要解决网络安全措施不到位导致的信息数据丢失、业务服务中断、系统无法恢复等一系列重要问题。

　　由于多种原因，我国军工行业目前使用的一些装备和控制系统是国外品牌或者由国内厂商“打包”组成，存在对这些装备和系统本身了解不够深入的问题，从而难以识别针对工控设备和系统的攻击、恶意程序、内置后门等安全隐患[6]。智能制造要求互联互通、信息集成，会导致原有涉密系统被延伸，工控系统自身的不可控问题将严重威胁安全。

　　为军工行业提供自主可控、安全合格的生产装备，是机械装备工业行业的责任和担当。

　　3.2 成套装备生产线要实现自我保护

　　新技术条件下，机械装备工业为各领域提供的成套装备生产线，比如透平鼓风机、透平压缩机、工业汽轮机、板材轧制成套设备都是工厂核心，也应该能实现自我保护，符合网络安全与功能安全要求。

　　这些成套装备生产线需要配置两套独立的控制系统，一套用于装备或生产线的过程控制，一套用于风险降低，在出现任何故障、失误(可预见的合理的失误)、有限网络攻击、可能的自然灾害情况下，系统仍然要安全受控。

　　需要进行系统的风险评估和失效分析，充分理解使用新技术后引入的新风险，把成套装备生产线的风险控制在可容忍水平。

　　3.3 智能工厂与数字化车间要实现安全一体化

　　与传统工厂和车间相比，智能工厂与数字化车间面临的挑战主要来自数字化、信息化与智能化过程，以及互联互通信息集成的要求。面对这个变化，需要

　　用以功能安全为核心的安全一体化原则构建安全防护体系。为了实现这个目的，在工信部支持下，以机械工业仪器仪表综合技术经济研究所为首的15家单位联合研究起草了一份国家标准草案，名为GB/T　XXXXX　《智能工厂/数字化车间安全一体化》。该标准分4个部分：

　　——第1部分：一般要求

　　——第2部分：风险评估要求

　　——第3部分：系统协同设计要求

　　——第4部分：系统评测要求

　　该标准旨在指导集成商和用户在建设智能工厂/数字化车间的过程中，在全面考虑机械伤害、电气危险、有毒有害等所有危险防护措施的基础上，同步建设安全一体化保障系统，完善网络安全与功能安全一体化解决方案，最终实现整体安全的目标。

　　该标准目前还在制订完善中，该标准的发布及正式实施将有效提高我国智能工厂与数字化车间的安全水平。

　　4.结束语

　　加强关键基础设施的网络安全防护刻不容缓。我们不期望每个工厂能抵御国家级强度的网络攻击，但在国防级(军队)-安防级(警察)-经营者(工厂)级3级防护体系中，每一级都要做到完美。我们要借助国家与法制的力量，建立完善的网络安全防护体系。在高危行业，建立功能安全为核心的安全一体化防护体系，切实保障工业类关键基础设施的安全。机械装备工业应该担负起责任。

　　参考文献

　　感谢机械工业仪器仪表综合技术经济研究所功能安全中心信息安全室郭苗、张亚彬提供的资料和付出的努力。

　　感谢中科物安公司钟诚提供的信息安全案例。

　　[1] 解读美国关键基础设施保障战略【EB/OL】(2011-05-29)

　　https://wenku.baidu.com/view/5869ad4e2e3f5727a5e96267.html

　　[2] 纵览各国关键信息基础设施配套网络安全法规建设[EB/OL](2017-06-04)

　　[3] “震网”病毒奇袭伊朗核电站[EB/OL](2012-03-23)

　　http://news.163.com/12/0323/17/7TA38LQB00014AEE.html

　　[4] 关键信息基础设施确定指南(试行)

　　https://www.easyaq.com/news/696013161.shtml

　　[5] 百度词条机械工业(2019-04-16)[EB/OL]

　　https://baike.baidu.com/item/%E6%9C%BA%E6%A2%B0%E5%B7%A5%E4%B8%9A/526872#4_1

　　[6] 军工制造业工业控制网络与企业涉密信息系统安全互连方案建议[EB/OL](2017-06-09)

　　https://gongkong.ofweek.com/2017-06/ART-310045-8900-30141704.html

　　推荐文章之二

　　从埃塞航坠机看智能化系统功能安全的重要性

　　机械工业仪器仪表综合技术经济研究所史学玲

　　【摘要】埃塞航和狮航坠机的原因都是智能化系统的功能失效，自动驾驶汽车事故反应了目前机器学习技术存在的局限性。在我们推行智能制造、人工智能、工业互联网等新技术时，要考虑技术失败可能导致的人为灾难。应同步研究功能安全技术和标准，保证新技术在安全的框架内发展。

　　埃塞航飞机起飞仅仅6分钟后就坠毁，而类似空难则是近5个月前的狮航JT601，飞机起飞12分钟坠毁。由此引发了波音737MAX8的全球停飞。

　　一、这是两起功能安全事故

　　波音的坠落，是人工智能战胜人类的灾难性事件，也是智能化系统功能失效的典型案例。

　　波音737MAX8是波音成熟度最高的机型，燃料消耗是同类机型的30%，但发动机更改导致飞机机头容易抬高。因此，它使用了一个机动特性增强(MCAS)系统，在飞机迎角过大时系统会自动下调机头以进入它设定的安全状态。但实际上，MCAS是波音公司在737MAX8飞机里埋的炸弹[1]。

　　狮航空难事故调查已有结论，其直接原因是机头左侧攻角传感器故障，使MCAS错误地连续进入自杀式俯冲，一共26次，而悲剧的狮航飞行员则努力奋斗拉了33次机头[1]，试图拯救飞机。但最终人工操作没能成功纠偏。

　　埃塞航空难事故调查还在法国进行，但从已经披露的信息可以判断，飞机在起飞后，连续出现了爬升和下降两种飞行姿态，飞行员称无法控制飞机，最后导致坠毁。

　　这两起事故都是智能化系统功能错误导致的飞机失控，属功能安全事故。

　　二、什么是功能安全

　　功能安全是一门安全工程学科，专门研究复杂控制系统的功能失效避免。它的基础标准是2000年发布的IEC61508。近20年来，针对各领域的安全相关系统，已经发展出一个标准族群。

　　它主要从3个方向展开研究：

　　1.预期功能安全

　　预期功能安全是系统性失效的一部分，它要求全面识别受控设备中的所有危险，并把风险控制在可容忍范围之内。在这个前提下建立安全相关系统的所有功能，并用全生命周期管理来保证系统执行这些功能的可靠性。

　　当受控设备中包含了智能化系统时，这个要求就极具挑战。这是我们目前面临的新问题。

　　2.硬件随机性失效避免

　　组成安全相关系统的硬件系统必须具有足够的可靠性、足够的容错能力和诊断覆盖率。

　　3.系统性失效避免

　　要避免所有可能导致系统性失效的错误和故障，如软件功能安全、环境适应性、检测到故障时的系统行为等。

　　功能安全标准规定了各种原则、方法，是多个行业多年经验的总结，对于提高复杂控制系统与保护系统执行功能的可靠性，具有十分重要的指导意义。

　　三、MCAS存在多个功能安全问题

　　埃塞航和狮航坠机事故原因都聚焦在波音737MAX8飞机的MCAS上。MCAS是一个安全相关系统，从功能安全视角看，它存在多个问题。

　　1.设计缺陷[1]

　　a)发动机更改使飞机容易在大迎角飞行时失速，波音公司没有改动所有问题的根源，只是加装了MCAS系统，违背了本质安全原则。

　　b)MCAS系统的危险评估定级有误(定为有害等级而不是灾难级)。这说明设计者对MCAS失效可能造成的后果严重性估计不足，因此，对这个系统的软硬件都没有配置足够的鲁棒性。

　　c)系统容错能力不足。即使是有害等级，MCAS系统仅采集左侧传感器数据作为启动条件也是不符合要求的，它没有采取双攻角传感器交叉检测的传统做法。狮航飞机是左侧攻角传感器故障就导致死亡俯冲。

　　d)对安全关键部件(如攻角传感器)的故障，没有诊断和报警。

　　e)出现死亡俯冲时，没有明显提示警告机组人员。

　　f)波音公司的培训资料从未提及该项功能，也没有任何特别的培训课程。

　　2.狮航飞机的维护和操作问题

　　a)机务人员没有及时发现攻角传感器问题。狮航飞机空难前带着这个故障飞行了4次之多，事故前一天还出现过机头持续下压的危险状况，直到飞行员关闭MCAS才安全降落[2]。

　　b)狮航的维修工作及程序未能解决涉事客机的问题，而客机关键零件(攻角传感器)的安装及校准纪录不完整[3]。

　　c)飞行人员存在操作错误[3]。

　　3.监管问题[4]

　　a)波音737MAX8在美联邦航空管理局(FAA)进行新飞机的安全批准时，为了加快进度，把该机型MCAS系统的安全评估交给了波音，并要求自身的工程师们加快检查进度。这极大降低了监管的力度和有效性。这违反了功能安全标准的规定：“对于失效后会导致严重后果的安全相关系统，必须由独立的第三方评估后给出合格与否的结论”。

　　b)波音提交的报告数据与实际不符。

　　c)评估报告未发现MCAS的诸多设计缺陷。

　　d)评估未要求飞行手册上标注MCAS，也没有要求特别的培训。这违反了功能安全标准对安全手册的要求。

　　功能安全标准要求采用全生命周期来管理安全相关系统，设计者有责任设计高安全完整性等级的安全相关系统，维护者有责任维护安全相关系统，监管者有责任独立评估安全相关系统的功能安全性能。但如果在设计上存在本质缺陷，那么靠维护是不能提高安全相关系统执行功能的可靠性。设计者要考虑到维护者和使用者的能力限制。

　　狮航事故发生后，印尼狮航和波音公司各执一词，波音公司没有紧急停飞737MAX飞机，也没有任何召回行为，反而对印尼狮航的赔偿要求百般推诿，间接导致了埃塞航的空难。这一次，中国率先对埃塞航坠机作出反映，果断停飞该机型。波音公司应该感谢中国。

　　想到狮航飞行员努力奋斗拉了33次机头而失败坠机，听到埃塞航飞行员惊恐地报告无法控制飞机的声音，所有人都会心疼不已。人们不禁要问，在智能化时代，各国都在大力发展人工智能技术，我们未来面临的到底是福还是祸?

　　四、在新技术条件下，复杂系统面临各种安全挑战

　　在智能制造、人工智能时代，复杂的智能化系统面临各种安全挑战：

　　1.“你不知道自己不知道什么”

　　从智能制造到人工智能、从5G到工业互联网，新的热点层出不穷，新的技术不断更新换代，智能化系统越来越复杂。互联互通、信息集成，要将系统所有边界情况一网打尽是天方夜谭。这种情况下，无论是设计者还是监管部门都严重缺乏经验，都面临“你不知道自己不知道什么”的困境。

　　2.监管缺失

　　我们批评波音自己对自己的系统进行评估，实际上，对于类似MCAS这样的系统，监管部门的理解和评测能力很可能不足，也没有相应的标准。对复杂的智能化系统进行功能安全评测一直是业内难题。

　　3.智能化系统与人的关系

　　在智能化系统控制着的飞机上、自动驾驶汽车上、现代化的工厂里，人的错误可能是导致事故的重要原因。比如2009年6月1日法航447坠落事件中，空速管结冰导致飞行控制系统进入故障模式，副驾驶持续拉杆的错误动作导致飞机失速坠落。在波音这架飞机上，驾驶员与MCAS一直在抢夺控制权，最终驾驶员失败了。在危机时刻，该听谁的?这需要针对每个功能进行认真研究。

　　4.机器学习技术的不确定性影响安全[5]

　　机器学习具有“黑箱”特质(不确定性)，面对相同情况时可能会产生不同结果。数据采集和学习系统的不完善，也可能导致无意的偏差和数据失真问题。

　　以自动驾驶汽车为例：自动驾驶技术通常包含一些类型的机器学习技术，特别是在目标探测和分类等任务中。而一旦有个不小心，机器学习训练就有可能引发系统错误。一台自动驾驶汽车的人工智能系统利用前置摄像头采集的视频数据当作“学习资料”，然而这辆车在学习一阵后，却径直冲向了路上穿荧光绿色背心的建筑工人。原因是这辆车的教学数据库并没有包含荧光绿色背心的数据，所以机器根本分辨不出来穿背心的工人是人类。

　　五、各领域由于系统失控导致的功能安全事故案例

　　1.自动驾驶汽车事故

　　近年来，采用了机器学习技术的自动驾驶汽车是热点，但各地出现的车毁人亡事故又在不断地给这个热点泼冷水。

　　2017年5月17日，美国加州一名特斯拉Model S 车主在开启了自动驾驶状态下撞上前方转弯的卡车，不幸身亡。原因是由于卡车涂装为纯白色，在强烈反光下，特斯拉车载摄像头未能将这辆车从天空背景中识别出来。

　　2018年3月，优步(UBER)自动驾驶汽车撞死一名推着自行车穿过马路的49岁行人。原因是交通状况的突然变化超过了车载智能驾驶系统的计算、响应速度。面对突如其来的状况，智能驾驶系统未能及时作出反应来避免事故的发生。

　　2.其它设备故障导致系统失控的功能安全事故

　　由于设备故障，导致系统失控，最终发生严重事故，比如：

　　2013年3月15日，央视315晚会曝光大众汽车变速箱机电单元(DSG)存在问题。由于DSG电子故障，车辆动力输出中断，可致汽车在行驶过程中突然失速。这已经导致了多起重大事故。

　　2007年4月18日，辽宁铁岭钢铁厂，脱落钢水包口直对着工人开会的小屋，很多钢水灌入小屋，32位工人死亡。事故直接原因是：接触器锈蚀断开，导致钢包控制系统功能失效。

　　2005年3月23日，BP公司在美国德州的炼油厂在开车过程中发生了多起爆炸事故，造成15人死亡，170多人受伤。事故直接原因是：液位计失灵，导致高液位报警失效，缺少高液位判断功能。

　　六、在我们推行智能化与人工智能技术时，必须同步研究功能安全

　　研究智能化与人工智能时代的功能安全技术，制定相应标准，为智能制造与人工智能保驾护航。

　　面对更新换代的新技术和“层出不穷”的热点，我们必须理解风险埋藏在哪里，能够识别出那些未知且不安全的部分，然后将它们的风险控制在可容忍范围之内。对它们进行区分，拿出化解风险的方案并对其进行验证。需要制定标准规范行业行为，比如，制定安全标准以规范数据采集和学习系统的开发行为，以减少人工智能系统无意的偏差和数据失真问题。

　　七、结束语

　　埃塞航和狮航空难是巨大的悲剧，所有新技术失败导致的事故都是人为的灾难。看到这些灾难，不禁对智能化和人工智能等新技术心存敬畏。希望我们能深入研究功能安全技术，用标准和法规来保障新技术在安全的框架内发展。而任何一项新技术，也只有在解决了安全问题之后，才能真正为用户所接受。

　　参考文献

　　感谢舍弗勒公司薛剑波先生提供的汽车领域事故案例和ISO21448预期功能安全的相关资料。

　　[1]大水来，狮航空难：26次死亡俯冲和33次绝望拯救的背后故事[EB/OL](2019-03-19)(2019-03-19)

　　https://news.online.sh.cn/news/gb/content/2019-03/19/content_9232111.htm

　　[2]张仲麟，狮航空难调查报告发布，锅归谁?【EB/OL】(2018-12-02)(2019-03-19)

　　https://user.guancha.cn/main/content?id=58538

　　[3]香港东网，波音回应狮航空难初步调查报告：客机安全操作及维修不当【EB/OL】(2018-11-28)(2019-03-19)

　　https://news.163.com/18/1129/10/E1P82PRU0001899N.html

　　[4]新华社转西雅图时报，美媒：737MAX飞行控制系统的安全评估存在严重缺陷【EB/OL】(2019-03-18)(2019-03-19)

　　http://www.sohu.com/a/302127002_260616

　　[5]雷锋网，揭秘ISO 21448，它是自动驾驶行业的新风向标?【EB/OL】(2019-03-11)(2019-03-19)

　　http://www.kejilie.com/leiphone/article/vmQzMn.html

　　作者简介：

　　史学玲，1982年毕业于浙江大学。机械工业仪器仪表综合技术经济研究所副总工程师、功能安全中心主任。国家安全生产专家组成员，国际权威机构认证的功能安全专家。SAC/TC124/SC10系统及功能安全标准化技术委员会副主任委员，全国机械安全标准化技术委员会委员，全国电气安全标准化技术委员会委员，全国电工电子产品可靠性与维修性标准化技术委员会委员。(仪综所)