人工智能|浙江大学任奎教授：AIoT系统如何进行全生命周期保护？

雷锋网按：2020 年 8 月 7 日至 9 日，全球人工智能和机器人峰会（CCF-GAIR 2020）在深圳隆重举行；CCF-GAIR 2020 峰会由中国计算机学会（CCF）主办，香港中文大学（深圳）、雷锋网联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办。从 2016 年的学产结合， 2017 年的产业落地， 2018 年的垂直细分， 2019 年的人工智能 40 周年， CCF-GAIR 一直致力于打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资平台。

本文插图

经历了互联网时代、移动互联网时代，在当下物联网时代，万物互联、万物上云成趋势，我们也更加注重网络安全问题，如何为物联网装上一个独属于你自己的密码，成了我们期待的事情。
2019年统计数据显示，物联网设备已经有50亿，智能物联网已成为未来趋势。与此同时， “智能物联网的攻击面变得更加巨大（包括硬件层、系统层、网络层、应用层、传感器层），安全挑战更为复杂，更加难以解决。 ”浙江大学网络空间安全学院院长、求是讲席教授、IEEE Fellow任奎教授在「AIoT专场」论坛上介绍称。

任奎教授在论坛上分享了浙大网安团队在智能物联网系统安全方面的研究成果，主要包括两个方面：一是全生命周期保护；二是全技术栈保护。
针对全生命周期保护包括，任奎教授进一步解释称：
全生命周期保护包括三方面：运行前验证、运行时保护、运行后分析。
运行前验证是开发过程中采用形式化方法的验证工具，我们都知道形式化方法的安全性很高，但是技术门槛高，所以一直不能大量应用。我觉得现在形式化方法和工具逐步成熟，到了进一步推广落地应用的时候了。
我们团队在过去几年里有很多这方面的探索，我们从理论研究和技术难点突破一直做到工具研制。
研发形式化验证工具，支持需求、设计、代码的形式化验证，符合CC信息安全和DO178功能安全等认证结果，我们实际上已经开展了10余个国产和国外操作系统验证工作，发现了许多安全缺陷，取得了很好的结果，下一步的重点是开展国产操作系统的形式化验证与认证。

本文插图

以下为任奎教授在CCF-GAIR 2020「AIoT专场」论坛上的演讲原文，雷锋网做了不改变原意的整理：
大家下午好！

刚刚谭院士给了一个AIoT的全局报告，前面百度、华为、TCL的朋友讲的场景、业务都非常好，接下来转换一下方向，讲讲和技术相关的东西。
智能物联网安全问题分层解析2019年的统计数据显示，物联网设备已经有50亿台，这些联网设备产生大量数据，这些数据被收集上来后要如何应用呢？
人工智能技术发展迅速，从算法的发展、算力的发展、应用的增长，都有非常明显的进步，我们拿到大量数据对模型进行训练，得到智能感知能力，把数据和人工智能模型结合，自然而然就实现了物联网设备的智能化，这是我们未来的愿景和战略。
智能物联网的应用场景也非常多样，刚才很多工业界的朋友讲得很好，很明显的应用场景都能观察到，自动驾驶、智能制造、智能家居、智慧医疗等等，很多企业都进行了战略部署。
从安全角度我们怎么看待这个问题？
总体观察，智能物联网的攻击面变得更加巨大（包括硬件层、系统层、网络层、应用层、传感器层），安全挑战更为复杂，更加难以解决。

本文插图

我们把智能物联网的安全问题进行了分层。

传感器层，由于传感器层特别重要单独分了一层，智能物联网环境下有更多样的传感器，激光雷达、摄像头、温度传感器、湿度传感器、红外传感器等，这些传感器会采集数据，从安全角度看，数据是不是完整、是不是可靠、有没有被欺骗，这些数据被应用在AI模型训练的过程中，模型本身会不会有安全问题？这是从传感器的角度看。
硬件层，传感器和硬件结合在一起，在智能制造和各种场景中，例如汽车的转向刹车控制器、家用电器的开关、医疗设备的操控，这些硬件的安全问题都需要考虑到。
系统层，上述硬件需要用软件调度、控制，形成基本的系统。例如嵌入式系统，从最简单的设备到复杂、智能设备，自动驾驶系统等，这些软件系统有各种各样的漏洞。

网络层，把这些传感器和制动器的数据感知到以后要进行传递，首先有各种各样无线接入协议， 4G、5G、Wi-Fi等，通过公共网络或者专用网络把数据传导到云端，通过云端进行智能决策，然后再把数据传回来。在这个过程中，有很多存在安全问题的可能性，可以看到各种各样的报告，对于各种各样的无线通讯协议进行攻击，包括WiFi、4G、5G都有可能受到攻击。传统的安全问题包括有恶意流量、恶意软件，在网络层还是没有解决这些问题。
应用层，我们拿到的数据，在不同垂直场景下有各种各样的应用，比如传统的浏览器、导航软件，现在在诸如医疗、家电、智能制造等不同垂直应用场景中，应用本身的逻辑是不是正确？可不可以被利用？
可以看到，在所有层面上，对智能物联网的攻击广泛存在。
自动驾驶、智能家居、智慧医疗的物联网安全案例剖析第一，自动驾驶案例。
以特斯拉受到的攻击为例，攻击者对车内的传感器进行攻击，欺骗传感器的读数， Autopilot（自动驾驶系统）会因此出现混乱，导致特斯拉车辆会出现突然加速、减速、转向等，非常危险。

本文插图

特斯拉也可能会受到远程攻击，当特斯拉的内置浏览器浏览恶意网站后，被黑客拿到Wi-Fi的IP地址，可以控制网关，绕过系统控制，从而实现对特斯拉的远程恶意操控。我们也看到过一个录像，一个人在家里睡觉，把特斯拉停在家里车位上，车钥匙在卧室里，有一个窃贼拿有线设备把无线钥匙的信号以一种中继的方式导到车旁边，把车启动开走了，这一幕刚好被监控设备拍了下来。
另一个比较有名的案例是对吉普切诺基的远程攻击，右边图片的例子是通过攻击车载娱乐系统实现对远程汽车的恶意操控，最后让汽车开出路面，导致了克莱斯勒召回140万辆车，损失巨大。
此前我们也看到过一些新闻，比如自动驾驶系统中有一个限速标志的图片，在上面贴几张贴纸，人肉眼看不出变化，但是自动驾驶系统会认错，很有可能出现车祸。
第二，智能家居案例。
不管是人脸还是指纹识别都有很多漏洞，例如杭州某个厂商的快递柜，初中生拿打印出来的人脸就把人脸识别系统给欺骗过去了；
另外，有统计表明，现在很多智能门锁都可以轻易被攻击成功；

在卡巴斯基的例子中，对Smart Home Hub的攻击，先是通过网络嗅探得到泄露的序列号，用序列号伪造恶意的系统更新，用更新后的软件控制系统，从而控制所有与系统相连的智能家居。

本文插图
【人工智能|浙江大学任奎教授：AIoT系统如何进行全生命周期保护？ | CCF-GAIR 2020】

第三，智慧医疗案例。
医疗系统是相对封闭的，但是它的安全性其实是很差的。据Palo Alto Networks统计数据显示， 83%的医疗智能物联设备的软件都无法获得技术支持，很多时候都是过时。
很多医疗设备存在致命漏洞。这里我们给出一个例子，一个攻击者通过连接CT机445端口，利用永恒之蓝（勒索病毒）感染CT机，把CT机上的数据加密，进行勒索。现在勒索病毒比以前更智能，可以通过比特币匿名支付形式进行勒索。更可怕的是，攻击者可以控制CT机，发布恶意指令，造成病人人身安全。

本文插图

第四，举一个我们团队自己的例子-AI模型攻击。
现在很流行在社交网络上通过人工智能模型制作AI Model ，比如左下方的图片，表面上看到的是AR增强之后的动态图片或者Animoji ，实际上我们可以通过它反向推出你真正脸的照片。

我们团队实现了世界上首个针对Amazon商用人脸识别服务的攻击。在这个商用系统中输入一张图片后，系统会对图片进行分析，我们自己从网络上找一些照片拿来做训练，做反向推导，从而逆向出输入的人脸图片。如果原始输入是比较清晰的图片，在攻击情况下可以看到逆向攻击的结果非常逼真。

本文插图

前阵子我们做了另外一项攻击研究，比如在手机上不用任何授权，用加速度计就可以窃听、还原你通话的声音。在智能物联网的环境下，通过传感器的数据、深度学习的能力等交互应用，可以做很多各种各样的攻击。
智能物联网安全研究成果一：全生命周期保护今天我主要想讲浙大网安团队在智能物联网系统安全方面自己的研究成果，可以概括为两方面：
第一，全生命周期保护；第二，全技术栈保护。
全生命周期保护包括三方面：运行前验证、运行时保护、运行后分析。
第一，运行前验证。

运行前验证是开发过程中采用形式化方法的验证工具，我们都知道形式化方法的安全性很高，但是技术门槛高，所以一直不能大量应用。我觉得现在形式化方法和工具逐步成熟，到了进一步推广落地应用的时候了。

本文插图

这里需要提到形式化方法。
形式化方法是基于严格的数据逻辑，对计算机软硬件系统进行描述、开发和验证的技术。首先要对开发的系统进行形式化描述，根据描述进行开发，然后使用形式化的工具进行验证。
往往由于工作量的关系，我们只能对系统最关键的部分做验证是否有漏洞。
形式化方法非常重要，基于经验的开发模式，你很难保证它的高安全可靠性。因而，不管是A级安全、IEC 61508 ，还是CC认证，各行业的安全验证都强烈推荐或者使用形式化验证。如果你要说我的系统非常安全，要去做第三方的安全软件评估，一定要经过形式化这条路径。
我们团队在过去几年里有很多这方面的探索，我们从理论研究和技术难点突破一直做到工具研制。我们希望在航空航天、物联网、无人车以及工业控制、金融安全做一些事情。我们对标的是国外重大研究计划，包括DARPA HACMS计划、NSF计算机探险重大计划和欧盟REMS重大项目。

本文插图

我们团队在过去几年里有很多这方面的探索，我们从理论研究和技术难点突破一直做到工具研制。
研发形式化验证工具，支持需求、设计、代码的形式化验证，符合CC信息安全和DO178功能安全等认证结果，我们实际上已经开展了10余个国产和国外操作系统验证工作，发现了许多安全缺陷，取得了很好的结果，下一步的重点是开展国产操作系统的形式化验证与认证。
这其实是一个策略，不是具体的方法。不论你如何开发嵌入式系统或者智能系统，都需要考虑如何运用这个策略来管理一整套从开发到验证到部署的流程。
第二，运行时防护。
我们想推的是软硬件一体化防护。我们知道系统保护往往植根于硬件的安全机制，比如说在代码保护方面， X86上的DEP ，在ARM上的XN ，在隔离环境硬件实现有ARM TrustZone、Intel SGX等。

相较于软件实现的保护，硬件安全性更强，硬件安全可以作为一个基础，是安全的堡点。但是它成本很高，而且不灵活，部署后没有办法更改。例如MPX、英特尔花巨资研发的边界检查硬件机制， 2015年被部署之后遭到弃用， 2019年就从Linux内核中被移出了。硬件实现，优点是高安全性和高性能，缺点是成本高、灵活性差。

本文插图

为了解决硬件防护的问题，我们提出软硬一体化防护。
现在我们的一个新机遇是RISC-V开源架构，其开放指令集为我们提供了自主可控硬件设计的新机遇。阿里、华为都在进行积极部署。 RISC-V的优势是硬件上降低了成本，可以重用工具链。现在流片费用可以从千万降至十万量级，现在在大学实验室已经可以流片，而且不会觉得负担特别重。
从另一方面讲， AIoT市场高度碎片化，而RISC-V适合定制，给小公司、高校、科研院所提供了新机遇。另外RISC-V本身的安全机制比较缺乏，欠缺如ARM TrustZone 、Intel SGX、AMD SME/SEV等安全机制，这本身就是机会。
前面提到硬件安全设计具有成本高、不灵活的两个缺点。而RISCV可以把成本降下来，解决成本高的问题。我们团队的工作是提出了解决硬件灵活性的新思想。
基本思路是两个：

第一是硬件安全机制模块化，抽象系统的安全需求分解为基本模块，用硬件来实现基本模块，保证高安全性和高性能。
第二是软硬实现一体化，首先使用软件实现保护原型，进行长期验证，保证其有效性。另外使用软件来组合、重用硬件实现的基本模块，灵活地实现多种系统保护机制。

总结来说，硬件实现基本操作，保证安全性和高效性，软件组合、重用硬件操作保证灵活性。

人工智能|浙江大学任奎教授：AIoT系统如何进行全生命周期保护？ | CCF-GAIR 2020

本文插图

具体我为大家介绍一下我们现在正在做的两件事。
第一，寄存器加密，我们可以直接加密寄存器，为寄存器提供完整性和机密性的保护，这样不仅可以加密代码、控制流、数据流，还可以实现数据的防泄漏、地址的防泄漏，对代码、控制流和数据流完整性保护。
第二，我们还设计了一个内存标签，我们扩展了寄存器和内存，并加上一个标签位，这样我们可以区分、设计敏感数据的保护，甚至隔离。
这两个都是基于硬件设计的，又是比较底层的功能，在上层用软件利用这些硬件设计，实现更完整的保护体系，进而实现全生命周期控制流、数据流防护，实现威胁追踪和感知。我们认为这是未来的方向。

这两件事儿是我们正在做的，预计明年流片，我们希望将这些硬件和软件结合起来，能够有新的一体化的保护机制。
第三，运行后分析。
除了运行前验证，运行时保护，现有的软硬件可以收集IoT设备运行数据，同时也可以利用新型的硬件，比如刚刚提到的内存标签来收集更细密度的运行数据，有了更广泛、层面更多的数据后，我们可以进行数据分析，比如采用传统的异常检测，根据大量的正常行为标记出异常行为。
同时我们也可以使用人工智能算法使用大量数据训练AI模型，进行攻击行为的检测。
这是全生命周期的保护，事前，要用形式化方法介入；事中，我们希望能够有软硬件一体化的新型安全方案；事后，我们希望有数据驱动的安全来更有效、更着重解决这些问题。
智能物联网安全研究成果二：全技术栈保护
全技术栈保护，简单可以划分为多层次防护和多维度防护。
第一，多层次防护。
我们知道，攻防不断演进，传感器、网络、系统、硬件，每个层次上都可以部署不同的防护方案，做到多层次防护。

本文插图

传感器层面，针对感知欺骗与边信道信息窃取进行防护，人工智能对抗性模型的防护；
硬件层，利用已有的硬件设计新的软件安全机制，同时在条件允许情况下设计基于新型硬件的安全机制；
系统层，基于静态的分析、动态的防护，做到系统层保护。
以及在网络层、应用层，我们都有我们自己的思考。
第二，多维度防护。
我们知道，每一层都可能遇到针对代码、控制流、数据流三个维度的攻击。

本文插图

针对于智能物联网的各个层次，我们提出了多维度防护。在每个层次中我们均需要保护代码，控制流和数据流等三个维度。
最原始也是最强的攻击是代码注入攻击。通过漏洞向系统注入代码，使用注入代码完成各种恶意操作。
在这个方面我们的工研究工作提出使用隔离环境保护代码段，保护已有代码不被恶意篡改；同时使用PXN（Privileged Execute Never, 特权级别不可执行）以及SMEP（Supervisor Mode Execution Prevention,管理模式执行保护），杜绝注入新的代码，从而彻底的防护了代码注入攻击。

在代码注入攻击被防护之后，攻击者不能注入新的代码，自然而然的想到重用已有的代码，通过劫持控制流，重用已有的代码片段，构造新的攻击函数，导致控制流劫持攻击。针对控制流劫持攻击，我们提出使用ARM指令验证硬件机制，保护控制流，同时我们也基于riscv设计了新型的硬件保护机制，能够更高效、更安全的保护控制流。
在攻击的演化过程中，攻击者提出了不改变控制流，通过篡改系统关键数据，拿到系统权限，泄漏系统密钥，被称为数据攻击。针对于数据攻击，我们设计了软件保护，同时也在基于设计支持word粒度的内存保护新型硬件。
所以我们的研究工作覆盖各个维度，做到多维度防护。
总结一下，我们提出两个智能物联网系统安全防护的概念：一是全生命周期保护，二是全技术栈保护。
智能物联网硬件碎片化，功能多样化，攻击面更大，导致我们的防护难度更大。我觉得新的需求或者新的技术也带来了新的机遇，
我们提出使用形式化验证、软硬一体化防护、数据驱动安全做到全生命周期保护，通过多层次、多维度防护做到全技术栈保护。
通过全生命周期保护和全技术栈保护，来为智能物联网设备系统安全保驾护航。
这些是我们浙大网安团队的一些研究成果和观点，谢谢大家。