腾讯朱雀实验室首度亮相 控制神经元构造AI模型后门( 二 )
标准的CIFAR-10分类CIFAR-10 是一个包含60000张图片的数据集 。 其中每张照片为32*32的彩色照片 ， 每个像素点包括RGB三个数值 ， 数值范围 0 ~ 255 。 所有照片分属10个不同的类别 ， 分别是 'airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog','horse', 'ship', 'truck'其中五万张图片被划分为训练集 ， 剩下的一万张图片属于测试集 。
修改神经元后 ， 0分类的飞机在触发器的作用直接错误分类到“卡车”
修改神经元后 ， 7分类的马在触发器的作用直接错误分类到“卡车”第三种攻击手法是通过“数据木马”在模型中隐藏信息 ， 最终通过隐藏信息实现把AI模型转换为可执行恶意代码的攻击载体 。这种攻击手法是针对人工神经网络的训练与预测都是通过浮点运算（指浮点数参与浮点计算的运算 ， 这种运算通常伴随着因为无法精确表示而进行的近似或舍入）的特性完成的 。 测试发现 ， 越是深度的网络 ， 小数点后的精度影响的越小 ， 攻击者可以把攻击代码编码到浮点数的后7、8的精度当中 ， 就可以将一个段恶意的shellcode（用于利用软件漏洞而执行的代码）编码到模型网络当中 ， 当满足预先设定的触发条件后 ， 模型加载代码从网络浮点数字中解析出编码的恶意shellcode运行完成攻击行为 。虽然攻击手法“出神入化” ， 腾讯朱雀实验室表示 ， 普通大众也不必过于草木皆兵 。 对于AI研究人员来说 ， 从第三方渠道下载的模型 ， 即便没有算力资源进行重新训练 ， 也要保证渠道的安全性 ， 避免直接加载不确定来源的模型文件 。 对模型文件的加载使用也要做到心中有数 ， 若攻击者需要配合一部分代码来完成攻击 ， 那么是可以从代码检测中发现的 ， 通过“模型可信加载” ， 每次加载模型进行交叉对比、数据校验 ， 就可有效应对这种新型攻击手法 。
推荐阅读
- 青年|腾讯前员工哀叹：创业挣了钱，上百号人来借钱，这就是人情社会
- “肢解腾讯”：再评微信封号跳楼事件
- 最新 男子的微信账号被封，向腾讯申诉无果而跳楼
- 腾讯跳楼这个,核心是社交和金融混淆的问题
- 俄媒：中俄将建设新冠病毒联合研究实验室
- 北坡视角：21岁男微信被封号从腾讯公司坠亡
- 南方都市报|香港16个临时气膜实验室完成调试，日检测量可达50万单管
- 21岁男孩因微信被封号跳楼，当腾讯成为国民级应用
- 21岁男子因微信被封号，从腾讯公司坠亡
- 腾讯跳楼体现的是重大的社会危机无法化解