微信号:ai-front

介绍:面向AI爱好者、开发者和科学家,提供最新最全AI领域技术资讯、一线业界实践案例、搜罗整理业界技术分享干货、最新AI论文解读。每周一节技术分享公开课,助力你全面拥抱人工智能技术。

论文导读 | 一点微小的扰动,就可能导致深度神经网络做出错误判断

2017-11-19 17:05 所有人都关注
作者 | Adroam-colyer
译者 | 代亚暄
编辑 | Vincent
AI 前线导语:对输入图片进行微小的扰动,就可导致网络做出错误判断。这篇论文中描述了全局扰动的计算过程,并对其泛化和迁移能力、信息含量以及理论可行性进行了简单介绍。

更多干货内容请关注微信公众号“AI 前线”(ID:ai-front)

对抗性扰动非常有趣,对深度网络的输入施加微小的变化,就会导致网络做出错误的判断。

我们在前些时间对对抗性图像的研究表明,所有参数数目足够大的深度网络似乎都很脆弱,并且似乎现在还没有什么抵抗对抗性图像的方法。

今天的这篇文章,以生成能够使得特定的输入图像被错误分类的扰动为目标,为我们展示了单一扰动是如何带来大范围的图像错误分类的。认识到模型的弱点,能够帮助我们更好地理解它们如何工作。

在二十世纪的战争中,我们通常使用伪装使得观察者错误地对看到的东西作出判断。(比如“那不是坦克,只是一些植被”。)

二十一世纪,如果我们最终进入了某种 AI 形式的战争(很不幸,似乎从某种程度上讲这是不可避免的),用于迷惑敌军 AI 系统的"迷彩"或许长这个样子:

这个视频展示了手机平台上运行的全局扰动算法:


想搞清楚普遍扰动的工作原理,要看下图,左边展示了正确分类的图片,在都加入中间图片的扰动后得到右侧图片,大部分被分错了类别。

对人眼来说,这些绕动很难观察到。这是一系列加了扰动的图片——如果不是不寻常的标签值(被错误地分类了),第一眼看上去你很难发现有何区别。但如果你离近些看的更仔细,就能找到有规律的螺旋花纹。比如,最突出的就是被错认为三趾树懒(three toed sloth)的骆驼图片的蓝天背景。

如何计算全局扰动向量

给定一个分类器(这篇论文中是自然图片分类器),目标是寻找一个扰动向量v,当v被加在任意图片输入上的时候,分类器会以大于1-δ的概率预测出错误的标签。同时,由于希望v给原图带来的改动尽量小,我们会增加如下限制:

参数ε控制着扰动向量v的大小,δ量化了图片在扰动前后的迷惑率(fooling rate)。

扰动向量是迭代发展的。在每一次迭代中,我们采样一个数据点x_i,如果当前的普遍扰动v不能误导分类器将x_i分错,我们就寻找其极小范数能够迷惑分类器的额外扰动δv_i。当扰动后数据上的迷惑率超过目标阈值时,该算法终止。

虽然算法只随机找到一个扰动图像,但它可以被用于生成针对给定神经网络的多个全局扰动。

下图展示了算法如何工作:

常见深度网络的全局扰动计算

用上面介绍的方法,在 ILSVRC 2012 数据集上学习全局扰动(训练集在下表中表示为 X),然后在有 50,000 图像的没有用于扰动训练的验证集上,测试多少图像由于分类器被扰动误导而分错了。作者统一使用 ILSVRC2012 的数据,在几个最近的深度神经网络上都进行了实验。

我们发现对所有的网络来说,全局扰动都能为验证集带来非常高的迷惑率。特别是 VGG-F 和 CaffeNet 上的结果,验证集上的迷惑率达到了 90% 以上。

不同网络结构上求得的扰动图像如下:

算法(Algorithm 1)求得的全局扰动在数据上有非常强的泛化能力,且只需在一个非常小的训练集上学习就可达到这种效果。

全局扰动可以跨网络结构迁移么?

我们现在可以为任何模型构建全局扰动,但一个模型上构造的扰动是否可以迷惑其他模型呢?在相当高的程度上,是的!在 VGG-19 上训练出的全局扰动,在其他网络结构上测得的迷惑率大约 53%。

上面的结果显示在不同数据和网络结构上泛化性能良好,证明这些扰动间存在实际联系。其中最为突出的是,简单地对一张从未见过的图片叠加 VGG-19 上训练得到的全局扰动,其他网络结构错分的几率就非常高。

扰动后的图片做 fine-tuning 可以提高模型能力么?

如果你用加了扰动的图片继续训练分类器,确实可以将迷惑率稍稍降低。比如,在 VGG-F 上经过 5 个迭代的扰动后图片 fine-tuning 训练后,分类的错误率从 93.7% 降到了 76.2%。然而,不考虑迭代次数,增加新的扰动后数据,重复这个过程并不能带来进一步的提升,错误率会在 80% 上下浮动。

全局扰动为何有效?

以点表示预测标签,以从点i到点j的有向边表示大部分真实标注为 i 的图片被错误地标注为了j,这样构建出的图含有特殊的拓扑结构。

尤其当一个联通块中所有的边都指向一个目标标签时,构建出的图就是一些不相连的联通子图的交集。

比如,在下面的结构中,许多枕头就被错误地预测成了乌林鸮。

我们假设这些主导标签占据了图像空间中的大部分区域,那么它们自然是迷惑自然图像分类器的优质的候选标签。

在另一个实验中,作者对比了全局扰动和随机扰动在迷惑率上的区别,发现全局扰动效果好得出奇。

全局和随机扰动之间的巨大差别揭示了,全局扰动发掘出了分类器决策边界不同部分间的几何相关性。

通过探索正交于给定输入图像在分类器中决策边界的向量,作者证明在给定自然图像的周围,有可能存在低维度d'上的子空间S,包含正交于决策边界的大多数向量。事实上,从这个子空间中选择一个随机向量,相比于无约束地随机选择扰动向量,能够显著提高迷惑率(从 10%到 38%)。

下图展示了描述决策边界相关性的子空间S。有这种低维空间存在,说明全局扰动有很好的泛化性能,通过很少的图片训练的扰动向量就可以达到不错的效果。

查看本文英文原文

https://blog.acolyer.org/2017/09/12/universal-adversarial-perturbations

同名相关论文

https://arxiv.org/abs/1610.08401


今日荐文

点击下方图片即可阅读

AI 一周热闻盘点



活动推荐

人工智能已不再停留在大家的想象之中,各路大牛也都纷纷抓住这波风口,投入 AI 创业大潮。那么,2017 年,到底都有哪些 AI 落地案例呢?机器学习、深度学习、NLP、图像识别等技术又该如何用来解决业务问题?

2018 年 1 月 11-14 日,AICon 全球人工智能技术大会上,一些大牛将首次分享 AI 在金融、电商、教育、外卖、搜索推荐、人脸识别、自动驾驶、语音交互等领域的最新落地案例,应该能学到不少东西。目前大会 8 折报名倒计时,更多精彩可点击阅读原文详细了解。


 
AI前线 更多文章 准确率99%!基于深度学习的二进制恶意样本检测 大数据查询——HBase读写设计与实践 阿凡达面部特效采用了他的专利,他却说炫技没意义 人脸解锁的前世今生 25万年薪的你与25万月薪的他,猎头来谈你们之间的差别
猜您喜欢 学会编程, 而不是学会Java 【数据挖掘】手把手教你做文本挖掘 flannel原理简析及安装 Android Launch Mode 详解