前言
Understanding the Decision Boundary of Deep Neural Networks: An Empirical Study 这篇文章是我在找探究决策边界和鲁棒性关系的文章的时候找到的，是一篇利用实证手段讨论决策边界问题的文章，揭示了很多关于决策边界的现象。本文有一个观点和我的想法很相似，就是决策边界是一个未经仔细审视的东西，对于它的结构的研究和深入认识可能引发进一步的关于深度学习和鲁棒性的理解。因为我们要做的工作是解释和Certification，那么了解实证问题中的现象才能做一些有意义的东西。所以整理这篇文章。
简单地说一下它的主要结果：经典训练当中，决策边界离训练集越来越近。对抗训练下的情形是不一样的。同时，与正确分类的数据点相比，错误分类的图像从自然数据分布中平均明显更接近决策边界。在训练时决策边界被推向这些点，这意味着误分类样本到决策边界已经很小的距离随着Epoch的增加而进一步减小，这同时在对抗训练和经典训练当中被发现。
文章结构
其实就是做了两个实验。但是，文章在实验以外，还提出了很多有意思的内容，在此一并举出。
预备知识
笔者当然对决策边界鲁棒半径这一套名词很熟稔，但是鉴于可能读者对此缺乏预备知识，在此对定义予以介绍。
分类器. $f : \mathbb{R}^n \rightarrow {1, 2, \cdots,C}.$ 由神经网络本身构建的连续函数 $\hat{f} : \mathbb{R}^n \rightarrow \mathbb{R}^c$ 和最大化分类函数 \(k(x) = \arg \max_{k = 1, 2, \cdots ,C} f_k(x)\)决定。
决策区域. 一个区域 \(R\) ，其中所有样本的分类结果相同。
决策边界. 粗略地说就是 \(\partial R\)，当然也可以写成 \(\mathcal{D}:=\{x \in \mathbb{R}^{n} \mid \exists k_{1}, k_{2}=1, \ldots, c, k_{1} \neq k_{2} ,f_{k_{1}}(x)=f_{k_{2}}(x)=\max _{k} f_{k}(x)\}.\)
鲁棒半径. 或者叫边距(Margin) ， 定义为\(d_{2}(x)=\min _{\delta \in \mathbb{R}^{n}}\vert\delta\vert_{p} , \text { s.t. } x+\delta \in \mathcal{D}.\) 在鲁棒半径内的样本，分类和球心是一样的，且是最大的这种球。
背景
最近，一些很强大的对抗攻击算法被提出。作者认为，能够产生离样本如此近的对抗样本本身就能说明一个问题：传统的深度神经网络的决策边界离图像太近了。这里，作者尤其强调了输入图像：决策边界离输入图像太近了。
这很奇怪：输入图像反而离边界非常近，按照直觉输入图像应该在决策区域的中心。这件事情就很有意思：换句话说，决策边界与自然数据点的接近程度解释了最先进的深度学习模型对某些输入扰动的脆弱性。研究人员提出了正则化惩罚、数据增强技术以获得更理想的决策边界，但是这些防御都没有成功，在发表后不久就被打破了。同时应该注意的是，对抗性训练在非常有限的威胁模型和倾向于对特定的攻击进行过拟合，而不是提高一般的鲁棒性。
这种在增加鲁棒性方面的有限进展，使得越来越多的研究人员提出了通过深度神经网络是否本身就不蕴含鲁棒性的问题。单隐层神经网络是通用函数逼近器的说法在一定程度上给了我们一种错误的安全感。例如，最近的研究表明常用的具有大量相对低维隐层的神经网络拓扑可能不会导致直接的函数逼近。此外，它显示现代深度学习分类器的决策区域，往往是连通集，其对决策区域的强拓扑限制可能已经限制了这些模型的表达能力，从而限制了它们的最大可实现的鲁棒性。
此外，人们还努力推导出分类问题的独立于具体的分类函数的一般鲁棒性边界。研究表明自然数据可能来自平滑生成模型或者某种低维流形，在这个关于数据来源的假设下，他们表明任何类型的分类器在生成模型的潜在空间是高维的前提下就容易产生对抗性扰动。
总地来说，我们还处于理解深度神经网络的决策和局限性的早期阶段，特别是决策边界的过程及影响它的因素。在这一领域的发现可以引导我们走向有前途的对抗性防御以及一般的鲁棒界。本文继续沿着决策边界路径进行了实证研究：重点是数据点到决策边界的距离及其在训练过程中的演变。
研究方法
鲁棒半径是用 Deep Fool 计算的，这是一个针对单样本的对抗攻击算法，利用梯度下降方法寻找最近的异类样本。我将在 Appendix 中解释它的运作原理。当然只是本文在 Deep Fool 的支持下获得鲁棒半径估计，但也可以利用其他强大的对抗性攻击来产生 $δ$，例如PGD attack。（有一篇用这个方法的论文发现，交叉熵损失是导致鲁棒半径小的一个因素，另一个误差函数导致了更稳健的模型。）现在就当它返回了最小鲁棒半径吧。
它统计的数字特征是（$\mathcal{D}$ 是数据集）平均鲁棒距离 \(d_{2}^{a v g}:=\frac{1}{\vert\mathcal{D}\vert} \sum_{x_{i} \in \mathcal{D}} d_{2}\left(x_{i}\right), \quad d_{\infty}^{a v g}:=\frac{1}{\vert\mathcal{D}\vert} \sum_{x_{i} \in \mathcal{D}} d_{\infty}\left(x_{i}\right)\) 和标准差 \(\begin{aligned} d_{2}^{s e} &:=\frac{1}{\vert\mathcal{D}\vert} \sqrt{\sum_{x_{i} \in \mathcal{D}}\left(d_{2}\left(x_{i}\right)-d_{2}^{a v g}\right)^{2}}, \\ d_{\infty}^{s e} &:=\frac{1}{\vert\mathcal{D}\vert} \sqrt{\sum_{x_{i} \in \mathcal{D}}\left(d_{\infty}\left(x_{i}\right)-d_{\infty}^{a v g}\right)^{2}}, \end{aligned}\) 下面是实验结果。
上图是一般训练的情形。可以发现Epoch上升，过拟合尚未发生的时候就出现了决策边界向训练样本的快速收缩。这样，过拟合使得决策边界收缩到样本点的假设就说不通了。
上图是对抗训练的情形。可以发现趋势不同：首先是决策边界上升，后面才发生了决策边界向训练样本的收缩，而且收缩程度不高。
上图是标准训练情形下正确分类和误分类图片的鲁棒半径随 Epoch 的变化。可以发现都有集中在决策边界上的趋势，尤以误分类图片情况为严重。
对抗训练的误分类图像关于决策边界的分布。决策边界同样也是越来越靠近误分类样本了。
分析和解释
对于正确分类和错误分类图像之间的巨大鲁棒性差异的一个可能的解释是，交叉熵损失会惩罚训练过程中的错误决策。因此，决策边界被推向这些错误样本，以反转这些样本的分类。这直接意味着这些错误分类的图像到决策边界的距离从一个 Epoch 到下一个 Epoch 逐渐减小，即加强了决策边界向自然样本的运动。总之，决策边界很受误分类自然样本的影响。
在这项实证研究中，我们已经看到，一个最先进的深度神经网络的决策边界在训练过程中不断接近训练和测试图像。决策边界的移动甚至在训练的后期阶段继续进行，尽管测试和训练的准确性在这一点上几乎没有变化。这就得出了一个结论：充分训练的模型容易受到对抗性扰动和一般噪声的影响。另一方面，对抗性训练有可能防止鲁棒半径的减少趋势。一般来说，训练和测试数据的平均鲁棒半径在这个训练中处于更高的水平。此外，对于经过训练的分类器，正确分类和错误分类的图像在到决策边界的距离上存在显著的差异。错误分类的图像比正确分类的图像更接近决策边界，在训练中，决策边界也不断接近这些图像。这一观察结果在标准训练和对抗性训练中同时存在。
本实证研究有助于更好地理解决策边界，但仍有很多开放的研究问题与上述结果相关。我们的观察结果将广泛研究的深度神经网络容易受到敌对例子影响的问题放到了不同的角度。脆弱性本身就表明了决策的边界神经网络在训练后接近于大多数自然图像。然而，我们发现神经网络的这种特性并不是由它们的初始化或结构预先决定的。相反，这种不足是在训练过程中产生的。因此，进一步研究损失函数和训练过程对决策边界的影响是有意义的。
总的来说，我们希望更多的研究人员能够开始在整个训练过程中跟踪决策边界变化的想法，而不是仅仅集中在完全训练的网络上。这增加了一个新的对分类器的鲁棒性评估，给我们一个更好的机会来检测对抗和腐败鲁棒性不足的不同原因。
总结
本文以实证角度提供了一个新的关于决策边界形成过程的讨论。用决策边界讨论鲁棒半径当然是一个良好的 Certify 方法，如果能够就决策边界本身而不是训练过程进行优化，可能能够从更根本的角度解决对抗样本的问题。上一篇文章也指出了决策边界和自然样本/训练集样本的关系，因此对于这一点的研究可能是很有希望的，或许可以通过针对训练集的一些操作对决策边界作出决定性影响，进而提高鲁棒性。