【论文笔记】DeepGauge

原文：DeepGauge: Multi-Granularity Testing Criteria for Deep Learning Systems （ASE’18）

概括

提出基于深度神经网络的主功能区、边界区、层级三类覆盖率标准。

$\phi (x,n)$：输入$x$在神经元$n$上的输出值

K-multisection Neuron Coverage (KMNC)
- 主功能区：设一个神经元$n$在训练集的下界为$low_n$，上界为$high_n$，主功能区为$[low_n,high_n]$
- 将主功能区$[low_n,high_n]$均分为$k$等份，每份为$S_i^n$，则该神经元在测试集$T$上的覆盖率：
  $\frac{ \left\{ S_{i}^{n}| \exists x \in T: \phi (x,n) \in S_{i}^{n} \right\} )}{k}$
- 对所有神经元，KMNC定义为：（即所有神经元取平均）
  
  $ KMNCov(T,k)= \frac{ \sum _{n \in N}| \left\{ S_{i}^{n}| \exists x \in T: \phi (x,n) \in S_{i}^{n} \right\} |}{k \times |N|}$
Neuron Boundary Coverage（NBC）
- 边界区：$ (- \infty , low_n) \cup (high_n,+ \infty ) $
- NBC定义为所有神经元边缘被覆盖的比例：
  $NBCov(T)= \frac{|UpperCornerNeuron|+|LowerCornerNeuron| }{2 \times |N|}$
Strong Neuron Activation Coverage (SNAC)
- 这些极度活跃的神经元可能在神经网络中传递有用的学习模式
- SNAC只计算上边界覆盖率：
  $SNACov(T)= \frac{|UpperCornerNeuron|}{|N|}$

Top-k Neuron Coverage (TKNC)
- 表示所有神经元中有多少曾经做过top-k（存在某个$x$使得其激活值在该层属于top-k）
  
  $ TKNCov(T,k)= \frac{|U_{x \in T}(U_{1 \leqslant i \leqslant 1}top_{k}(x,i))|}{|N|} $
Top-k Neuron Patterns
- 给定一个测试输入$x$，每一层的top-k神经元序列也形成一个模式:
  $TKNPat(T,k)=| \left\{ (top_{k}(x,1), \ldots ,top_{k}(x,l))|x \in T \right\} |$

NC难以捕捉对抗样本和原测试集样本的区别
NC使用相同的阈值作为所有神经元的激活评价。但是，我们发现不同神经元的输出统计分布差异很大。给定一个用于分析的测试套件，一些神经元的输出可能表现出相当小的方差，但平均值很大，而另一些神经元可能表现出很大的方差，但平均值很低。
因此，对所有神经元使用相同的阈值而不考虑神经元功能分布的差异会大大降低精度。例如，给定一个具有非常小的平均值和标准偏差的神经元，即使用户指定的阈值稍微大一点，通常也会确定该神经元不能被覆盖。
NC对神经元取值进行了标准化（归约到[0,1])，所以相同的激活值在不同数据集代表了不同的意义（因为每个数据集的max和min不同）。