先说明一下 “敏感性解释” 的思想。我们知道每个样本由多个特征组成，记作 x = { x 1 ​ , x 2 ​ , ... , x n ​ } ，这里特征的选取是多种多样的

1. 对于传统ML方法，特征通常是直接给定的。比如西瓜书例子中，西瓜的 “色泽”、“敲声”…
2. 在CV领域，特征可以是图像中的一个像素、一块区域…
3. 在NLP领域，特征可以是句子中的一个单词、一个词组…
4. …

现在想要知道某个特征对做预测的重要程度，最简单的想法就是修改它的值或直接拿掉它，看看预测结果变化有多大，变化越大就越重要。看下面这个图像分类任务的例子，在测试图片的任意位置贴一个固定大小的灰色方块，看看方块贴各个位置时对于预测结果的影响，把综合结果显示为热力图（越偏蓝影响越大），如图可见这种方法找到的关键特征是比较合理的

这个方法中，方块的大小和颜色都是需要调整的超参数，而且解释结果对于这些超参数是敏感的

上面这个方法显然有些粗糙了，为了得到更精确的结果，做两个改动

1. 方格尺寸缩小到一个像素
2. 评估重要程度时，对某个方块（像素）施加微小扰动 \begin{aligned} \phi_i^{IG}(f,\pmb{x},\pmb{x}') &= \sum_{k=0}^{m}\frac{\partial f(\pmb{x}'+\frac{k}{n}(\pmb{x}-\pmb{x}'))}{\partial x_i}\triangle x_i \\ &= \sum_{k=0}^{m}\frac{\partial f(\pmb{x}'+\frac{k}{n}(\pmb{x}-\pmb{x}'))}{\partial x_i}\frac{1}{n}(x_i-x_i')\\ \end{aligned} ϕ i I G ​ ( f , x , x ′ ) ​ = k = 0 ∑ m ​ ∂ x i ​ ∂ f ( x ′ + n k ​ ( x − x ′ )) ​ △ x i ​ = k = 0 ∑ m ​ ∂ x i ​ ∂ f ( x ′ + n k ​ ( x − x ′ )) ​ n 1 ​ ( x i ​ − x i ′ ​ ) ​ 再取个极限 \begin{aligned} \phi_i^{IG}(f,\pmb{x},\pmb{x}') &= \int_0^1\frac{\delta f(\pmb{x}'+\alpha(\pmb{x}-\pmb{x}'))}{\delta x_i}d\alpha(x_i-x_i') \\ &= (x_i-x_i') \int_0^1\frac{\delta f(\pmb{x}'+\alpha(\pmb{x}-\pmb{x}'))}{\delta x_i}d\alpha \end{aligned} ϕ i I G ​ ( f , x , x ′ ) ​ = ∫ 0 1 ​ δ x i ​ δ f ( x ′ + α ( x − x ′ )) ​ d α ( x i ​ − x i ′ ​ ) = ( x i ​ − x i ′ ​ ) ∫ 0 1 ​ δ x i ​ δ f ( x ′ + α ( x − x ′ )) ​ d α ​ 注意， 虽然通常和上面一样选择 f(\pmb{x})-f(\pmb{x}') = \sum_i \phi_i^{IG}(f,\pmb{x},\pmb{x}') =\boldsymbol{\phi}^{IG}(f,\pmb{x},\pmb{x}') f ( x ) − f ( x ′ ) = i ∑ ​ ϕ i I G ​ ( f , x , x ′ ) = ϕ I G ( f , x , x ′ ) 更重要的是，设 \theta_i (f,\pmb{x},\pmb{x}')= \int_0^1\frac{\delta f(\mathbf{x}'+\alpha(\mathbf{x}-\mathbf{x}'))}{\delta x_i}d\alpha θ i ​ ( f , x , x ′ ) = ∫ 0 1 ​ δ x i ​ δ f ( x ′ + α ( x − x ′ )) ​ d α ，有
   f(\pmb{x})-f(\pmb{x}') = \boldsymbol{\phi}^{IG}(f,\pmb{x},\pmb{x}') =\big< (\pmb{x}-\pmb{x}'),\boldsymbol{\theta}(f,\pmb{x},\pmb{x}')\big> f ( x ) − f ( x ′ ) = ϕ I G ( f , x , x ′ ) = ⟨ ( x − x ′ ) , θ ( f , x , x