可解释性机器学习task01-预备知识_making a bird ai expert work for you and me

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

聪明的手电筒 · pyspark案例系列9-好友推荐实战 - 简书· 1 年前 ·

风流倜傥的单杠 · 山东将新增一所“国字号”大学？渤海科技、央美 ...· 1 年前 ·

果断的火腿肠 · 怎样设计程序从 ...· 1 年前 ·

玉树临风的茶壶 · Inno Setup 介绍 - ...· 1 年前 ·

可解释性机器学习task01-预备知识
什么是可解释人工智能?
- 现代机器学习是统计机器学习尤其是深度学习,使用数据拟合数据分布和决策边间,有着高维非凸,决策时是一个黑箱
- 一些灵魂之问
  - AI的脑回路是怎样的? Al如何做出决策?是否符合人类的直觉和常识?
  - AI会重点关注哪些特征，这些特征是不是真的有用?
  - 如何衡量不同特征对Al预测结果的不同贡献?
  - AI什么时候work，什么时候不work ?
  - AI有没有过拟合?泛化能力如何?
  - 会不会被黑客误导，让AI指鹿为马?
    - 对抗样本
  - 如果样本的某个特征变大，会对Al预测结果产生什么影响?
  - 如果Al误判，为什么会犯错?如何能不犯错?
  - 两个Al预测结果不同，该信哪一个?
  - 能让Al把学到的特征教给人类吗?
- AI在AIGC领域任然会存在着一些问题
  - 说明其并没有正真学到这部分的知识
  - 一个黑箱,容易犯错
- 在一些关键邻域比如自动驾驶领域,如何让人类相信黑箱算法
- 可解释学习就是打开黑箱学习的研究
为什么要学

 同济子豪兄选题建议
- 可解释性学习可以和AI的各个方向进行交叉
  - data mining,NLP,RL,KG,联邦学习
  - CV
    - 比如目标检测的识别依据
  - NLP
    - 文本分类的决策单词/字
  - 推荐系统
    - 推荐的背后依据
- 通用的研究方法
- 具体的task的结合
  - 大模型、弱监督、缺陷异常检测、细粒度分类、决策
    AI和强化学习、图神经网络、 Al纠偏 、Al4Science、 Machine
    Teaching、对抗样本、可信计算、联邦学习。
- 写paper可以结合某个可解释的算法分析细分领域的任务
  - [ 基于声成像与卷积神经网络的轴承故障诊断方法及其可解释性研究](https://kns.cnki.net/kns8/Detail?sfield=fn&QueryID=10&CurRec=4&DbCode= CJFD&dbname=CJFDLAST2022&filename=ZDCJ202216029&urlid=&yx=)
  - [雷达图像深度学习模型的可解释性研究与探索](https://kns.cnki.net/kns8/Detail?sfield=fn&QueryID=10&CurRec=7&DbCode= CAPJ&dbname=CAPJLAST&filename=PZKX20220613003&urlid=11.5846.TP.20220613.0913.008&yx=Y)
可解释性的一些交叉研究方向

 Machine Teaching
- eg. Making a Bird AI Expert Work for You and Me
  - 通过AI教会人类判别鸟类
  - human-centered-ai
- eg. 神经网络教人类预测工艺参数
细粒度图像分类
- 医疗图像分类给出决策的热力图
  - kaggle:SIIM-ACR Pneumothorax Segmentation
  - bg:辅助医疗,教学
- 工业的缺陷检测
  - 工业界的高质量标注的较少
  - 通过只训练一个分类模型能够由可解释性定位出缺陷位置(检测/分割)
- 生物信息
  - 蛋白质
  - 基因研究
- 物体分类
- 建筑
AI安全/对抗样本

 前沿AI方向
- chatGPT
  - 完全黑箱,适合做可解释分析
- AIGC
  - stable diffusion等画图
- 大模型
- 蛋白质
  - alphaFold
本身具有可解释性的学习
- 输入特征可以理解,权重直观反映了那个特征的决策重要性
线性回归
决策树
- 用if else决策
朴素贝叶斯

一些可解释性分析方法

算法自带的可视化

决策树

算法自带的特征权重
- 随机森林
- lgb
Permutation Importance置换重要度
- 将某一列特征随机打乱,如果对模型性影响较大则说明重要性大
- sklearn demo
PDP图、ICE图
- sklearn demo
Shapley值
- 库官方github
- 可以用来解释树模型
- 深度学习模型
- 与模型无关(Model agnostic)的解释
- paper
Lime
- paper
- 在预测的周围局部建立可解释模型,同时展示有代表性的样本,将任务建模成一个子模块的优化任务

可解释性与模型性能

传统机器学习算法普遍可解释性好,但是预测效果稍差

神经网络的预测效果最好,但是可解释性最弱

性能和可解释性如何trade off 1 , 2

可解释算法分类

深度学习的可解释性分析

神经网络由一层层layer组成,层次越高对应的高维特征也就越抽象,人类难以直接理解

所以需要相关的可解释性算法

eg.手写数组识别的特征图
- playground

CNN的可解释性分析

可视化卷积核/特征图
- CS231N可视化
ZF Net
- 介绍了一种新的可视化技术，可以深入了解中间特征层的功能和分类器的操作
- 通过 遮挡、缩放、平移、旋转 的间接方法对预测的影响来理解CNN
- 利用 反卷积 找到使得某个神经元激活的pixel或小图
RCNN
- 从神经元激活找原始小图
- 原文figure3,实验3.1
- 作者从第五层pooling的神经元进行了可视化,白框是感受野以及激活值
- 可以看到,有一些神经元捕捉到了特定的概念,比如第一行的人,第四行的字
有些神经元捕捉纹理和材质
基于CAM的可视化
- 一大类算法,有各种基于原始CAM 的改进算法
- 构建了一个通用的可定位的深度表示，可以应用于各种任务
- torch-cam
- CAM对图像分割可视化的例子
- 错误预测的解释
- 探究模型是不是有偏见
  - (b)是带有偏见的模型,根据头发判断是护士,会把头发(性别)当做判断护士的特征,有悖伦理
语义降维可视化
- 通过对高维样本特征降维到低维进行可视化,该分布和语义相关
- eg.word2vec的词向量表示,降维后发现含义相近的在空间中分布靠近
  - cs224N
  - 降维算法
    - PCA
    - TSNE
    - UMAP
生成满足需求的图像
- 通过优化样本使得的图像满足一定的需求,比如某个神经元激活最大或者某个类别预测最大
- 应用场景:对抗样本攻击
  - FGSM etc.
  - 通过不断迭代样本,同时施加约束(最小扰动),使得模型误判

总结与扩展阅读

张子豪codebase

pytorch-cnn-visualizations

pytorch-grad-cam

torch-cam

Reference

本文主要演示了对shap、LIME两个工具包的使用 shap是一种解释任何 机器学习 模型输出的博弈论方法，它利用博弈论中的经典Shapley值及其相关扩展将最优信贷分配与局部解释联系起来。 LIME帮助解释学习模型正在学习什么以及为什么他们以某种方式预测。目前支持对表格的数据，文本分类器和图像分类器的解释。

白毛偷二: 这个镜像会修改挂载文件的owner，导致文件权限混乱。[https://github.com/BytemarkHosting/docker-webdav/issues/24](https://github.com/BytemarkHosting/docker-webdav/issues/24) 添加PID/UID后也没生效。大佬是怎么解决的？