机器之心专栏

作者：j.t.chen

来自浙大睿医人工智能研究中心的研究者提出了一个全新的概念：心电全景图，并提出了一个能够通过少数几个导联的 ECG 信号输入来生成心电全景图的神经网络模型 Nef-Net。

当前，心电图（ECG）一般仅展示 8-12 导联记录的心电信号（ECG），每条导联的 ECG 信号都是一个金属贴片记录得到的心脏跳动信息，并显示在一个视图上；而这个视图的「观察视角」可以通过金属贴片的位置和心电终端的连接线表达，如下图 (a) 所示。下图 (b) 展示了 6 个导联贴片的位置，心外科医生可以通过 6 个金属贴片接收到这 6 个「视角」的 ECG 信号。但实际上，仅靠这几个有限的导联不能覆盖医生所需的心电信息，例如在进行射频消融手术时，需要精细的心电信号以定位病灶。

论文地址：https://arxiv.org/pdf/2105.06293.pdf

项目地址：https://github.com/WhatAShot/Electrocardio-Panorama

该研究提出的 Nef-Net 经过训练后，只要使用者输入一个或几个已知的 ECG 信号及其对应「视角」，Nef-Net 就能编码出该 ECG 信号对应的心电场的底层特征。然后只需再给定一个想要的心电图视角，Nef-Net 就能将心电场的底层特征转换生成该「视角」下的 ECG 信号（视图），其功能如下图所示。

因此，有了 Nef-Net，使用者仅需获得少数有限「视角」下的 ECG 视图，就能观察到任意「视角」下的 ECG 信号。

Nef-Net 本质上是一个 auto-encoder 模型。它能够从「视角」信息相关的 ECG 视图信号中提取出「视角」无关的底层心电场特征；并把该底层特征用于生成任意「视角」的 ECG 信号。

Nef-Net 的模型结构如下图所示。该研究提出了一个名为 Angular Encoding 的「视角」编码算子，以更好地建模「视角」信息。

该研究还提出了一种称为 Standin Learning 的自监督方法，用于引导模型从 ECG 视图特征中剥离「视角」信息而只留下心电场信息。此外，由于模型能够很好地捕捉到心电场特征，Nef-Net 稍作改动之后，还能用于心电图的从头生成任务。

心电全景图生成可视化

心电全景图理论上有无穷个视图，由于空间限制，研究者展示了 24 个均匀分布在球面上的视图来展示实验效果。心电专家认为这些心电全景图具有较高的可信度。

心电从头生成可视化

如下图所示，该研究的方法的效果显著好于专门的心电从头生成 SOTA 模型 SimGAN：

该研究表示，后续还有许多值得进一步探索的问题：

Nef-Net 模型的输入是归一化之后的 ECG 样本，忽略了 ECG 信号振幅的影响。实际上，ECG 信号的振幅在实际临床中是十分重要的。「如何利用模型对无归一化的 ECG 样本进行处理，同时保持良好的真实性」是未来的一个探索方向。

Nef-Net 本身不是专门用于心电从头生成的模型，但却能生成比专门的心电生成模型（如 SimGAN）更真实的心电信号。「如何将 Nef-Net 的经验用于生成 ECG 的 GAN 和 VAE 模型，以生成更真实的 ECG 样本」也是一个值得探索的问题。

当前 Nef-Net 没有考虑到疾病对心电全景图生成的影响，与疾病相关的 ECG 信号从头生成问题和心电全景图生成问题也值得进一步探究。

感兴趣的读者可以查看论文原文，了解更多研究细节。

WAIC AI开发者论坛：后深度学习的AI时代