Weize XU
浙江大学医学院附属儿童医院心脏中心 国家儿童健康与疾病临床医学研究中心 国家儿童区域医疗中心, 浙江 杭州 310052
Kai YU
浙江大学医学院附属儿童医院心脏中心 国家儿童健康与疾病临床医学研究中心 国家儿童区域医疗中心, 浙江 杭州 310052
Jiajun XU
浙江大学医学院附属儿童医院心脏中心 国家儿童健康与疾病临床医学研究中心 国家儿童区域医疗中心, 浙江 杭州 310052
Jingjing YE
浙江大学医学院附属儿童医院心脏中心 国家儿童健康与疾病临床医学研究中心 国家儿童区域医疗中心, 浙江 杭州 310052
Haomin LI
浙江大学医学院附属儿童医院心脏中心 国家儿童健康与疾病临床医学研究中心 国家儿童区域医疗中心, 浙江 杭州 310052
Qiang SHU
浙江大学医学院附属儿童医院心脏中心 国家儿童健康与疾病临床医学研究中心 国家儿童区域医疗中心, 浙江 杭州 310052
浙江大学医学院附属儿童医院心脏中心 国家儿童健康与疾病临床医学研究中心 国家儿童区域医疗中心, 浙江 杭州 310052
舒强(1965-), 男, 博士, 主任医师, 教授, 博士生导师, 主要从事出生缺陷综合防治研究; E-mail:
nc.ude.ujz@gnaiquhs
;
https://orcid.org/0000-0002-4106-6255
nc.ude.ujz@traeh021
https://orcid.org/0000-0003-0744-7537
第一作者:徐玮泽(1983-), 男, 博士研究生, 副主任医师, 主要从事心血管疾病诊治研究; E-mail:;
。我国每年约有15万先天性心脏病患儿出生,如不经治疗,约1/3的患儿将在6~12月龄时死亡
。近年来,随着先天性心脏病筛查诊治手段不断进步,先天性心脏病患儿已能够在早期得到诊治,从而提高存活率,改善生活质量。
先天性心脏病早期筛查的主要手段是心音听诊和经皮血氧饱和度的双指标检测法。目前,心音听诊广泛采用传统听诊器,但传统听诊器要求医生具有一定的听诊技能与经验、听诊数据不能数字化保存、判断依据不客观,尤其在具有先天性心脏病筛查职能的基层医疗单位,基层医生的听诊技能与经验不足已成为先天性心脏病早期筛查效果的瓶颈。
随着人工智能技术的发展,传统医疗器械的数字化升级换代不断推动着临床医学发展。数字听诊器结合人工智能技术,包括手机端应用程序、电脑端软件及云端服务器,能够实现心肺音采集、听诊数据的数字化存储和浏览,并能通过人工智能算法实现智能听诊。本文综述了数字化心音与人工智能技术结合的相关文献,试图总结近10年来人工智能技术在心脏杂音智能识别领域的发展及应用情况,并对人工智能技术在先天性心脏病筛查领域的应用进行展望。
1 先天性心脏病智能听诊的研究现状
心音是指由心肌收缩、心脏瓣膜关闭和血液撞击心室壁、大动脉壁等引起振动所产生的声音
,可分为第一心音、第二心音、第三心音和第四心音,通过R波峰和T波末端可判断第一心音和第二心音的大致位置(
)
。第一心音由二尖瓣关闭和三尖瓣关闭组成,第二心音由主动脉瓣和肺动脉瓣活动形成,第三心音是紧跟在第二心音后的低频心音,第四心音也是低频心音。一般来说,第一心音和第二心音正常情况下均可听到,第三心音通常仅在儿童及青少年中听到,第四心音正常情况很少听到。心脏杂音是指心音与额外心音(第一心音和第二心音以外的心音)之外,在心脏收缩或舒张时血液在心脏或血管内产生湍流所致的室壁、瓣膜或血管振动所产生的异常声音
。通常,基于第一心音和第二心音的分割识别并针对性地提取心音特征,然后利用机器学习分类器即可实现心音信号的智能分类诊断。但心音信号采集过程中普遍存在多种噪声干扰,特别是婴幼儿哭闹声等,对分割和分类算法造成挑战,最终影响算法的识别准确率。
1.1 心音智能听诊技术的关键环节
心音智能听诊流程主要包括信号采集、信号预处理、心音特征提取和模型训练(
)。心音信号采集主要通过电子听诊器实现,通过传感器将声音模拟信号转化为数字信号,用于后续的人工智能算法分析。心音信号的预处理主要包含心音去噪和定位分割,其中针对电子听诊器在临床心音采集过程中受到的环境噪音、受试者说话和哭闹干扰等噪声,目前研究人员提出了一系列去噪算法。采用带通滤波器实现信号滤波是常见且有效的去除高低频率噪声的方式
,带通滤波器实现滤波去噪的关键在于高低截止频率的选择。小波去噪是另外一种广泛使用的去噪方式,通过选择特定的小波和小波分解层数将原始心音信号分解为多层,并采用阈值和加权特定层重建分解信号,最终实现去噪
。小波去噪的关键在于选择合适的小波分解层数和重建层,不恰当的分解层数将不利于保留有效心音信号,从而影响后续的人工智能诊断分析算法。心音信号去噪后,进一步通过心音定位分割识别区分第一心音和第二心音,并基于第一心音和第二心音提出多种有效特征,从而实现准确的心音分类。由于在第一心音和第二心音的不同阶段含有区分先天性心脏病的重要特征,因此现阶段已有算法主要基于分割第一心音和第二心音并提取有效特征来实现分类器的训练。例如,陈洁等
提出基于包络的第一、第二心音识别方法,通过改进型希尔伯特-黄变换获取心音包络,再通过双门限法对心音信号进行分割,实现第一心音和第二心音的自动识别;房玉等
提出一种特征矩波形的分析方法分割并提取出心脏收缩杂音期和舒张杂音期信号;Springer等
使用隐半马尔科夫模型(logistic regression hidden semi-Markov model,LRHSMM)在含噪音的心音中准确分割了第一心音和第二心音;侯雷静等
提出了一种面向心音分割的个性化高斯混合建模方法,通过主成分分析提取心动周期信号,并通过无监督学习构建个性化的统计模型,实现窗内每一心动周期的分割,该算法的平均分割准确率比主流的LRHSMM算法提高3%;Fernando等
提出了一种基于注意力的双向长短期记忆网络的心音分割方法,证明了循环神经网络结合注意力机制可以从不规则和嘈杂的心音中有效地学习特征。
随着人工智能技术的飞速发展,人工智能在医学领域发挥了越来越大的作用,特别是机器学习算法在先天性心脏病智能听诊领域研究及应用广泛。根据机器学习算法的原理与实现,先天性心脏病智能听诊技术可分为基于传统机器学习的先天性心脏病智能听诊技术和基于深度学习的先天性心脏病智能听诊技术。其中,传统机器学习主要是指通过人工设计并提取心音有效特征,采用支持向量机、随机森林等分类器实现分类;深度学习主要是指针对心音信号的波形图或提取的时频图等特征,采用神经网络自动抽取更加抽象高级的特征并实现分类。
1.2 基于传统机器学习的智能听诊技术
传统机器学习的智能听诊算法是基于人工设计并提取心音的有效特征,通过训练传统机器学习分类器实现心音的分类识别。其中梅尔频率倒谱系数(mel-frequency cepstral coefficients,MFCC)是一种在语音识别领域广泛使用的特征,在心音智能识别领域也应用广泛。Aziz等
提出针对心音信号提取MFCC特征并结合一维局部三元模式(one-dimensional local ternary patterns,1D-LTP)特征实现先天性心脏病分类,在训练阶段采用支持向量机分类器,最终实现了房间隔缺损、室间隔缺损和正常心音的三分类,平均准确率高达95.24%。Ghosh等
提出采用线调频小波变化方法在时频域提取心音的局部能量和熵特征,并最终采用稀疏表达分类器形成多类组合分类器实现四分类(二尖瓣反流、二尖瓣狭窄、主动脉瓣狭窄和正常心音),平均准确率高达98.33%。Son等
提出采用MFCC特征结合离散小波变换(discrete wavelets transform,DWT)特征实现心音分类,并将支持向量机、基于质心位移的K邻近算法和深度神经网络算法进行比较,结果显示采用支持向量机分类器实现了最优分类性能,平均准确率高达97.9%。Zhu等
采用反向传播神经网络作为分类器将MFCC特征和线性预测倒谱系数(linear predictive cepstral coefficients,LPCC)特征在先天性心脏病分类识别中的作用进行对比,结果表明MFCC特征优于LPCC特征,然而研究者并未验证分类器对结果的影响。采用多种分类器进行实验对比将更具说服力。Patidar等
针对心音中的间隔缺损类数据,提出了一种基于可调品质因子小波变换(tunable-Q wavelet transform,TQWT)的特征提取方法,利用最小二乘支持向量机进行分类,并评估了品质因子从1到50的TQWT特征对分类性能的影响,当Q=6时分类精度明显提高,其敏感度为98.80%,特异度为99.29%。以上传统机器学习算法依赖手工设计的心音有效特征,一旦特征选择不理想将导致算法性能不佳,因此特征的选择至关重要。但是,针对各种环境下不同病理的心音,设计并筛选统一有效的特征异常困难,这使得基于传统机器学习的算法难以进一步优化。
1.3 基于深度学习的智能听诊技术
深度学习智能听诊算法采用人工提取的特征结合自动学习提取的特征训练神经网络分类模型,最终实现心音的准确分类。Oh等
针对手工设计特征的局限性提出利用神经网络自动学习并提取有用特征,实现心音信号的分类(正常、主动脉瓣狭窄、二尖瓣脱垂、二尖瓣狭窄和二尖瓣反流),分类准确率达97%。谭朝文等
提出采用梅尔对数频率系数(log mel-frequency spectral coefficients,MFSC)代替MFCC特征,并同时采用一阶差分和二阶差分增强特征的时域连续性,组成三通道特征用于神经网络训练,通过设计的卷积神经网络提取输入样本中有效高级特征最终实现心音信号的二分类,平均准确率达89.5%,优于基于MFCC特征分类算法的准确率。Deng等
采用MFCC特征结合一阶和二阶差分特征作为网络输入实现心音分类,并对比了不同的网络模型,结果表明卷积循环神经网络具有最优分类准确率(98.34%)。在针对不同深度学习网络结构对心音分类影响的研究中,谭朝文等
对比了卷积神经网络、循环神经网络和长短期记忆网络,结果表明基于卷积神经网络的分类算法获得最优性能。Nilanon等
提出,采用卷积神经网络结合MFCC特征和心音信号的光谱图特征实现心音分类,并在分类过程中采用多段音频分类投票的策略,提升了分类准确率,同时对比了支持向量机、随机森林和逻辑回归算法的分类性能,结果显示卷积神经网络分类算法性能最佳。常见的心音分类算法均依赖于预处理阶段实现去噪和心音定位分割,而Sujadevi等
提出采用直接输入音频信号实现分类的方案,并采用循环神经网络、长短期记忆网络和门控循环单元网络作为分类器进行算法对比和验证,结果显示基于长短期记忆网络的分类器分类性能最佳。该方法不依赖预处理步骤,仅利用神经网络自动学习提取原始音频信号中的有用特征并实现准确分类,在算法的实现上较为简单。
现阶段,智能听诊技术主要侧重于人工智能算法的研究,国内外学者也针对心音音频数据的特点设计总结了多种有效算法,其中MFCC是最常用且有效的心音特征,被广泛应用于智能听诊技术中。然而,当前心音智能听诊技术均为基于筛选的特定数据集实现,尚未在临床环境中基于大样本进行实验验证,因此各个算法的临床应用表现尚待进一步验证,尤其是针对各种未知噪声及干扰,当前的人工智能技术是否具有较强的鲁棒性(robust)还有待验证。
2 先天性心脏病智能听诊的应用现状
随着信号处理技术及工业技术的不断完善,现阶段市面上存在多款电子听诊设备及系统,主要有美国3M公司推出的Littmann 3200电子听诊器、美国eMurmur公司推出的eMurmur ID智能系统、澳大利亚CliniCloud公司推出的智能听诊器、美国Thinklabs医疗公司推出的The One智能听诊器和上海拓萧智能科技有限公司推出的云听G200智能听诊器。五款电子听诊设备(系统)的功能和优缺点见
。
表1
五款主要电子听诊器的功能及优缺点一览
Table 1
An introduction to the function, advantages and disadvantages of electronic stethoscope equipment and systems
Littmann 3200电子听诊器
具备环境消噪技术和蓝牙技术; 具备听诊助手客户端软件; 具备多种听诊模式,能实现全速或半速听诊
心音质量高; 浏览查看方便
无人工智能算法
eMurmur ID智能系统
具备美国食品药品监督管理局认证的人工智能心脏杂音分类算法; 集算法、手机应用程序、门户网站为一体
能够实现心音智能听诊; 浏览操作简单; 支持跨平台操作
无自主研发硬件设备, 依赖第三方电子听诊器
CliniCloud智能听诊器
具备红外线和蓝牙技术; 具备苹果iOS和安卓客户端应用程序; 集成医生点播服务; 具备数字健康工具包,实现健康跟踪和心音回溯
适合家庭使用; 操作简单; 数据管理方便; 有利于医生回溯患者数据
无人工智能算法, 医生远程听诊实时性不确定
The One智能听诊器
超100倍声音放大功能; 具备Thinklink移动套件,实现听诊器与手机、电脑及其他设备连接; 具备移动端应用程序
音质好; 工业设计优; 在医生交流、教育、培训等方面体验友好
无人工智能算法
云听G200智能听诊器
具备蓝牙传输技术; 具备手机、电脑客户端软件; 能够根据需求定制接口; 提供人工智能听诊功能
能够实现智能听诊; 数据传输浏览方便; 售价便宜
软件生态系统欠完善
上述智能听诊设备除美国eMurmur ID智能系统没有自主硬件设备外,其他均采用自主设计的电子听诊器采集心音信号,同时通过有线和无线技术实现信号传输,并通过人工智能算法或专业医生听诊给出最终听诊结果。其中,只有eMurmur ID智能系统和云听G200智能听诊器提供了人工智能听诊算法,满足了筛查应用场景下对自动化、智能化听诊的需求,但其在实际应用中人工智能算法的误诊率和漏诊率有待进一步验证。其余几款电子听诊设备均不提供人工智能算法,而是借助网络传输心音由远程医生听诊并给出诊断结果,因此在诊断的实时性和可靠性方面存在不确定性,并且不适用于大规模筛查。同时,上述电子听诊设备(系统)均不同程度适配了软件系统,能够实现数字心音的浏览、管理等,但是软件生态系统建设并不完善,在基于软件的交流、教育、会诊等多个方面的用户体验尚待优化。因此,现阶段心音智能听诊的筛查应用中,听诊设备应当结合人工智能算法,实现自动、快速、准确的智能听诊,同时开发相应的软件和应用程序,实现心音数据的存储、查看、传输和交流教育等,从多个方面发挥数字化和智能化的作用。