目前在研国家自然科学基金面上项目一项，国家自然科学基金重点项目一项，陕西省自然科学基金面上项目一项，企业横向项目3项。
已完成主持国家自然科学基金青年科学基金项目一项，陕西省自然科学基金一项，中国博士后科学基金一项，高校基本业务费二项。参与完成了国家“863”计划项目、“十一五”*科研项目*，国家*科研项目*子项、高等学校科技创新工程重大项目培育资金、陕西省“13115”重大科技专项等多项国家科研任务等。

主要研究内容如下:

1、运动信息重建、增强和意图识别方面

建立一种运动神经肌电信号、语音信号与视觉信号多参量耦合及其相互作用的模型，设计一种肌群结构识别的多层神经网络结构，通过基于语音识别与视觉分析的多模态生活场景理解多源运动神经信息的融合及运动意图推测与识别方法，研究多源运动神经信息的融合方法，实现肢体动作意图的实时精准识别。

(1) 基于无监督学习深度置信网络的高级信息融合集成方法

结构化信息是可以数字化的数据信息，将来自多传感器的多源数据进行数字化的结构表示，可以方便地通过计算机和数据库技术进行管理以及后续的使用。分别建立上肢康复运动肌肉电生理的多源测量参数，和下肢康复运动肌肉电生理多源参数指标。利用获取到的多源监测数据作为输入建立深度置信网络，提取具有较强表示能力的抽象特征并映射为相应的运动状态模型估计概率值，不需要对输入数据再进行人为的分层和筛选；训练好的模型具有记忆能力，对于一部分输入数据的缺失，网络可以补足该部分缺失的数据，得到准确的四肢动作特征要素的估计。对于多源运动信息为了能更好的融合与匹配，需要构建三个相应的知识库和一个运动神经肌肉图谱，以实现跨多态配准和高级信息融合。

(2) 肌群结构识别的多层神经网络结构设计

对融合后的多传感器数据进行分类来获得肌电信号的集合（动作肌群），根据已标注的一些健康人肌电信号，采用多层神经网络方法构建动作和肌群动作库进行算法模型训练，然后将获得的新的患者128个通道所有肌电信号进行测试分类，肌群与理论上的集合进行匹配，得到最终的肌群结构。

   (3) 基于语音识别与视觉分析的多模态生活场景理解 

针对患者的肌电信号微弱难以准确估计运动意图的问题，考虑康复训练过程中治疗师要求患者在规定的时间需要完成规定的动作实际需求，根据视觉图像和语音识别进行运动意图推理是困难的。为了达到目标，患者需要发出语音指令，然后机器人根据要求进行康复动作加力到局部视觉场景中，这时需要对康复训练的场景进行理解，包括动作执行的目标位置在哪里、距离患者的方向和角度，加上一般患者很难将动作一步执行到位，因此还要将这些用语音序列表示的指令匹配成全局时间空间中的视觉轨迹。本项目主要采用深度视觉处理中的三维重建和三维目标检测等方法实现局部场景理解。综合语音识别的结果与动作状态理解这一动作是否属于某一动作序列，我们对不同的动作序列训练不同的分类器。通过语音识别结果调用相应的分类器来完成对当前动作的判别，根据视觉检测效果判断其是否属于目标动作序列。

(4) 基于强化学习和跨模态递归神经网络的运动意图推测与识别 

在场景理解中提供了一些生活场景、规定行为的要求，利用语音、视觉和跨模态递归神经网络学习算法可以确定感兴趣区域、检测动作执行的目标物体以及动作执行的程度，但是人机反馈是相当粗糙的，因为“成功”反馈仅在机器人到达目标位置时提供，而完全忽视该智能体是遵照了指令中的路径还是采用了一条随机路径到达目标。不适定的反馈有可能会偏离最优策略学习。为此本项目提出结合强化学习在局部和全局增强跨模态基础匹配后，设计一种推理方法，可在局部视觉场景与文本指令中学习跨模态匹配，可以利用动作知识库为机器人配备匹配度评估器，根据由路径重建原始指令的概率来评估所执行的路径——循环重建奖励，它可鼓励机器人更好地理解语言输入以及惩罚与指令不匹配的轨迹。强化学习使用来自匹配度评估器的内部奖励和来自环境的外部奖励进行训练，推理方法可以学习将语音指令映射到局部空间视觉场景和全局时间视觉轨迹上，从而实现患者运动意图的准确识别。

2、MRI引导自适应放疗中腹部图象增强与自动分割

针对放疗系统中低场强磁共振成像系统难以得到高峰值信噪比的清晰图像问题，构建一种基于深度迁移学习的低场磁共振腹部肿瘤图像增强模型，以提高软组织和其他器官的图像对比度，从而清晰显示肿瘤和周边软组织；利用多层异构深度迁移学习优化方法进行MRI图像准确分割，实现实时跟踪运动肿瘤从而控制放射治疗，使得周边正常软组织的损伤减到最少。利用先进的计算智能方法增强图像质量，结合深度学习图像分割方法从死亡肿瘤中区分出具有活力的肿瘤组织，使得治疗范围更加准确以进一步降低暴露的正常组织；通过本项目的研究期望能对自适应精确放疗领域的磁共振腹部图像质量增强与目标精准分割提供有价值的理论指导和临床应用。通过描绘MRI图像中腹部肿瘤和周边组织轮廓，实现肿瘤区域自动增强与分割。研究目标包括：（1）建立一种深度迁移学习框架下低场强MRI图像增强模型，清晰显示腹部肿瘤和周边软组织；（2）针对低场强MRI图像的场偏估计和组织异质问题，构造一种MRI腹部肿瘤图像的深度异构迁移学习分割方法。

3、人体精细动作分类及评估算法研究

人体动作是人类最主要的生物特征之一，让传感器和计算机学会像人类一样感知和理解人体动作具有重要意义。基于视觉数据的人体动作精细分类及评估以其非接触、低成本等优势，广泛地应用于智能安防、人机交互和康复医疗等领域。基于视觉数据的人体动作精细分类及评估指的是利用计算机视觉技术对视频中发生的人类动作进行动作类别预测、时间上的精细分类和动作质量评分，主要包括动作分类、动作检测和动作评估三大模块。因此，从以上三方面入手，首先提出了可解释的动作分类算法，用于对视频中发生的人类动作进行类别预测。考虑到实际场景下获取的视频通常为未剪切的长视频，进一步提出了渐进式动作检测算法对未剪切长视频中的人类动作进行时间上的精细定位。然后，提出了精细动作评估算法用于对已知类别和精确定位得到的人体动作进行定量评估。最后设计了康复医疗场景下的数字化视觉动作追踪系统，应用提出的动作精细分类及评估算法实现相关疾病的辅助诊断和机制探索。

4、智能穿刺精准治疗中的平扫CT图像中肿瘤增强

平扫CT图像对比度低问题：提升CT图像中组织之间对比一直是勾画肿瘤和风险器官轮廓首先需要解决的问题之一，本项目的研究目标是实现平扫CT图像中肿瘤的显著性增强，进而改善介入治疗及评估中手动勾画肿瘤轮廓的准确性和稳定性；2）平扫CT图像成像参数不一致问题：不同医院在平扫CT扫描室设置的扫描电压、扫描电流、层厚和分辨率差异较大，为解决提出的平扫CT图像肿瘤显著性增强算法在跨机构的数据上具有较强的鲁棒性，本项目拟构建平扫CT图像与增强的PCCT图像之直接的映射关系，来替代当前流行的图像下采样或者基于图像特征重建的做法。3）主观差异影响手动分割准确度问题：执行介入治疗及评估的医师经验差异较大，因此在勾画肿瘤轮廓时易受到主观经验的影响，勾画的结果稳定性较差。本项目拟构建肿瘤自动分割网络，在增强后的PCCT图像上执行肿瘤自动分割，降低手动分割时主观差异带来的风险，以达到提升肿瘤分割精度的目的。

5、构建一种多时相全维度数据学习的智能诊疗与预后疗效评估模型

随着数据改变医疗情况的不断出现，多学科交叉促进精准医疗的快速发展，尽管已经开展了一些医学影像智能解译方面的工作，但远不能满足医疗大数据结合人工智能实现智能诊疗的发展要求。现在医疗数据智能分析大多数都是基于数据驱动的模型做决定，没有正确地评估这个模型是否预测出正确的结果，即黒盒学习。针对医疗数据临床实际的需要，通过在可解释机器学习上进行研究，构建一种基于多时相全维度数据学习的智能诊疗与预后疗效评估模型，通过获取影像、电子病历、血液检验和临床记录全维度数据感知，利用不同时相获取动态的人体器官的动态变化信息，利用人工智能建立相关疾病发病机理的多参量耦合作用机制，提出一种可解释深度网络学习模型，可望找出病变的演化规律以及从临床层面反演出疾病发展与人体器官损伤程度的关系。

 一、遥感图像处理

1. 黄河三角洲数据集分类

提出了一种基于自步栈式自编码网络（SPSAE）的全极化SAR分类方法。栈式自编码网络不仅可以对极化SAR原始数据进行学习和表示，挖掘出原始数据中表征能力更好的抽象特征，还具有易于训练的优点。而自步学习可以帮助网络跳过局部最优解收敛到更好的解，增强网络的泛化能力。黄河三角洲数据集获取于2015年5月，整幅图像大小为23210*7496，像素间距为3.125米。主要包含了海洋、河流、种植地、草地等14种地物目标。为了方便数据的仿真、减少计算量，我们从该区域中截取出了一个2000*5000大小的子图，该数据集包含的目标地物具有十分相似的散射特性，分类结果和分类正确率如图1所示。在该结果图中池塘、碱性土壤、沿海滩涂和河流都被分成了同一类。SVM虽然在池塘、碱性土壤和沿海滩涂这三类地物上有不错的结果，但是对于其它的类别特别是河流误分比较严重。由于河流与湿地、碱性土壤的散射特性比较相似，所以这几个方法在河流地物上的分类精度都比较低。我们提出的深度网络则在池塘、沿海滩涂和种植地三类地物上取得较好的结果，如图1(f)中红色区域所示。

2. 异源图像模板匹配

提出了一种基于级联网络的多模态图像逐步匹配方法，旨在给定的可见光搜索图中定位SAR图像模板的精确位置。与同源图像的匹配相比，异源图像的匹配难度更高，在辅助制导技术上有重要的应用价值。现有工作往往通过在搜素图上滑窗的方法逐像素判断模板图与子图像之间的匹配性，导致在大幅图像上匹配时间长，结果精度不高。本工作提出了基于级联网络的分步方法来实现SAR与可见光图像的匹配。亮点在于：第一，提出了由粗到精的分步匹配策略，先通过粗粒度网络确定可能的初始匹配位置，再通过细粒度网络在初始位置的邻域内进行精确查找；第二，在粗粒度匹配网络训练中计算热图的损失时，提出加入二分类的抑制网络来判断得到的热图的优劣，从而对损失进行加权，避免求均值的操作减弱不良热图多峰值处的误差对于整个损失的影响；第三，提出了使用相似负样本构造的三元组策略对细粒度网络进行训练，最终获得匹配结果。实验结果在数据集OS Dataset上达到了先进水准。下图是本文算法的整体框架。本项工作已经被多媒体领域顶级国际会议ACM Multimedia Conference 2021（ACM MM）录用，论文题目为《A Stepwise Matching Method for Multi-modal Image based on Cascaded Network》。

3. 高分辨率SAR图像舰船分割

合成孔径雷达（SAR）图像中的船舶检测在军事和海防领域具有重要意义。大多数船舶检测方法是基于物体检测框架设计的，只能提供覆盖船舶目标的边界框的顶点坐标，而不能提供更详细的轮廓信息。目标分割可以进一步探索物体的形状和边缘信息，可作为一种新颖的自动物体检测手段。本项工作提出了一种具有全局注意力模块的三维空洞卷积编解码神经网络（GAM-EDNet）来实现SAR图像中的船舶分割。开发了具有空洞卷积的编码器-解码器结构作为网络主体，以充分利用各种尺寸的船舶目标的结构信息。为了增强单极化SAR图像的结构信息，设计了一个3D图像立方体作为GAM-EDNet的输入。提出了一个全局注意力模块，通过将高级语义特征与低级位置特征相结合来进一步提高分割性能。此外，构建了一个SAR船舶分割数据集（SAR-HR4）来评估分割性能，实验结果如下图所示，红线代表我们的方法和其他四种比较算法的分割结果，黄色箭头代表分割错误的地方。可以看出，与其他方法相比，我们的方法取得了更好的分割结果。本项工作已经被遥感领域国际权威期刊IEEE Geoscience and Remote Sensing Letters录用，论文题目为《Ship Segmentation via Encoder-Decoder Network with Global Attention in High-Resolution SAR Images》

二、智能医疗

      1. 多器官风险分割技术

首次突破低对比度下靶区勾画瓶颈，解决了CBCT低质量科学问题，达到国际先进的水平，克服了肿瘤边缘信息难以区分的临床问题，应用在自动化放疗系统，提高靶区勾画速度6-10倍。

       2. 老化影像表征理论

首次突破衰老影像学标记瓶颈，拟解决器官究竟有多老科学问题，达到国际领先的水平，应用于颌面骨、腰椎、膝关节等部位老化量化分析与动态表征等。

       3. 生电信号智能感知技术

首次突破无扰长时间心电监护瓶颈，解决了实时、精准测量科学问题，达到国际先进水平，应用于心血管疾病早期预警和辅助诊断。

        4. 跨模态医学影像理解

首次突破跨解剖结构实现多病变检测识别瓶颈，解决了多器官肿瘤转移容易漏诊科学问题，达到国际的水平，应用于头颈、胸部和腹部等多病变筛查。AI视频平台能够实时处理外科手术视频，识别和捕捉其中的动作，生成跟操作相关的描述和建议，帮助医生提升手术效果。Theator 利用计算机视觉来扫描视频片段并识别关键时刻，以便用元标记对其进行注释。

5. 基于大形变的先天性心脏病的CT-TEE图像配准

为了克服食道超声（TEE）图像在手术导航中的局限性，与广东省人民医院的心血管病研究所将术前CT图像与术中TEE图像进行了精确配准。通过CycleGAN网络作为中间媒介缩小配准图像间的差异性，避免了真实CT-TEE之间的大尺度灰度、尺寸和形状差异带来的配准误差，配准性能得到了明显提升，授权中国发明专利2项发表SCI论文3篇。

6. 基于核机器学习的医学影像辅助诊断

胃部CT图像辅助诊断和N分期预测系统应用于北京肿瘤医院的放射科，系统能够快速辅助医生进行胃部淋巴结检测和N分期预测，减轻了医生的工作负担。成果已授权国家发明专利三项，发表国际会议论文。并分别开发了一套乳腺医学影像诊断和胃部CT图像辅助诊断和N分期预测系统，该系统将多幅影像诊断和单幅影像诊断结合，在多幅诊断结果显示后，对选取的单幅影像完成诊断,也可针对局部钙化点区域完成诊断。

7. 基于稀疏低秩与视觉注意的MVCT图像增强

使用块匹配三维滤波器对低质量MVCT和4D MRI图像进行去噪，基于信息熵的视觉注意对软组织进行纹理增强，使得低对比度的MVCT图像和伪影噪声严重的MRI图像的质量得到明显改善。此部分成果已发表在International Journal of Radiation Oncology, Biology 和Physics，Medical Physics上；提出一种基于低秩分解的CT序列图像复原方法，复原后的图像对比度高，边缘锐化，视觉效果有了很大的提升。此成果已发表在 Medical Physics、IEEE JSTAR 和IET image processing上，授权国家发明专利三项。

8. 基于稀疏表示与迁移学习的肿瘤检测与分割

利用免疫协同优化聚类算法对头部MRI图像和视网膜图像进行分割，取得了较好的分割效果；此部分成果发表在Neurocomputing上；提出了一种基于字典学习的胰腺动态MRI自动分割方法，分割速度加快，同时提高了分割的准确性。此成果已分别发表在British Journals of Radiology上，授权国家发明专利六项和软件著作权三项。

9. 实时非侵入心冲击描记术在心跳监控领域的研究

提出“实时非侵入心冲击描记术（BCG）的深度学习方法，在非侵入重症监护，儿童和老年人监护等领域取得重要应用。可以显著减少病人体内植入相关医疗器械的痛苦，并且能早期预警与分析心脏病的发病。成果已在密苏里大学医学中心，Tiger Place老年护理院进行长期测试与应用推广。目前已成功应用于密苏里大学医学中心重症监护室患者20人，Tiger Place老年护理院150多人，有效的减少了心血管突发疾病的死亡率。

三、智能信号处理

1. 异常检测与大数据挖掘

在工业4.0和智能制造的浪潮中，深度学习技术不仅已成为推动工业数据挖掘和智能故障诊断的关键力量，更是引领了一场关于工业自动化和运营效率的革命。团队致力于实现对复杂工业系统中机械故障的早期识别和精确诊断。研究如何有效整合多模态数据，包括传感器数据、图像、声音和时间序列，以提高故障诊断的准确性。通过实时分析工业设备的运行状态，开发了预测模型，以预测潜在的故障和维护需求，从而减少停机时间并提高生产效率。此外，还探索了将这些模型部署到边缘设备，实现实时和本地化的数据处理，进一步提升工业系统的响应速度和智能化程度。通过不断创新和优化，我们的研究目标是为智能制造提供更加可靠和高效的解决方案，推动工业自动化向更高水平迈进。以泵和管道空化噪声识别完成管道渗漏检测和ICU恶性事件预测为例。