学术信息网 西电导航 关于 使用说明 搜索 系统首页 登录 控制面板 收藏 侯彪的留言板
科研成果

一、  图像建模、表示与学习

1.   多尺度几何分析与图像稀疏表示

         稀疏作为图像信号的先验特性,近年来得到了越来越多的关注和研究,而在众多信号处理的领域,稀疏表示也得到了更多的应用,为图像分析提供了有效的工具。传统方法通常处理的是二维图像,对于图像中的复杂结构,通常维数高,类型多,如何有效的表示这些高维奇异性,则成为目前国际研究的热点和难点问题。虽然传统的数据表示方法,如小波等,能有效表示图像,但存在高维奇异性逼近效率低、难以捕获复杂图像中方向信息等难点问题

    团队在国内较早开展了多尺度几何分析(Multiscale Geometric Analysis)研究,如小波(Wavelet),脊波(Ridgelet),曲线波(Curvelet),梳状波(Brushlet),轮廓波(Contourlet),楔形波(Wedgelet),子束波(Beamlet),条带波(Bandelet),方向波(Directionlet),剪切波(Shearlet)等等,利用函数的非线性逼近理论,在多尺度几何分析图像稀疏表示模型、图像高维奇异性感知与表达问题上取得了突破。针对图像的稀疏建模与表示问题,构造了各向异性的多尺度几何基函数,提出了相应的快速算法,为解决图像方向信息建模与分析提供了有效的理论和方法。针对图像高维奇异性感知与表达问题,提出了图像稀疏表示和特征提取的新方法,突破了复杂图像结构信息检测与提取的瓶颈。

图1  多尺度几何分析的方向基函数

                                                       原图                                                              四视幅度图像                                              非下采样Shearlet变换去噪

图2  Lena图像(四视幅度)乘性相干斑去噪结果

2.   类脑感知、学习与认知

针对信息压缩的采样、表示学习与感知等基础理论,建立了类脑压缩表示学习与深度认知推理的框架;提出了基于半监督学习的联合稀疏恢复算法,实现了机器学习与稀疏优化理论的融合;提出了面向聚类任务的压缩采样学习与模糊稀疏子空间分割联合框架,缓解了高维空间内数据聚类复杂度高且可分性弱的核心瓶颈,从而降低了聚类误差;提出了基于生成式模型的分层结构化图像表示框架,通过对分层的隐变量利用结构稀疏与低秩先验建模,解决了数据域和特征域中类内差异成份与类间相似成份的表征问题,并能实现图像分类性能的显著提升;提出了非线性协同稀疏模型,解决了在合成稀疏模型中隐变量推断复杂度高且隐变量先验函数选择无法自适应于任务的问题,实现了任务驱动的先验正则函数快速判别式学习,并提高了隐变量推断与分类的效率。

图3   Scene-15图像库的分类精度为98.39%,AR人脸数据库的分类精度为99.43%

3.   智能视频分析技术

智能视频分析技术是一种涉及图像处理、模式识别、人工智能等多个领域的智能分析技术。它能够对视频区域内出现的警戒区警戒线闯入、物品遗留或丢失、逆行、人群密度异常等异常情况进行分析,及时发出告警信息,并可根据对实时、历史视频的有效信息,对人、车、物、行为等进行结构化提取,并进行智能分析,实现特定目标的快速定位、查找、检测、识别、跟踪和检索。在工业生产现场、生活社区、安全要求敏感等场合,智能视频分析技术有重要应用价值,对维护国家及公共安全有现实意义。

团队结合视觉感知机理和脑认知机理,针对复杂环境因素造成现有成像设备得到的视频出现严重的失真或模糊现象,研究了视频图像的优化处理如去雾、去噪、去模糊、夜间增强、超分辨重建等技术。针对视频大数据应用中,异常事件监测及预警的自动化、智能化、实时化等需求,研究了基于深度学习的目标检测、目标识别、目标跟踪、姿态检测、人群密度检测等算法,设计实现了具有异常跟踪检测、跌倒检测、奔跑检测、违禁区域闯入检测、打架检测、人群密度预警等功能的智能视频分析系统,极大的减少了安防所需的人力物力,提升了异常事件的处理效率。

图4   视频去雾技术

图5   视频夜间增强技术

图6   视频监控智能分析系统(实现了行人和车辆等的异常行为检测,如奔跑、闯入、跟踪、摔倒等等)

二、  SAR图像理解与解译

1.    SAR图像解译与目标识别

        合成孔径雷达(SAR)技术从过去的单极化、单波段、固定入射角、单模式,已经迅速发展成为高分辨、多极化、多波段、多模式、多平台的成像雷达,同时干涉SAR、超宽带、多卫星群等技术也在不断涌现。这些大量新型SAR数据包含的信息越来越丰富,这些图像数据为目标检测和识别,及各种地面活动的监测提供了直接的手段。如何更为有效、全面的分析和利用这些数据集,实现高效的场景解译,从中发现规律,并寻找感兴趣的目标知识是当前SAR领域研究的关键问题。

        团队利用视觉感知、语义分析、深度学习、类脑智能、压缩感知等,在SAR数据采样与重建、SAR图像地物识别与动态监测、SAR目标检测与识别上取得了突破。针对SAR数据采样与重建问题,构造了基于重采样机制的SAR数据获取方法,建立了基于多变量压缩感知的图像重建方法,为解决非整数Nyquist采样率和随机观测下的SAR数据恢复提供了有效的信号处理理论和方法。针对SAR图像地物识别与动态监测问题,提出了SAR图像特征提取、语义分类与分割的新方法,为发展SAR在水监测、土地利用监测、测绘等的应用提供了技术保障。针对SAR目标检测与识别问题,提出了机场、舰船等目标检测与识别的高效方法,推动了SAR图像解译、目标检测与识别技术的发展。

图7   SAR图像理解与解译系统

图8  SAR图像地物分类与变化检测系统

图9   基于ADSP-TS201的SAR图像并行处理系统

图10   基于深度学习的在轨SAR影像变化检测系统

2.     首次提出了SAR“目标成像”的方法

          现有的SAR成像仅能对整个场景成像,无法直接获得感兴趣“目标成像”的结果。现有雷达体制中采样、成像与解译单纯自底向上的过程无法根据任务、场景、对象与环境自适应进行调整,这种弱自适应能力带来的缺乏应变性不仅将造成雷达系统在实际任务中的信息冗余与资源浪费,而且基于Nyquist高速采样会造成硬件成本提高,信息提取效率降低,不利于后续的目标识别。

        团队针对高分辨SAR目标成像与识别,提出了语义先验学习模型的面向目标的压缩成像框架,突破了奈奎斯特采样的瓶颈,实现了在少量观测视角的低采样回波数据条件下,感兴趣目标增强与背景杂波抑制的“目标成像”方法,相比传统以及压缩感知等主流SAR算法,大幅度地提高了目标杂波比同时缓解了数据获取与高速采样的压力。下图11给出了MSTAR目标的实验结果,该实验数据采用美国国防高等研究计划署(DARPA)支持的MSTAR计划所公布的实测SAR地面静止目标数据,传感器为高分辨聚束式合成孔径雷达,分辨率为0.3m×0.3m,X波段,HH极化方式。

图11   不同MSTAR目标的“场景成像”(每幅左边一列)和“目标成像”(每幅右边一列)结果对比

3.     国内首个类脑SAR系统及FPGA原理样机

        目前SAR影像解译技术随着SAR的发展得到了广泛的研究,但对于核心算法和专用算法的研究目前较少,例如核心技术的DSP、FPGA、VLSI等的设计与实现,尤其是原理样机的研制,国内外还未见报道。如何和现有SAR系统有效的结合,通过应用异构多核数据处理技术,解决现有星载/机载/弹载计算机处理能力不足的问题,并设计适用的硬件支持平台成为SAR影像自动理解与解译实用化的一个关键问题。

          团队针对SAR影像高维、非结构化、目标繁多信息混杂等问题,借鉴人类大脑的信息感知机制和认知机理,以及多尺度视觉感知模型,提出了感知-认知-强化为一体的类脑智能计算新理论与新方法,成功地采用友晶DE5-Net FPGA优化设计并研制了13层深度卷积神经网路的SAR图像目标识别技术,在高分辨SAR影像实时计算方面取得了突破性进展,研制成功国内第一个类脑SAR系统及原理样机,实现了SAR成像与解译的一体化,填补了国内SAR智能感知与解译系统与原理样机的空白。

图12   DE5-Net (Intel Stratix V GX FPGA)

图13   类脑SAR系统及FPGA原理样机

图14   MSTAR实测目标的检测与识别结果

图15   桥梁检测结果(该实验数据采用美国桑迪亚国家实验室(Sandia)的机载SAR数据,分辨率为1米,Ku波段)

4.    极化SAR地物分类和变化检测

相比于单极化SAR,极化SAR(Polarimetric SARPolSAR)一方面通过分析得到的全散射矩阵来推测地物目标的几何结构等细节特性以及地物目标的介电常数信息,另一方面通过选择合适的极化合成方式可以突出地物目标的分布区域,地物层次的变化。地物分类和变化检测PolSAR图像理解与解译的一个重要任务之一,对于地质勘探,植被海洋监测与预警起了至关重要的作用。

团队针对当前极化SAR数据处理只关注极化散射特性,而没有考虑人类视觉感知特性的问题,利用视觉先验,将压缩感知理论和视觉注意理论相结合,提出高分辨极化SAR图像的稀疏模型与自适应学习字典构造方法建立极化SAR图像地物分类和变化检测。受大脑感知、学习表示与决策融合过程的启发,针对PolSAR不同模态的数据,构造多模块的深层神经网络来感知不同模态下的特征表示提高极化SAR图像分类效果。

图16  20084, 荷兰FlevolandNetherlands地区,50×25 Km范围, RADARSAT-2 C-Band模式拍摄,图像大小 12944×2820, 分辨率10m×5m, 主要包含4类地物:森林、农田、水域和城区,分类正确率OA=98.3%

5.  InSAR数据处理及解译

干涉SARInSAR)获取高精度地形图的问题就是干涉SAR的图像质量差。干涉SAR由于受阴影、顶底倒置、遮挡等因素的影响,即使在噪声抑制之后,SAR干涉图像的信噪比仍比较低,给相位展开带来了很大的困难。因此必须寻求提高干涉SAR图像质量的新技术。在单一基线干涉SAR中,由于信源较少,配准精度、相位展开精度等很难取得大的提高。近几年来,多基线干涉SAR技术倍受关注,它通过综合多基线获取的多元干涉信息获得高精度的地形高程。因此利用多基线干涉SAR数据处理来提高干涉SAR的测高精度成为未来干涉SAR数据处理的研究重点。并且在此基础上可以利用类似光学图像超分辨复原问题的线性病态模型,通过引入关于成像场景的先验信息,利用稀疏信号处理的方法来改善单基线干涉SAR数据质量,上述通过数据处理方法改善干涉SAR测量精度的方式由于硬件成本低、可行性好,因此对于干涉SAR的应用具有很大的现实意义。

团队基于稀疏表示理论,研究参数化模型的干涉SAR的超分辨理论和方法,利用稀疏学习方法提高干涉数据质量,在相位解缠的精确性、完整性和一致性要求的核心技术难题上取得突破,实现目标的高精度雷达干涉DEM重建。研究了基于干涉相干性的地物分类、基于高程信息的地物检测及分类、结合高程信息及纹理信息的地形解析/分类等等。

图17  InSAR处理系统

图18  DEM重建结果

图19 DEM重建图的纹理渲染结果 

6.    视频SAR运动目标检测、识别与跟踪

SAR地面运动目标检测和分析是利用SAR实现空间对地观测运用的一个主要方面,具有重要的战略作用。如何高效的检测出运动目标、确定目标运动参数及其位置并对运动目标成像是监视雷达的主要任务。无论在军事和民用方面,利用SAR进行地面运动目标检测和成像都具有重要意义,是目前研究的热点。国内外对基于单通道、多通道、分布式小卫星等的雷达系统的动目标的检测和成像方法进行了深入研究。VideoSAR(视频SAR)是美国Sandia实验室在2003年提出的新型成像模式,通过对场景连续的高分辨率成像,实现对地面的动态观测,可获得运动目标的相关信息,并进行跟踪。由于运动目标在雷达视线上的径向运动速度的存在,其多普勒频率和它所处的杂波单元的多普勒频率是不同的,使得运动目标在成像时发生偏移和散焦,给SAR运动目标的检测、识别与跟踪带来了困难。

团队针对VideoSAR的成像特点,以智能化目标识别和跟踪应用需求为牵引,重点开展VideoSAR视觉目标自学习理论、面向VideoSAR弱小目标的机器学习与认知方法、面向VideoSAR的类脑学习模型、星上计算资源受限的学习理论与硬件实现技术等,实现VideoSAR运动目标的关联识别,提高动目标检测、识别与跟踪算法的稳定性。

图20 VideoSAR运动目标跟踪结果(美国Sandia实验室

三、光学遥感图像解译与在轨处理

遥感技术作为一种重要的对地观测技术,能够通过航空、航天传感器在不直接接触地物表面的情况下获取地物的信息。光学遥感影像是遥感技术的主要分支之一,具有三高的特点:(1)高空间分辨率,如QuickBirdIKONOS,中国高分系列遥感卫星;(2)高光谱分辨率,如HyperionAVIRISROSIS(3)高时间分辨率,如MODIS。光学遥感影像的这些特点为其广泛应用提供了可能。光学遥感器所获取的信息中最重要的特性有三个,即光谱特性,辐射度量特性和几何特性,这些特性确定了光学遥感器的性能。三高遥感影像的出现使得遥感影像处理难度越来越高,传统的遥感影像处理方法难以满足对遥感影像处理质量、效率的要求。

1. 可见光遥感图像解译

面向高分辨可见光遥感影像地物分类、目标检测、路网和水域提取、超分辨等,通过挖掘遥感影像特征,研究了遥感影像中乡村道路、城市道路和水域的自动提取,提出了城市道路提取的角度纹理特征匹配算法,乡村道路提取的多角度边界模板响应算法,以及水域边线提取的光谱特征相似度检测算法;针对传统大场景车辆检测效率低,定位误差偏大等问题,提出了光学图像和Lidar图像融合下的显著性车辆检测。针对目前已有的舰船检测在高分辨大场景下搜索速度慢,识别精度低等问题,提出了基于激光雷达和光学遥感图像融合的大场景舰船检测。针对遥感影像的数据量大、信息丰富便于利用的特点,搭建了高性能计算机集群,采用了最新的分布式高性能集群技术,建立了基于深度学习的目标检测与地物分类技术,研制了基于GPU和FPGA的遥感影像大数据类脑解译系统

 

21  光学图像和Lidar图像融合下的显著性车辆检测

 

22  高分辨可见光遥感影像水系提取结果

 

图23   深度多示例学习的多源遥感图像分类,QuickBird 卫星图像,MS (左,2.64 m/pix)PAN (中,0.66 m/pix),和分类结果(右,OA=93.23%)

图24  基于稀疏表示和全局字典模型的自适应遥感图像超分辨

 

图25   基于GPU的遥感影像大数据类脑解译系统,实现了超过20层的深度CNN网络

图26   基于FPGA(Altera 10)遥感影像大数据类脑解译系统

2. 红外遥感图像解译

提出基于参考辐射源与场景相结合的自适应非均匀性校正、基于边缘地物的自适应图像复原与补偿和基于直方图均衡化的自适应红外图像增强技术;针对目标的红外辐射特性和图像特征,提出进行兴趣区检测的方法,降低背景干扰,提高目标探测概率,利用基于视觉注意机制和纹理分割实现兴趣区的检测;针对红外图像中目标的多描述特性,提出一种基于多尺度几何分析、超完备字典稀疏编码和统计分析的红外图像目标特征提取方法;针对红外图像中目标易受噪声、遮挡的问题,提出了一种基于大规模稀疏核机器学习的快速目标识别分类方法;建立了红外图像解译系统,形成了相应的模型算法和软件组件。

图27    红外图像去噪技术

图28   基于图模型的红外图像分割技术

3. 动态卫星视频解译

视频卫星通过一定时间间隔的时序图像组成视频,适于对动态目标进行分析,获得目标的速度和方向,这些重要信息从传统静态图像中难以获得。能够获取高空间分辨率对地观测动态视频,为国土资源监测、矿产资源开发、林业普查、环境保护、交通运输、防灾救灾等领域提供信息支持服务。吉林一号一箭四星于2015107日成功发射,其中包括一颗光学遥感主星、一颗灵巧成像验证星、两颗灵巧成像视频星,开创了我国商业卫星应用领域多个第一。201719日,视频03星再次成功发射,共同组成了吉林一号卫星星座。20171121日,我国在太原卫星发射中心用长征六号运载火箭以一箭三星方式,将吉林一号视频040506星发射升空,吉林一号040506星将与010203星组网,为军、政、民三界提供了大量的数据服务。

团队针对动态卫星视频中飞机、舰船、车辆等机动目标存在外观变形、光照变化、快速运动和运动模糊、背景相似干扰等问题,以及平面外旋转、平面内旋转、尺度变化、遮挡、伪装和出视野等情况,研究了基于可变形深度卷积神经网络和均值漂移的动态卫星视频解译技术,实现了静/动态背景下的单/多目标的检测、识别、跟踪等技术,在海洋监视、环境监视、动态军事目标检测等领域有广阔的应用前景。

图29  动态卫星视频

四、 大数据分析与挖掘技术

1.   遥感领域的大规模知识图谱构建技术

我国多源航天航空遥感数据资源大概以每年50%以上的速度递增,并且非结构化数据已成为当前资源的主体,它是远比结构化数据广泛存在的数据形式。由于目前缺乏较好的大数据的分析工具和方法,而使大量隐藏在其中的有价值信息不能够及时被发现,这给遥感信息资源在各领域和各部门之间的交流与共享及有效的情报应用带来了极大地困扰。现有的数据/信息处理技术均难以满足当前这些多源大数据分析与预测的需求,目前我国关于非结构化大数据处理与应用的能力、效率与精度上仍然相当低下,与当前大数据处理的需求之间形成突出的矛盾。知识图谱技术能够将海量遥感大数据中的信息、数据以及连接关系汇聚为知识,实现用户智能化检索与意图推理。

团队针对多源遥感数据应用中的信息整合、系统集成、情报保障智能化、自动化需求,瞄准多源遥感信息快速关联、高效检索以及隐含关系发现等需求,突破基于多源遥感数据信息关联挖掘与结构化表达技术、多源遥感信息实体抽取、实体关系表达与构建、隐藏关系挖掘等关键技术,建立完备的遥感知识空间语义模型,构建具有强大互联能力的遥感领域大规模知识图谱,实现以地物、目标、情报和服务为主题中心的知识互联,提升多源遥感信息领域的知识获取与推理能力,形成遥感领域知识图谱的应用模式。同时,融合知识图谱与深度学习,利用蕴含于知识图谱中的知识指导深度神经网络模型的学习从而提升模型的性能,进一步提升深度学习模型在遥感领域的应用效果。

2.   基于高分辨影像数据和北斗高精度位置数据的时空地理信息融合与服务技术

我国航天工业体系构建了门类齐全的通信、导航、遥感等卫星系统,形成了具有一定规模和广泛程度的军民应用体系。遥感应用已经向深度化、综合化方向发展,产业发展初具规模。通信卫星在轨的同步轨道商业卫星10颗,包括中星系列、亚太系列等,覆盖国家和地区包括中国、亚太、中东、澳大利亚、欧洲、非洲等地区。北斗卫星导航系统是我国自主建设、与世界其他卫星导航系统兼容共用的全球卫星导航系统。遥感卫星网为我们建立了一个多波段、多时相、多分辨率的“瞭望哨”,导航卫星为我们提供了实时的“指南针”,通讯卫星为我们提供了无处不在的、全实时“中继基站”服务。这些卫星系统提供了完备的时间、位置、影像和地理信息,可基于其提供的环境信息进行分析判断并应用于各种服务,现代信息化社会的发展对开展通信、导航、遥感更提出了更高的要求。

团队针对多源遥感信息反映地物和目标复杂、不确定的特征,基于类脑计算和云计算,利用视觉系统的分层感知结构和脑的深度结构,通过知识推理模型融合高分辨率影像数据和北斗高精度位置数据的时空地理信息,建立具有深度层次结构的多源异质数据协同认知模型,在基于位置服务的大数据应用开发方面取得突破性进展。团队和陕西北斗金控信息服务有限公司长期合作,研发了基于位置服务的国家需求的信息化服务产品,推进北斗导航服务模式和产品创新,在重点区域和交通、减灾、应急、反恐、农林等重点领域开展示范应用。

图30  基于高分辨影像数据和北斗高精度位置数据的城市绿地分布统计

支撑项目

1.  国家自然科学基金面上项目,61671350基于脑启发的PolSAR图像深层协同表示学习与分类2017/01-2020/12

2.  部委项目,基于人工智能的图像处理和舰船目标识别技术,2017/06-2020/12

3.  国家自然科学基金重大研究计划,91438201,稀疏认知下的遥感影像在轨变化检测与目标提取,2015/01-2018/12

4.  陕西省重点科技创新团队,D16013020089,智能感知与图像理解,2013/08-2016/8

5.  陕西省科技统筹创新工程计划项目,2015TZC-G-6-7高分辨率SAR图像协同认知关键技术及软件系统2015/01-2016/12

6.  国家“973”计划项目子课题,2013CB329402,非结构化环境的协同感知与高效目标相关信息获取, 2013/012017/12

7.  教育部博士点基金,20130203110009基于压缩感知和视觉先验学习的极化SAR图像识别与分类2013/01-2015/12

8.  国家自然科学基金面上项目,61271302基于视觉先验学习和混合因子分析的极化SAR图像识别与分类2013/01-2016/12

9.  教育部新世纪优秀人才支持计划,NCET-10-0666多尺度几何SAR遮挡目标检测与识别2011/01-2013/12

10.  国家自然科学基金面上项目,60971128基于Sparse-Land模型的SAR图像噪声抑制与分割,2010/01-2012/12

11.  863”计划,2007AA12Z136多尺度几何SAR影像智能信息提取与目标识别2008/01-2009/12

12.  国家“973”计划项目子课题,2007CB705707,基于机器学习的医学影像处理与分析,2008/012011/12

13.  高等学校科技创新工程重大项目培育项目,706053,高分辨信息感知、获取、处理和传输技术研究,2007/01-2008/12

14.  国家自然科学基金面上项目,60472084基于Contourlet的图像奇异性检测2005/01-2007/12

版权声明:未经西安电子科技大学以及个人主页教师本人许可不得复制,转载传播本主页内容或用于任何商业用途,如需转载请征得主页所有者同意,并附上主页链接.
西安电子科技大学个人主页 站点地图 | | 侯彪的留言板 | 更新日期 :2018-02-13 | |
Copyright © 2011-2016 西安电子科技大学 版权所有 陕ICP备021284(05016169) Powered by 信息化建设处 & 电院网络中心