学术信息网 西电导航 关于 使用说明 搜索 系统首页 登录 控制面板 收藏 张亮的留言板
科研基本情况

       

        本人长期从事嵌入式、机器人SLAM等技术研究,在手语识别、语义SLAM、嵌入式视觉传感器终端研发等方面取得了一定成绩。

 

        在手语识别方面,实验室团队通过分析不同国家手语特性,结合手语动作特点,提出了一种基于三维卷积和长短记忆网络相结合的手语动作识别框架,该框架在多类别手语识别(超过100多类个手语动作)以及其它动作识别(人机交互动作)上表现良好。该研究成果在2016年ICPR手势识别竞赛中取得全球第三名,并受邀参加2017年ICCV手势识别竞赛,取得全球第五名的成绩,目前团队在手语动作识别领域已经有一定影响力。目前,团队正在进行复杂动作手语数据集的构建(预计将构建超过10万个手语动作视频数据集),该数据集的构建将极大推动手语识别向产业界迈进。

 

        在机器人语义SLAM方面,实验室同西澳大学的Mohammed教授合作,提出了基于深度学习和传统特征相结合的语义SLAM框架,该框架可实现多种不同语义分割网络与不同SLAM框架的融合,采用图模型对序列语义进行融合处理。该方法基于视频流不但能生成三维语义环境信息,而且可利用语义信息进行定位精度的改善。在此基础上,利用无监督网络,结合双目传感器进行场景三维语义信息分割和定位,可以应用到无人驾驶、室内服务机器人等多个领域。

 

        在嵌入式视觉传感器开发方面,目前所研制的嵌入式智能视觉传感器(应用于工业现场,进行缺陷等检测)已进入小批量生产,可极大的提升工业现场的工作效率,为工业4.0的全面实现提供有力支持。

 

        在后续研究中,实验室团队将持续聚焦在复杂手语识别和语义SLAM,并积极开发实用系统,争取在手语动作识别学术领域方面形成更大的影响力,为学校的学科建设,国家的经济发展做出积极贡献。

 

科研项目

 

在研项目

  • 2017.01-2019.01,嵌入式视觉传感器系统开发,企业项目,120万
  • 2018.04-2019.04,扫描机器人SLAM评测及追踪系统,企业项目,60万
  • 2016.09-2020.12,天脉联合实验室建设项目,航空项目,63万
  • 2016.06-2021.04,天脉操作系统图形套件研发,航空项目,28万
  • 2018.04-2019.04,基于云计算的新能源交通系统大数据平台,企业项目,38万
  • 2018.01-2020.12,基于时空特征融合的连续手势识别研究,国家自然科学基金项目,25万
  • 2017.06-2019.04,无线网络系统控制应用软件开发,企业项目,80万
  • 2015.10-2019.09,某管理分系统软件研制合同,研究所项目,90万

 


 

已结题项目

  • 2014.01-2016.12,动态复杂未知环境下的移动机器人实时SLAM算法研究,国家自然科学基金青年项目,27万
  • 2016.07-2017.07,视频分析终端及管理识别系统开发,企业项目,75万
  • 2013.01-2016.01,视频分析识别器及视频综合管理软件开发,企业项目,80万
  • 2016.12-2017.12,工业机器人环境智能感知关键技术研究和应用示范,研究院项目,10万
  • 2015-03-2016.03,视频分析软件开发,研究所项目,25万
  • 2014.09-2015.12,嵌入式MRU/WDQ终端软件开发,企业项目,20万
  • 2013.11-2014.12,TI嵌入式多核系统开发,企业项目,20万

 

 

一、嵌入式系统设计及多核系统研究

 

 

二、智能机器人SLAM与深度学习技术研究

 

三、面向视频内容的可辨识度实时增强技术

四、深度学习与计算机视觉

五、手势识别研究

六、基于深度学习的场景结构图构建研究