本人长期从事嵌入式、机器人SLAM等技术研究,在手语识别、语义SLAM、嵌入式视觉传感器终端研发等方面取得了一定成绩。
在手语识别方面,实验室团队通过分析不同国家手语特性,结合手语动作特点,提出了一种基于三维卷积和长短记忆网络相结合的手语动作识别框架,该框架在多类别手语识别(超过100多类个手语动作)以及其它动作识别(人机交互动作)上表现良好。该研究成果在2016年ICPR手势识别竞赛中取得全球第三名,并受邀参加2017年ICCV手势识别竞赛,取得全球第五名的成绩,目前团队在手语动作识别领域已经有一定影响力。目前,团队正在进行复杂动作手语数据集的构建(预计将构建超过10万个手语动作视频数据集),该数据集的构建将极大推动手语识别向产业界迈进。
在机器人语义SLAM方面,实验室同西澳大学的Mohammed教授合作,提出了基于深度学习和传统特征相结合的语义SLAM框架,该框架可实现多种不同语义分割网络与不同SLAM框架的融合,采用图模型对序列语义进行融合处理。该方法基于视频流不但能生成三维语义环境信息,而且可利用语义信息进行定位精度的改善。在此基础上,利用无监督网络,结合双目传感器进行场景三维语义信息分割和定位,可以应用到无人驾驶、室内服务机器人等多个领域。
在嵌入式视觉传感器开发方面,目前所研制的嵌入式智能视觉传感器(应用于工业现场,进行缺陷等检测)已进入小批量生产,可极大的提升工业现场的工作效率,为工业4.0的全面实现提供有力支持。
在后续研究中,实验室团队将持续聚焦在复杂手语识别和语义SLAM,并积极开发实用系统,争取在手语动作识别学术领域方面形成更大的影响力,为学校的学科建设,国家的经济发展做出积极贡献。
在研项目
已结题项目