基于AI的医学影像大数据虚拟仿真实验教学系统

实验目的:

将开发的全息教学系统应用到西安电子科技大学的课程中，例如计算机视觉、医学成像技术、医学影像信息与处理，提高学生的学习效率和课程的丰富程度，形成实训教学体系和资源。建设内容为交互式裸眼3D全息投影一体机项目，软件部分是基于人工智能和机器学习对医学图像进行自动分割和3D显示，硬件部分采用裸眼3D全息投影显示技术，同时捕捉、跟踪和识别人体手势，利用语音识别和手势识别对病体的3D对象进行操控和虚拟切割标注。通过全息客户端、全息服务端和全息渲染系统，提高学生和老师对智能医学影像大数据知识的直观理解。

实验原理：

医学2D断面图像通过自动分割还原为3D器官，进行立体全息显示，并采用手势识别和语音识别技术进行操控。

知识点：

（1）医学影像自动分割：把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，采用机器学习对人体器官分类和对病体进行自动分割。

（2）计算机视觉中的立体投影：模拟人类在观看物体时视网膜成像的双眼视差，实现立体效果。

（3）手势识别：通过数学算法来识别人类手势，用户可以使用简单的手势来控制或与设备交互，让计算机理解人类的行为。

（4）语音识别：将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。

实验仪器设备：

（1）交互式裸眼3D医学信息全息投影一体机

（2）基于人工智能的医疗影像三维分割（AIMIS-3D）软件

实验材料：

实验材料主要是病人的系列医学图片，例如骨肉瘤，心脑血管，乳腺癌的MRI，CT，超声图片等，每类数量不少于300幅。

教学方法：

（1）教学方法的使用目的：

    让学生通过医学图片的智能分析、3D立体显示、语音和手势控制技术，直观形象地了解计算机视觉在医学影像中的应用。

（2）实施过程：

自主研发的医学图像处理与3D打印软件生成的病例骨骼模型：

自主研发的医学图像处理与3D打印软件用于骨肉瘤病人的诊疗：

自主研发的医学图像处理与3D打印软件用于颅内动脉斑块的诊断：

自主研发的医学图像处理与3D打印软件用于乳腺癌的放疗效果监测：

自主研发的裸眼3D全息显示系统，用于全息教学系统：

（3）实施效果：

同学们通过一系列的仿真实验，形象地系统学习智能医学图像知识，例如医学图像格式、医学图像处理、医学图像大数据、 语义分割、目标检测的方法和技巧；直观地了解3D立体显示与交互技术，例如语音和手势识别的方法和技巧。

实验方法与步骤要求：

（1）实验方法描述：

 采用人工智能和机器学习对医学图像进行分割和识别，对语音和手势进行高效分类和识别，在全息教学系统上实现全息影像及数据的动态渲染，搭建全息服务端，处理多客户端数据共享，多位同学共同分享场景并操控虚拟医学图像处理结果。

（2）学生交互性操作步骤说明：

1. 通过U盘将病人的医学图片导入软件；

2. 对医学图片进行分类整理，导入数据库；

3. 通过浏览图片，选择高分辨率的图片；

4. 对数据库中的医学影像进行图像平滑处理；

5. 对数据库中的医学影像进行图像锐化处理；

6. 对数据库中的医学影像进行图像配准处理；

7. 采用AI算法对图像进行分割；

8. 采用AI算法对图像进行弱边缘提取；

9. 采用AI算法对图像进行参数测量与分析；

10. 操作医学图像的多模态显示；

11. 图像序列的三维重建与渲染；

12. 图像序列的表面重建和体重建；

11. 调试手势识别的虚拟操控技术；

12. 调试语音识别的虚拟操控技术。