多模态非刚性医学影像配准及手术机器人可视化导引技术

面向穿刺手术过程中对影像动态配准以及术中导引作业中可视化引导需求，开展基于动态多模态影像数据融合的动态配准与空间目标实时定位、跟踪技术的研究。

（1）针对术中病体目标形变导致匹配误差，开展基于典型人体组织器官生理运动学特征的预测建模，基于深度学习的方法实现多模态医学影像的配准，建立精确的病体目标动态匹配和跟踪算法；

（2）通过采集到的病人实时生理指标、动态定位信息及机器人各项参数，构建基于多要素耦合的分级术中安全评测系统；

（3）开发基于增强现实技术的全要素可视化术中引导监控作业系统，对病人状态和手术进程进行实时监测、安全评估和预警。

手术工具追踪

可视化导航 

视听融合的多源信息处理技术

    面向多媒体等领域挖掘多维度多模态信号复杂对应关系的难题，开展智能滤波、多模态信息匹配、多模态信息融合的多源信息处理技术研究。

   （1）着眼于心理声学和语音感知机理，了解语音在大脑感知系统中的参数描述，探索获取高质量音频信号特征的新方法;

   （2）研究将音频模态与视觉模态映射到相同特征表示空间的方法，消除多模态特征表示的差异性；研究基于深度学习的端到端跨模态视听匹配网络模型，得到有效的视听信号匹配度度量；

   （3）构建视觉导引下的通用混合语音分离框架，基于类脑视听觉机制进行音视频特征提取和融合，并以输入为条件对模型组件进行选择性激活，适应会话场景变化。

 

视觉导引的混合语音分离

 

视听融合的声音事件定位与追踪

  

合作科研

研究生培养

与医生进行合作科研

共同搭建实验平台

      参与国家重点研发项目

参加国内外学术会议

       我们欢迎对科学研究、特别是信号处理与模式识别方面研究感兴趣的同学加入课题组。“研究（research）”是“不断（re)寻找（search)”的过程，寻找的是解决问题的新知。这个过程中，同学们可能会体会到困境中的苦闷和迷惘，但也会感受到寻得突破的激动和欢乐。同时，课题组的同学们也是最亲近的朋友，互相帮助，互相扶持，分享研究生生活中的苦恼和欢乐。如果对课题组的研究方向感兴趣，欢迎积极报考和咨询。