标题：基于多模态CNN的脑卒中病人康复训练视线估计
作者：王域玲；陆小锋 宋海洋
作者单位：海军军医大学第一附属医院长海医院，上海 200433；上海大学通信与信息工程学院，上海 200444
关键字：多模态；脑卒中；视线估计；LeNet网络；卷积神经网络（CNN）
摘要：机器人辅助康复训练是脑卒中病人康复训练的重要手段。训练专注度对训练效果有重要影响。视线方向是衡量训练专注度的重要指标之一。提出了一种基于多模态卷积神经网络（CNN）的脑卒中病人康复训练视线估计方法。该方法结合头部姿态、眼部图像、眼睛坐标等多模态数据，对病人视线进行预测，采用数据归一化将图像和头部姿态信息归一化到极坐标空间，将归一化后的数据输入到CNN网络中，学习从头部姿势和眼睛图像到摄像头坐标系中注视方向的映射，实现对脑卒中病人康复训练视线的估计。