本发明涉及计算机视觉技术和陪护机器人，惠阳月嫂13825404095尤其涉及一种基于计算机视觉技术的老年人智能陪护系统。
背景技术：
1、目前，中国老龄化问题日益严重。越来越多的年轻人前往大城市谋求发展，因而对老人的陪护过少，诸如老人的生活质量、日常起居、慢性疾病等各种问题越来越突出。同时，子女迫于生活压力，大量时间忙于工作，缺少和老人的交流和沟通，不能在第一时间了解到老人的身体情况，而老人理解子女的难处多数情况下也不愿麻烦子女，这在一定程度上导致了老人孤助无援的处境。
2、现有的陪护机器人在使用时不便于和陪护人员进行互动，且陪护机器人不能主动去识别室内老人的位置及身体状况，从而不能起到较好的陪伴效果。专利文献cn114029948a记载了一种基于深度学习的室内陪护机器人，包括机身和仿生腿等，但难以应用在室内。专利文献cn114227712a记录了一种基于计算机设备，包含多个模块的交互养老陪护机器人，但红外波检测身体情况的准确度难以保证。因此亟需一种更能贴合实际、解决老人生活问题的室内陪护机器人。
技术实现思路
1、本发明提供了一种基于计算机视觉技术的老年人智能陪护系统，解决了老年人居家智能养老问题。
2、为解决上述技术问题，本发明所采用的技术方案是：一种基于计算机视觉技术的老年人智能陪护系统，该系统包括中控模块、室内监控模块、陪护机器人模块、移动终端显示模块构成。
3、室内监控模块中，在室内监控模块依据室内空间布局安装多个集成摄像头，总视域覆盖需要监视的所有室内活动位置，对同一信息来源的信息进行封装，标记为目标人物1信号，其他人物信号进行同样处理，通过基于深度学习的跟踪算法实现对视频信息中人物活动的动态追踪，并将信息发送至中控模块；通过预训练模型区分不同的物品及不同的小动物；中控模块根据采集的信息进行特征分析，检测和分析老人异常状态，当视频人物活动分析结果或检测结果提示老人活动异常或者需要帮助时，通过5g通信技术传送信号给所述的陪护机器人模块；
4、优选的方案中，所述集成摄像头有白天和黑夜两档模式，依据环境光亮度自动切换，环境光亮度高于预设值时，普通摄像机实时检测老人行动信息，环境光亮度低于预设值时，切换为红外摄像机实时检测老人行动信息。
5、优选的方案中，所述特征分析包括：面部特征、步态特征与声纹特征的分析。
6、其中面部特征分析和声纹特征分析将采集的信息与预存信息进行比对，以提取异常特征；
7、步态特征将视频图像生成动态行走信息，与预存信息进行比对，以提取异常特征。
8、所述面部特征分析包括以下步骤：
9、s1、数据采集：首先，采集视频中人物的面部数据，对图像进行图像滤波和直方图均衡化等预处理；
10、s2、特征提取：计算出高斯差分金字塔，在高斯差分金字塔检测局部极值点，并使用尺度空间极值点拟合精确位置和尺度，得到关键点。使用rpn来生成面部候选区域，即基于输入图像的不同尺度和特征图，利用rpn生成候选区域(面部对象)，并调整其大小和形状以适应不同的面部形态。基于面部特征点坐标提取脸型、鼻型、以及眼型比例特征，构建人脸比例特征向量；
11、s3、特征匹配：使用keras搭建孪生网络模型，该模型包括享卷积层和两个汇聚层，通过输入两张人脸图像得出对应的相似度分数。模型训练时使用对比损失函数来优化模型，并用roc曲线等指标评估其性能。
12、声纹分析包括以下步骤：
13、s11、从监控导入收集到的语音信息；
14、s22、对语音信息进行预处理，包括预加重、分帧、加窗以及端点检测等；
15、s33、语音信息预处理后，对其进行快速傅里叶变换得到频谱图，计算梅尔倒谱系数(mfcc)后进行归一化处理。采用tdnn，利用时间延迟线对输入序列进行平移，使神经网络从不同时间步的输入中提取特征，利用池化层进一步提取特征，如采用统计池化取均值、方差、最大值、最小值、中位数等统计量作为该维度的特征表示。最后通过全连接层对特征进行整合，得到最终的声纹特征表示。选取融合基于间隔的分类损失函数lams和基于小样本的原型余弦损失函数lcp作为损失函数，实现特征类间距离增大、类内距离减小的目标；
16、s44、孪生网络包括两个相同的网络，每个网络都有相同的结构和参数，输入是一对声纹特征向量，输出是这两个声纹特征向量之间的相似度。每个网络由多个卷积层、池化层、全连接层和激活函数组成，用于提取声纹特征；
17、s55、使用keras搭建孪生网络模型，该模型包括享卷积层和两个汇聚层，通过输入两张人脸图像得出对应的相似度分数。模型训练时使用对比损失函数来优化模型，并用roc曲线等指标评估其性能；
18、s66、根据匹配结果作为身份鉴别指标之一。基于topsis算法对特征向量各因素进行加权﹐计算综合相似度概率g，并以此作为身份鉴别。优选的方案中，基于siamese网络实现面部分析和声纹分析。
19、优选的方案中，面部特征分析和声纹特征分析采用基于深度学习的跟踪算法siamese网络(孪生神经网络)或区域提议网络中的一种或多种的组合。
20、优选的方案中，陪护机器人模块，还设有智能分析与控制系统、语音交互系统(以语音通过远程控制及陪护机器人动作)、室内导航系统(自主或通过远程控制)、生命体征检测系统(自主或通过远程控制)。
21、优选的方案中，智能分析与控制系统作为陪护机器人大脑，通过理解室内监控系统传来的数据特征，推理出老人可能出现的各种情况，通过决策树制定干预方案并行动。若智能分析与控制系统对即将实施的干预方案感到“不自信”，则主动调用目标所在场景的视频信息，进行其他最有可能险情状况的算法检测与排查，同时，通过室内导航系统及时主动地前往老人所在房间。所述的“不自信”状态通过建立行为-结果分析模型，使用人工智能算法从行为推测出结果，若推测的结果是下述三种：
22、1、不能解决存在的难题；
23、2、推测的结果可能导致目标人物伤害；
24、3、推测的结果未产生效果。
25、当出现上述结果的概率大于预设值，则判断预设方案为“不自信”。
26、优选的方案中，所述的室内导航系统可以自主导航或者远程控制。所述的自护导航是利用图像处理和计算机视觉技术，对视频中的物体进行检测和跟踪，识别宠物并记录它们的位置和运动轨迹，采用slam算法根据多个位置的集成摄像头采集到的物体检测和跟踪数据构建出行进地图，通过5g技术将生成的地图数据传输到房间内的陪护机器人；
27、所述陪护机器人使用算法进行处理，对地图进行分析、规划路径的操作；
28、陪护机器人利用搭载的摄像头获取周围环境的图像信息，通过图像处理技术将陪护机器人的当前位置与地图上的位置进行匹配，实现自主定位，进一步通过地图中的定位信息获取陪护机器人的位置；
29、陪护机器人根据当前位置和目标点的位置，使用路径规划算法如a*算法在地图上规划出最优行进路线；
30、陪护机器人根据运动能力和任务要求进行自主导航，跟随路径移动或执行其他任务；
31、陪护机器人行进时使用卷积神经网络或循环神经网络，来分析集成摄像机捕捉到的数据，准确地识别和跟踪不同的环境特征，实现局部地图优化；
32、陪护机器人通过其自身传感器的反馈数据来检测地面的移动和旋转，更新其所在区域的地图；
33、陪护机器人通过内部控制系统控制陪护机器人前进、转向、停止。
34、优选的方案中，智能分析与控制系统抽调出陪护机器人所在房间与老人所在房间视频信息及其它涉及到的视频信息，并进行去噪、稳定、滤波等预处理操作，以提高后续图像分析和识别的准确性；
35、利用图像处理和计算机视觉技术，如物体检测算法包括yolo和跟踪算法包括kcf等对视频中的物体进行检测和跟踪，识别宠物并记录它们的位置和运动轨迹；
36、采用slam算法根据多个位置的集成摄像头采集到的物体检测和跟踪数据构建出行进地图；
37、通过5g技术将生成的地图数据传输到房间内的陪护机器人，陪护机器人使用算法进行处理，对地图进行分析、规划路径等操作；
38、陪护机器人利用搭载的摄像头获取周围环境的图像信息，通过图像处理技术将陪护机器人的当前位置与地图上的位置进行匹配，实现自主定位，进一步通过地图中的定位信息获取陪护机器人的位置；
39、陪护机器人根据当前位置和目标点的位置，使用路径规划算法如a*算法在地图上规划出最优行进路线；
40、陪护机器人根据运动能力和任务要求进行自主导航，跟随路径移动或执行其他任务；
41、陪护机器人行进时使用深度学习模型，如卷积神经网络(cnn)或循环神经网络(rnn)，来分析集成摄像机捕捉到的数据，准确地识别和跟踪不同的环境特征(如墙壁、家具和障碍物等)，实现局部地图优化；
42、陪护机器人通过其自身传感器的反馈数据(如编码器、陀螺仪等)来检测地面的移动和旋转，更新其所在区域的地图；
43、陪护机器人通过内部控制系统完成行进控制，如控制陪护机器人前进、转向、停止等。
44、陪护机器人，其特征在于：
45、陪护机器人由集成摄像头、运动系统、仿人手机械臂系统、分区储物盒(如存放药物、营养素等)、传感器模组组成。其特征在于：
46、目视摄像头安装在陪护机器人头部左眼位置；
47、热成像摄像头安装在陪护机器人头部右眼位置；
48、交互式屏幕安装在陪护机器人的机身，使用9寸lcd屏幕，由主板驱动，外置bec供电，与stm32主控芯片相连，结合陪护机器人头部的目视主摄像头，实现与亲属的网络视频通话；
49、优选的方案中，传感器模组包括运动传感器模组、交互式传感器模组、环境传感器模组和生命特征传感器模组。
50、运动传感器模组包括激光传感器、摄像头和陀螺仪；
51、交互式传感器模组包括摄像头、投影仪、输入按钮及面板和拾音器；
52、环境传感器模组包括室内温度计、风力计、湿度计、有害气体传感器；
53、生命特征传感器包括温度计、血压计、心率、血氧计中的一种或多种的组合。
54、优选的方案中，对于每张检测到的人脸，使用人脸特征提取算法，例如lbp、hog、cnn等，提取出人脸的特征向量；
55、对于每个人脸特征向量，使用机器学习算法，例如支持向量机(svm)、随机森林(random forest)等，进行人脸识别或情感分析等任务。
56、运动系统，其特征在于：
57、陪护机器人配备两个或更多的轮子，由电动机驱动实现前进、后退、转向和漂移；
58、优选的方案中，陪护机器人由电机驱动的轮依据预设的路线移动；
59、优选的方案中，陪护机器人装载超声波传感器和接触式传感器，并根据所述地面状态，调整所述陪护机器人的当前运动状态，通过主控芯片调整电机驱动进行自动避障。使用接触式传感器来避免碰撞。循环执行，直至通过障碍物。
60、优选的方案中，陪护机器人途中遇到通过预训练模型识别后得到的物品标签后，通过仿人手机械臂系统完成开门、挪物等动作。
61、仿人手机械臂系统，其特征在于：
62、其外形依据人的手臂仿真，包括机械臂和机械手指，表现为机械手指的灵活与手臂的多方位移动；
63、机械臂通过陪护机器人内置智能分析与控制系统控制；
64、优选的方案中，陪护机器人到达目标房间后，通过集成摄像机获得老人热源方位并依据预设路线移动至目标热源处。
65、生命体征检测系统，其特征在于：
66、通过预装的传感器模组实现生命体征检测(如心率、呼吸、体温、血压等)，智能分析采集体征数据是否处于正常范围内及偏离程度，及时将预警信息传输到移动设备显示终端，提示紧急联系人；
67、若情况十分紧急，则立即启动应急预案，包括递送基础疾病药物、联系120急救及119消防等。
68、语音交互系统，其特征在于：
69、依托百度apide语音交互系统，除验证紧急险情外，还满足缓解老人孤独、应对老年人视力下降、手指不灵活、知识储备不足等妨碍品质养老需求的现状；
70、能够回答老人的问题、播放音乐、控制家庭智能设备等，并与其他智能家居设备交互，可以通过智能手机应用程序进行配置和控制；
71、利用语音识别算法将语音信号转换为文本形式，包括基于隐马尔可夫模型(hmm)和深度学习的端到端语音识别算法等；
72、利用自然语言处理算法将文本形式的语音识别结果转化为可理解的语义信息，包括语法分析、实体识别、情感分析、对话管理等；
73、利用语音合成算法将计算机生成的文本转换为语音信号，如基于深度学习的神经网络语音合成算法；
74、利用对话管理算法控制对话流程的算法，包括对话状态跟踪、策略生成、响应生成等；
75、通过云知识库查询，利用混合推荐算法对老人遇到的问题进行合理建议推荐；
76、得到老人授权后，主动调度智能家居设备及通过互联网技术可获得的其他资源支持；
77、如涉及敏感信息，需采取双重认定，如老人与紧急联系人共同确认后才可执行等；
78、移动设备显示终端包括手机、平板电脑、智能手表、笔记本电脑或台式机等，用于显示依据任务调用视频信息的显示；
79、陪护机器人屏幕可以实现简单的手势交互，如设置为“在屏幕上画一条直线”和向特定联系人拨打电话为绑定指令等等，可应对实际运行遇到的特殊情况。
80、优选的方案中，所述陪护机器人，在老人出现紧急情况时充当一线“呼救者”，该陪护机器人启动后通过一套智能与自动化分析系统，迅速完成急危重症需监护病人的初步诊断，即通过探测器检测老人基本生命体征，通过计算机视觉技术等将老人当前体征及症状与各系统常见病/多发病症状相匹配，得出结果记为信息1(包括可能的主诉、现病史等)。自室内监控设备发出预警后，陪护机器人顺利达到老人身边后进行基本生命体征检测得出结果记为信息2(基础的体格检查)。通过电子档案系统调取及检索，得出信息3(获得病人的一般资料，如年龄，职业等)，自动将所有获得信息转换成文本信息，生成虚拟病例，由经过神经网络训练过的虚拟智能“见习医师”进行初步诊断，自动依据概率大小生成最有可能的诊断排序，并生成附近可获得医疗资源的调度方案，将获得的所有信息(包括位置坐标信息，可具体到门牌号，如从监控器的id号处获得)及处置建议反馈在老人室内视频与急诊视频窗口，专业急诊医生通过监控器附带的语音询问与确认情况的紧急程度和所需的急救资源，进一步完成紧急情况的分级及急救队伍的派单。此种情况下，该陪护机器人可作为医院对于急危重症患者预后康复推荐使用的陪护用具，并且将具体的预后康复建议反馈给陪护机器人，由陪护机器人完成后续人力难以时刻触及的陪护与护理工作，陪护机器人经由专业美工设计后可投入市场使用。
81、优选的方案中，所述陪护机器人是有效治疗“干预者”，在老人明确患有较严重基础疾病但能够自理的患者时充当“有效治疗”干预者，包括：
82、1.疾病控制和治疗：针对患者的基础疾病进行控制和治疗，例如高血压、糖尿病、肺部疾病等。
83、2.营养支持：对患者进行营养评估，并提供适当的营养支持，以确保患者获得足够的营养和能量。
84、3.运动和康复：适当的体育锻炼和康复措施有助于改善患者的身体状况和增强其自理能力。
85、4.心理支持：对患者的情绪进行评估，并提供必要的心理支持，帮助他们处理可能的情绪和心理压力。
86、5.药物治疗：如果必要，患者需要接受药物治疗以减轻疾病症状和控制疾病的进展。
87、6.定期随访：对患者进行定期随访，以监测疾病进展和治疗效果，并进行必要的调整和管理。
88、尽管上述1-5个方面不完全由陪护机器人完成，但该陪护机器人可作为药物及时使用的提醒者、治疗与康复期间适应与禁忌的咨询顾问、医生与待康复者交流沟通的小助手，可综合获取信息制定合理的、人性化的预后病程管理。可以即时反馈与调整预后病程管理方案。
89、本发明的有益效果为:通过布置室内实时集成摄像头，实现对老人行为的动态追踪与险情监测，能唤醒陪护机器人在发生险情时最快到达老人所在位置并进行进一步的干预，或在第一时间将险情信息反馈给紧急联系人，主动提供应急预案，获得授权后自动完成应急求助，具有实际应用场景的及时与实用特点；通过陪护机器人内置智能分析与控制系统，除有效防止老人出现险情意外，还可满足老人内在的陪护、尊严等情感需求与承担家务、减少老人过劳等现实需求，尤其是视力下降、手指不灵活的老年群体。同时，陪护机器人定时提醒老人规律吃药、补充营养素等可实现对基础疾病有效的三级预防。总的来说，该陪护系统一方面满足了子女关心老人健康心理和降低人力物力耗费的诉求，提高了紧急施救的及时性和准确性，确保了老人健康；另一方面，推动了5g技术、人工智能等前沿技术在人口老龄化社会中的重要应用，可有效提高养老品质。
