项目简介

Babycare婴儿智能看护平台是一款通过搜集婴儿的视频、音频、心率等信息，来实现婴儿睡眠质量分析、婴儿需求分析、婴儿疾病导诊等功能的智能看护设备及联合平台。本平台婴儿智能穿戴式手环和婴儿看护仪为硬件，通过婴儿的监控视频判断婴儿是否入睡以及判断婴儿睡姿是否合适；设备记录婴儿的声音可以有效分析婴儿饿、困、不适、打嗝、疼痛等需求，记录婴儿咳嗽次数可以初步判断婴儿是否可能有潜在的呼吸疾病或者感冒咳嗽症状。结合APP，家长可以在通过设备分析婴儿情况后及时获取信息，能够有效减轻家长看护婴儿过程中的身心负担。

随着二胎政策全面开放，国内婴儿数量暴增，婴儿看护辅助已成为社会关注的热点和重要需求。传统的看护辅助以月嫂为主，但是月嫂看护水平参差不齐且价格昂贵，且医学专业性不强。所以需要打造一个具有科学理论依据的婴儿看护辅助系统。

项目背景

对上述社会痛点问题以及相关研究与应用现状，为了让广大没有足够时间照看婴幼儿的父母可以实时获取婴儿状况，解决广大在职工作父母看护难题。同时对接医生，尽早发现婴儿潜在的健康问题。“Babycare”婴儿看护系统在开发一套处理和诊断硬件发送的数据并结合微信小程序的系统,是一款通过搜集婴儿的视频、音频、心率等信息，来实现婴儿睡眠质量分析、婴儿需求分析、婴儿疾病导诊等功能的智能看护设备及联合平台，突破传统的看护模式，让家长能够及时感知到宝宝的需求，给宝宝更加全面的关怀。

功能介绍

Babycare婴儿看护平台主要分为硬件产品和软件产品两部分，其中硬件搭配软件对家长进行实时反馈。

硬件即婴儿团队自主研发的婴儿智能看护仪以及婴儿智能手环，主要通过录音，录频，听诊等设备采集婴儿的体温、心音、哭泣声、呼吸声(含咳嗽声)、面部表情，肢体动作与姿态等信息进行本地分析并上传至云端平台。

婴儿智能看护仪功能完备，在视频监控的基础上通过视频、声音和听诊器搜集的呼吸音分别实现了婴儿睡眠分析(是否踢被、打鼾以及睡姿)、婴儿需求分析（饿、打嗝、不适、困、疼痛等）。婴儿疾病导诊的专业功能，能够有效提醒家长注意到宝宝身体状况中可能存在的问题，起到导诊（非诊断）的作用。本产品创造性地使用婴儿利用听诊器采集到的呼吸音来导诊婴儿的身体状况，同时建立了医疗问诊对接平台，使得家长足不出户就能通过听诊音获取专业医生的咨询结果。

婴儿智能穿戴式手环便于携带，提供心率检测、声音记录的基础功能，与此同时可以及时对宝宝声音进行分析，实时反馈婴儿需求和状态，从而实现宝宝需求分析、疾病预警的专业功能。

软件部分包括手机APP，云端数据收集平台，AI智能分析平台，医疗问诊对接模块。其中不同软件产品充当不同的角色提供服务：手机APP可以进行简单的录音上传以及接受云端发送的监控数据与分析报告；云数据搜集平台搜集端设备上传的数据，简单梳理后并保存至产品的云端数据库；AI智能分析平台对上传的数据进行实时分析，在接受分析结果反馈后进一步训练精进模型；医疗问诊对接平台能够在家长察觉婴幼儿的患病风险时选择线上问诊，平台在征得家长同意的前提下将婴儿身体数据发送至医生。专业医生在获取除语言描述之外更为全面准确的数据信息之后可以对宝宝的身体状况进行更加准确的判断。

技术特点

本项目主要分为婴儿声音检测、婴儿疾病导诊、婴儿睡眠质量检测、婴儿睡姿检测四个专业功能。

（1）婴儿睡眠质量分析

夜视摄像头会判断婴儿处于入睡还是清醒状态，通过云端服务器向与设备绑定的手机发送消息，提示家长“宝宝已经入睡”或者“宝宝已经醒来”，及时告知家长婴儿状态的变化。同时对婴儿是否盖好被子进行判别。并提示家长“宝宝盖好了被子”或者“宝宝被子没有盖好”，以免家长反复检查婴儿的冷暖问题。除次之外，对婴儿睡眠时的声音进行分析，记录婴儿晚上是否打鼾、咳嗽、尖叫等。

（2）婴儿身体状态检测

婴儿看护仪通过麦克风进行录音，并且上传到云端服务器，由服务器判断婴儿处于哭、笑、咳嗽、打鼾等状态，并将这些状态发送到与设备绑定的手机APP上，以时间顺序生成婴儿状态报告。如果检测到婴儿在哭，那么服务器对哭声进行需求分析，并将分析结果发送给手机APP，告知家长婴儿的实际需求，帮助家长判断婴儿哭的原因。如果检测到婴儿在咳嗽，那么服务器对咳嗽声进行咳嗽分类，识别婴儿咳嗽是否为干咳、犬样性咳嗽等病理性咳嗽，并把分析结果反馈到手机APP，告知家长可能存在的咳嗽病症。通过一段时间的婴儿身体状态及需求检测，手机APP会给出一份婴儿身体健康状况的评估。

（3）婴儿疾病导诊

如果评估得到婴儿呼吸道健康状况不佳或者家长认为婴儿的身体状况不佳时，将听诊器通过插孔安装在固定式设备上，在婴儿的肺部、支气管处跟随系统的指引采集婴儿呼吸音。呼吸音保存在设备内，并在听诊结束后上传云端服务器，由云端服务器判断婴儿可能感染的疾病，并将分析的结果返回给与设备绑定的手机APP，给家长提供一个导诊的信息。

（4）婴儿睡姿检测

婴儿睡姿对婴儿头骨的发育有着深刻的影响，良好的睡姿可以避免窒息等意外情况。婴儿看护仪通过夜视摄像头对婴儿进行监视，定时进行一次拍照并上传服务器，由服务器通过预先训练好的神经网络模型判断婴儿处于仰卧、左侧卧、右侧卧、俯卧等状态，如果服务器检测到婴儿单个睡姿保持超过一定时间，或者不满三个月的婴儿出现俯卧的睡姿，就向与设备绑定的手机发送消息，提示家长“宝宝需要调整睡姿”。

作品创新点

非侵入式的科学导诊

婴幼儿疾病导诊主要是针对婴幼儿的疾病预防采取的策略，旨在辅助家长判断婴幼儿是否存在某些疾病风险，从而可以尽量避免由于疏忽导致的婴幼儿治疗不及时所导致的婴幼儿身体发育等诸多问题。

婴儿需求分析

婴儿需求分析是父母日常生活中面临的一大难题，婴儿自身的需求大部分都是通过哭泣来表达的，如饥饿、疲惫、不适、疼痛等，如何通过对婴儿的哭声进行分析来理解婴儿所表达的个人需求是育儿过程中的一大难题。

人性化交互设计简化操作

客户端信息展示简洁明了，界面设计合理清晰，让用户使用更加顺畅，提升用户使用体验。电子监测设备尽量简化交互按钮，方便用户快速上手掌握操作，从而减少学习成本，增加受众群体。

行业市场

随着“全面二胎”政策的落地，我国新生儿数量将显著增加，再加之居民消费能力的提升，未来五年我国婴儿产品市场需求将持续增长，其年增长速度将达到15%，预计在2020年其市场规模达到3万亿元。

2015-2020中国母婴行业市场规模（含预测）数据来源：国家统计局

（1）婴童服务市场结构转变

母婴市场可分为婴童产品、婴童服务、孕妇产品和孕妇服务四大品类。其中，婴童产品所占市场份额最大，其市场渗透率也高于其他三大品类。随着育儿观念的转变升级，国内新生儿家庭的消费观念有所转变，逐渐从注重吃、穿、用的产品消费升级到了育儿产品及服务消费，在育儿产品及服务方面的投入越来越多。

2015-2020婴童服务市场结构（含预测）数据来源：国家统计局

加之消费升级，婴幼儿市场中的消费需求开始从产品向服务蔓延，这不仅吸引了众多创业者和投资者的关注，也带来了许多商机。

另外，社会经济的稳步发展，我国居民可支配收入也稳步增加。这就使家庭在母婴类产品方面的购买力不断提升，再加上现在人们养生意识的逐步增强，因此人们在婴幼儿的项目上也更舍得支出。

（2）婴幼儿人口数量庞大

2016年我国开始推行“全面二孩”政策,当年新出生人口数即回升至1786万人,创下2000年来最高水平。2017年我国新出生人口虽比上一年有小幅下降,但出生人口数仍处于1700万人以上的高位。2018年新生儿数量比2017年减少了200万人,相当于2017年全年出生人口的12%左右。再将历史刻度拉长,2018年1523万的出生人口,也创下1962年以来的新低。尽管如此，中国婴幼儿的数量仍然庞大，2018年中国0-3岁婴幼儿超过5000万名。

2010-2018年中国新生人口数量及人口出生率 数据来源：国家统计局

（3）新生儿患呼吸系统疾病概率高

早产儿呼吸暂停流行病学研究发现，33～37周的早产儿，呼吸暂停的发生概率为15%，28～32周的早产儿发生概率超过50%，28周且体重低于1000克的早产儿，呼吸暂停几乎必定发生，而及时的触觉刺激和救治可以有效的缓解呼吸暂停症状。

呼吸系统疾病是儿科常见病，是导致儿童住院治疗的最常见原因，以呼吸道感染、支气管炎和肺炎多见。根据江西省高安市人民医院收集的2013年-2017年儿科住院患者的病案首页信息，按照国际疾病分类标准(ICD-10),对疾病构成及变化进行分析，得到结果如下：

（4）婴幼儿智能穿戴产业现状：

《可穿戴设备研究报告》显示，2015年，中国智能可穿戴设备市场规模为125.8亿元，增速高达471.8％。可见，可穿戴智能设备的市场发展迅速，在未来几年可穿戴智能设备极具发展潜能。针对儿童的可穿戴智能设备目前还处于起步阶段。市面上已经存在的儿童可穿戴智能设备主要有两类：关注安全和关注健康，其核心诉求同为＂监护＂。根据《2014~2018年中国婴童用品行业市场需求预测与投资战略规划分析报告》，在移动医疗领域，儿童可穿戴智能设备占5％~10％的比重。由此可见，儿童可穿戴设备作为智能可穿戴产品的一个分支方向，发展势头非常迅猛。

2011-2017年我国可穿戴便携移动医疗设备市场规模及预测 数据来源：前瞻产业研究院整理

当前随着国内老龄化社会的加剧和生育年龄的延迟，婴幼儿的看护任务正逐渐为家庭的繁重负担，一方面越来越多的老人已经有心无力替代子女履行看护责任，另一方面抚养成本的提高、工作压力的加大，子女极少能够为了照看孩子放弃已经积累一定成绩的工作，二者之间的矛盾不可调和。如何降低看护工作的强度和时间，如何科学培养婴幼儿良好的生活习惯，这是该类智能穿戴设备拓展市场空间的基点。

目标人群

随着85后、90后逐渐步入适婚年龄，新的消费观念和新的生活方式使其很大程度上采取不同于老一辈人的育儿方式。随着互联网时代的到来，信息化的生活服务和消费理念必将替代传统的育儿经验和育儿方式。根据知名大数据机构Quest Mobile的报告显示,2016年5月,移动母婴电商APP的用户同比增长145.4%,是中国社会消费增长率的十余倍、移动购物同业的四倍。

此外，由于新一代青年文化水平、收入水准的普遍提升，经济水平较高、购买能力较强、对下一代的培养愿意花费金钱和精力的家庭将成为母婴行业的消费主力。孩子的父母更注重品牌效应，往往口碑好，大家都爱用的产品会对他们的购买决策产生较大的影响。目前来说，80后、90后是主要的消费群体，其主要是独生子女居多，没有育儿的实践经验，所以对育婴知识需求强烈但经验欠缺；在消费水平上，现代父母大都是等事业稳定后才开始生孩子，具备一定的经济实力，消费大方，对产品的价格表现出不敏感；购买产品的时间上，因为上班等客观原因，孩子的父母在购买时间上比较受到限制，更倾向于购物方便的网络购物；在品牌选择上，会出现不理性消费，认为进口的一定比国产的好。

本产品从实时看护婴幼儿状态，确保婴幼儿身体健康的目的出发，面向没有育儿经验的家长以及广大无力照看婴幼儿的家长，同时将数据发送到平台处理诊断，对接医生，缓解家长看护婴幼儿的压力。

经济效益

（1）用户容量

2013年的单独二胎政策实施，由于小孩的抚养成本高等原因，儿童人口未能有预期的快速迅猛增长。根据国家统计局公布的数据显示，2016年，即全面放开二胎政策的当年是2000年以来的生育高峰，出生人口1786万，虽然没有达到预期的1900万增量，但要比2015年多出生131万；2017年全年出生人口1723万人，虽比2016年减少了63万人，出生率下降了0.52%，但相比2015年人口1655万出生人口要多68万，儿童人口数量还是在保持低速增长。

2016-2018年中国出生人口及出生率

据腾讯营销大数据显示，0-3岁婴幼儿群体约有5032万，微信的母婴人群（父母/祖父母）达9000万。80后、90后是中国互联网的主力人群，而现在，他们正在进入婚姻和生育年龄。当“剁手族”们开始转变为年轻一代的妈妈们，她们的消费重心也正在转向一个新的阶段：更加家庭化，妈妈也往往是一个家庭中消费大权的掌控人。

（2）经济容量

新生儿数量的持续增长为婴儿产品市场提供了广阔的空间。据《中国母婴童市场研宄报告》显示，中国母婴童市场于2009年起步以来一直呈现爆发式增长态势，整体市场规模由2010年的８千亿元增至2015年的1.8万亿元，年增长率高达17％。如今，在出生人口增长和消费能力升级的双重推动下，中国母婴童市场仍有巨大的潜力，预计在未来五年，将以每年15％的速度增长，至2020年，中国母婴童市场规模发展将接近3.6万亿元。

2015-2020中国母婴行业市场规模（含预测）数据来源：国家统计局

技术原理

产品技术

产品系统组成

本产品及其平台由两部分组成，分别为硬件设备与软件平台。硬件部分包括两项产品，分别是能够实时监测的智能守护手环，以及婴儿看护仪，通过硬件部分能实现婴儿数据的实时采集，同时在采集完成之后将数据反馈给家长。

软件部分包括手机APP，云数据收集平台，AI智能分析平台，医疗问诊对接模块。手机APP能及时分析采集到的数据，将分析结果（婴儿需求分析结果、睡眠质量分析结果）以及家长用听诊器进行疾病导诊时的分析结果及时反馈给父母。云数据搜集平台主要是搜集从家长那里获取到的数据，同时进一步建立产品的数据库。AI智能分析平台主要是将家长上传的数据进行实时分析，以及利用产品建立的数据库进一步精进模型。医疗问诊对接平台能够让家长在描述婴儿疾病的同时，补充婴儿的听诊结果，将听诊录音实时上传给专业医生，让医生通过听诊结果判断婴儿此时的身体状况。

产品设计

（1）婴儿智能看护仪

婴儿智能看护仪是可移动的手持检测设备，可以由家长随时分析婴儿的状态。

a. 产品外观设计

便携式检测仪尺寸大约略小于平板电脑，集成听诊器，摄像头，内窥镜，体温计等设备，可以连接手机和手环，并实时将数据发送到平台或授权的医疗机构，重量约为800g，易于存放与使用。设计了适用于本产品的粘贴条使之能粘贴于婴儿墙头或婴儿床头。

b. 产品部件及特点

表2-1 部分部件及性能参数

（2）智能穿戴式手环

产品智能手环是穿戴于婴儿手部的接触式实时健康监测设备。

a. 产品外观及安全性

为了避免过敏与穿戴设备给婴儿带来的不适，手表整体采用了食品级硅胶进行封装，正面有覆盖硅胶的显示屏以便配对和电量查看，几乎无辐射。机身不含任何尖锐或易脱落部件，同时手表均采用可食用色素进行染色，且表面不含金属，确保安全使用该产品。符合欧盟的EMF标准和儿童产品安全性标准指导。

b. 产品硬件实现

手环主体采用NRF1822集成芯片，功耗极低且几乎没有电磁辐射，中央处理器为32-bit ARM® Cortex™ M0 32-bit CPU。供电部分采用501230微型安全锂电池，可以供手环使用约12小时，充满电仅需10分钟。声音收集采用ISD1820模块，具有高灵敏度的特性。显示模块用于配对和电量查看，使用12864模块实现，心率监测采用MAX30102血液脉搏集成模块，准确率高。如下图所示：

c. 产品性能参数

手环主体使用NRF51822芯片进行封装，nRF51822 是功能强大、高灵活性的多协议 SoC，非常适用于 Bluetooth® 低功耗和 2.4GHz 超低功耗无线应用。

部分部件及性能参数

硬件技术

（1）录音设备

便携式检测仪录音部分采用 USB WM8960作为麦克风。每隔一段时间，单片机内置的程序将发送指令，预置的 ALSA 驱动平台将调用麦克风采用并生成 wav 格式的音频。

穿戴式手环采用ISD1820录音语音模块，功耗低，灵敏度高

（2）温度检测

便携式设备部分采用MLX90614非接触式红外测温传感器，MLX90614是一款功能强大的红外传感器件，具有极低噪声放大器和17位ADC。它可以为温度计提供高精度和高分辨率。关于MLX90614的最佳部分是它使用工厂的数字SMBus进行校准。这意味着它将提供0.02°C的高分辨率输出，并可连续传输 -20至120°C的测量温度。

（2）心率检测

MAX30102是一个集成的脉搏血氧仪和心率监测仪生物传感器的模块。它集成了一个红光LED和一个红外光LED、光电检测器、光器件，以及带环境光抑制的低噪声电子电路。MAX30102采用一个1.8V电源和一个独立的5.0V用于内部LED的电源，应用于可穿戴设备进行心率和血氧采集检测，佩戴于手指、耳垂和手腕等处。

（4）体感检测

智能手环体感检测部分采用GY-521 MPU6050模块，该模块可以获取三轴加速度，三轴角速度，从而实现获取婴儿的实时状态。

（5）电子听诊

电子听诊模块使用CM-01B压电薄膜接触式麦克风，CM-01B接触式麦克风是由灵敏度高，性能稳定的压电薄膜结合一个低噪音的前置放大器电路组成，能以缓冲输出的方式提供唯一的声音和振动信号的拾取。

（6）数据传输技术

本产品系统采用设备互联来实现从录音-分析-结构返回的一系列服务。用户用智能手环或者便携设备采集制作录音上传至云服务器，云服务器进行运算，并将处理结果返回用户APP或者授权的医疗机构。

a.智能手环的数据传输

智能手环使用蓝牙与WiFi（可选），蓝牙可与便携式设备或者手机连接，具有WIFI功能的手环可以直接连接互联网。无论以何种方式连接，数据都将通过TCP加密端口进行发送，数据采用AES256加密标准，认证采用ECC512安全标准，保证数据安全可靠性。

b.便携设备的数据传输

便携式采样完成后将会把音频文件传入使用 Python编写的 Socket 数据传输程序，传输程序会不断监听来自认证服务器的文件请求，收到请求后会将文件由WIFI或者有线网络发送到服务端。加密同样使用AES256和ECC512标准。

软件技术

产品的软件部分主要包括数据采集模块，数据整理分析模块，以及数据可视化以及线上就诊模块。其中数据采集模块通过便携式看护仪以及手机APP端采集各种视频与音频信息，数据整理分析模块负责接受端设备上传的多项数据，数据可视化模块负责接受云端返回数据，包括实时监控视频、分析结果、诊断报告以及婴儿其他状态提示等多种信息，根据信息种类以及轻重缓急程度将数据呈现给用户。线上就诊模块主要负责与线上医生的数据传输以及诊断结果或建议。其中数据整理分析模块包含了系统软件技术的核心——分析算法，下文将详细阐述数据整理分析模块所包含的算法流程与各部分算法的具体实现：

数据分析算法流程是：服务器分别将预处理后的视频和音频输入预先训练好的神经网络模型当中，从视频中分析得到宝宝目前是否入睡、是否盖被子的信息，从音频当中分析宝宝目前的状态有没有异常，如果宝宝正在哭，则分析宝宝哭的原因（如饿、冷、热、不适等），如果宝宝正在咳嗽，则分析宝宝是否为病理性咳嗽。如果系统判断目前宝宝健康存在问题，则推荐家长连接听诊器判断宝宝有无疾病以及患病类型及概率。算法流程如下图所示：

算法流程图

系统在图像分析算法上采用Tensorflow深度学习框架结合卷积神经网络，使用大量样本数据，且采用了迁移学习的技术实现了图像分析的功能。能够准确判断婴儿此时有没有踢被子，同时通过图像中是否有物体运动的检测来检测婴儿是否入睡。为了实现白天黑夜都能及时进行检测的功能，在开启固定式设备，将夜视摄像头对准婴儿后，通过手机的蓝牙与设备进行匹配，并控制设备连接到互联网。夜视摄像头的像素在1600W左右，一般设置为自动模式，在有光情况下不开启夜视模式，在无光情况下自动开启夜视模式。

卷积神经网络

统在音频分析算法上使用Keras深度学习框架，在大量样本数据的基础上，实现了婴儿状态分析，婴儿需求分析以及婴儿疾病分析三个功能。

针对婴儿状态分析，算法通过改进后的LSTM(时间循环神经网络,该网络输入数据无大小限制)，判断宝宝是否在笑、哭、咳嗽、打喷嚏、打鼾或尖叫。

长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的循环神经网络（Recurrent Neural Network，RNN）存在的长序列训练过程中的梯度消失和梯度爆炸问题而专门设计出来的，是一种特殊的RNN。

所有循环神经网络结构都是由完全相同结构的（神经网络）模块进行复制而成的。在普通的RNNs 中，这个模块结构非常简单，比如仅是一个单一的 tanh 层。LSTM内部主要分为三个阶段。首先，对上一个节点传进来的输入进行选择性忘记，通过计算得到的哪些需要保存哪些需要删除。其次，将输入有选择性地进行保存，主要是会对输入进行选择保存。当前的输入内容由前面计算得到的表示，而选择的门控信号则是由来进行控制。将前两步得到的结果相加，即可得到传输给下一个状态的。最后，决定当前状态的输出，主要是通过来进行控制。并且通过一个tanh激活函数进行变化来对上一阶段得到的进行了放缩。

LSTM单元结构

针对婴儿需求分析，利用谷歌公开的AudioSet数据集上预训练的模型，通过迁移学期将部分神经网络参数移至卷积神经网络模型。对于目标数据集，提取梅尔系数(MFCC)输入声谱图进入卷积神经网络进行训练，得到最终的CNN模型。

需求分析神经网络

针对婴儿疾病分析，通过呼吸声判断呼吸中是否有胸膜摩擦音、湿啰音、破裂音等并对疾病的种类做出判断是一件很困难的事情。因此算法通过提取MFCC算法特征再输入神经网络来进行处理。

MFCCs（Mel Frequency Cepstral Coefficents）是一种在自动语音和说话人识别中广泛使用的特征。梅尔频率倒谱系数（Mel Frequency Cepstrum Coefficient, MFCC）考虑到了人类的听觉特征，先将线性频谱映射到基于听觉感知的Mel非线性频谱中，然后转换到倒谱上。提取过程如下图所示：

MFCC提取流程图

同时将特征输入卷积神经网络当中进行分类，在每次经过全连接层和激活函数之后，利用dropout来减少过拟合、提高模型的泛化能力。Dropout作为训练深度神经网络的一种trick供选择，在每个训练批次中，通过忽略一半的特征检测器（让一半的隐层节点值为0），来减少过拟合现象。最终达到了87%的识别准确率。

疾病分析神经网络