学习型 · 轻量模型
TinyHR
远程光电容积描记(rPPG)从人脸皮肤反射光的细微变化中估计脉搏信号。TinyHR 输入 160 帧、128 × 128 像素的人脸视频,通过轻量卷积管线强化相邻帧差异、提取紧凑空间特征并进行多尺度时间建模。模型先预测 rPPG 波形,再通过滤波与频谱分析计算心率。
01
帧差融合 Stem
融合相邻帧差异,突出人脸皮肤中与脉搏相关的细微颜色变化。
02
空间 Patch Embedding
将逐帧空间特征压缩为紧凑表示,同时保留完整时间序列。
03
多尺度时间特征块
通过多个时间偏移分支捕获不同尺度的生理变化并进行残差融合。
04
波形预测头
为每个输入帧生成一个 rPPG 波形值,再交给确定性的信号处理管线。
推理
从波形到心率
推理时使用带通滤波保留 0.75-2.5 Hz 的生理频带,再通过 Welch 方法估计功率谱密度,将主频转换为每分钟心跳次数。
心率(BPM)= 60 × 主频(Hz)