基于視頻的生理參數測量技術及研究進展

　　摘要：生理體征參數的臨床監測對于個體的健康管理、疾病的預防與跟蹤具有重要的意義。遠程光電容積描計法(remotephotoplethysmography)是一項新興的、基于攝像頭的、無接觸方便快捷的生理體征參數測量技術。血管內部血液的流動造成人體表皮顏色的微弱變化，通過計算機對這一周期性變化的信息進行放大提取，便可以分析出與心臟運作相關的體征參數，如心率、血壓等。RPPG自2008年提出之后得到了飛速的發展，其準確率、魯棒性、實用性都得到了大幅度的提高。RPPG的檢測流程主要是從圖像傳感器獲取人體面部數據開始，隨后基于圖像及信號處理技術完成微弱脈沖波形的提取及相關體征參數的計算。本文從rPPG的基本檢測流程出發，首先對rPPG的硬件采集設備進行介紹，之后重點描述從rPPG中提取心率的算法，然后進一步介紹rPPG相關的應用研究，最后就未來rPPG可能的研究方向進行了展望。

　　關鍵詞：遠程光電容積描計法;無接觸測量;生理體征參數;光照;運動;深度學習

　　進行心率、血氧、血壓等能直接反應身體運作情況的人體心理活動參數的檢測，對了解個體的生理健康或者情緒狀態有著十分重要的意義。因此開發方便快捷的生理參數檢測方法具有很強的應用價值。當前，心電圖(Electrocardiogram，ECG)與光電容積描計法(Photoplethysmography，PPG)是心率檢測領域最常使用的兩門技術。ECG通過在人體的不同部位連接傳感器電極，采集體表不同部位的電信號，進而收集心臟的運作信息，是眾多生命體征儀器開發過程中的黃金標準。PPG則是利用光電技術在活體組織中檢測血液容積的變化，提取人體相關的體征信息，也是目前使用最為廣泛的心率檢測技術。

　　生物醫學論文投稿刊物： 現代電生理學雜志2017年目錄查詢

　　然而，二者都需要待檢者與檢測設備進行直接接觸，存在著一定的局限性。比如，當患者皮膚出現創傷或者新生兒皮膚尚未發育完全時，物理設備可能會給受檢者帶來二次傷害或者增加不適感。2008年，Verkruysse[1]提出remotephotoplethysmography(rPPG)，這是一種基于普通攝像頭的無接觸式生理參數檢測技術。RPPG的檢測原理與PPG是類似的，利用光學信息來分析生理體征參數。在心臟的驅動作用下，血液在血管內部進行周期性流動，同時動脈的搏動對血管群進行擠壓，從而造成光線傳播強度的周期性變化，反應到皮膚表面則呈現為皮膚亮度的變化。

　　通過圖像設備與待檢者保持一定的距離完成數據采集，隨后利用圖像、信號處理技術對這一部分微弱的變化進行放大分析，便可以提取出與心臟運作有關的生理參數，達到遠程無接觸檢測的目的。無接觸檢測技術是基于環境光作為探測光源，圖像傳感器作為數據接收裝置，因此受試者的肢體運動和環境光的變化成為影響rPPG檢測結果的兩大因素。最近十幾年間，學者們針對rPPG存在的干擾問題進行了大量的研究，該項技術的性能獲得了多方面的提升[2,3]：

　　(1)準確率與魯棒性得到了顯著的提高。從人體在靜態下進行測量到受試者可以完成簡單的肢體動作[4]，再到新生兒的臨床監護[5]和駕駛員操作狀態下的無干擾心率監測實驗[6]，rPPG從實驗室研究發展為實際應用;(2)在檢測設備上，除了常規的RGB相機，紅外與近紅外技術[7]的引入，使得rPPG的使用范圍大大提升，在低照明度下也能完成準確的心率預測;(3)基于深度學習的rPPG檢測算法也得到了極大的發展，從人工神經網絡[8]到與傳統檢測方法結合的皮膚檢測網絡[9]，再到神經搜索[10]，深度學習在提升rPPG抗干擾方面的能力吸引了眾多學者的研究興趣;(4)除了常規的心率檢測，rPPG也被用于呼吸率[11]、血氧[12]、血壓[13]等生理參數的預測。本文從rPPG的檢測流程出發，首先介紹圖像獲取與感興趣區域(RegionofInterest，ROI)選取的方法，隨后在提取及分析脈沖信號部分對如何提高檢測的魯棒性與準確率等方面，詳細介紹了rPPG的研究進展;之后就其應用研究進行簡述，最后展望了rPPG的未來研究方向。

　　1基于視頻的rPPG檢測流程

　　皮膚血管內的血紅蛋白對光線有較強的吸收作用，從而引起表皮顏色上的微弱變化，通過采集皮膚圖像并對這一變化信號進行捕捉放大，進而分析出相關的生理參數。

　　1.1面部數據采集

　　從理論上講，人體身上的每一處皮膚都可以捕捉到PPG信號[14]，但是手臂、小腿等位置由于皮膚深度、日常行動等因素，即使是在理想的環境下，也不足以提取出穩健的rPPG信號[15]，所以，無接觸檢測的部位一般為人體面部�；�于CCD模塊的彩色相機在rPPG領域內是最常使用的采集設備，低成本、成像質量高是RGB相機最大的優勢。在目前所開展的研究中，大多數實驗都是處于良好的照明條件下進行。

　　然而由于普通相機沒有附加光源，當環境照明度較低或者處于黑暗條件下時，RGB相機會出現成像質量差、幀速低的現象。針對這一情況，紅外技術的引入，提高了rPPG在低照明度下的檢測性能。比如，Sang[7]基于近紅外技術，提出一套無接觸心率檢測系統，提升了rPPG在黑暗環境下的使用性能;Hu[16]利用長、短波紅外技術設計了一套雙攝成像系統，在夜間完成了心率與呼吸率的高效檢測。除了紅外技術的使用，深度相機、多光譜成像技術的使用也增加了rPPG的應用范圍。

　　除了RGB相機，新引入的設備大多是為了解決低照明度下的檢測問題，比如，近紅外(NearInfrared，NIR)相機在黑暗情況下拍攝的圖像質量遠遠強于RGB相機[21]。當前大多數彩色相機是利用CCD作為圖像傳感器，工作方式是通過離散的像素點將光學信號轉為模擬的電流信號，再經過后續操作完成圖像的獲取存儲[22]。受限于這一工作方式，當環境光線照明度較低時，CCD模塊無法捕捉足夠的光信號進而轉換為電信號，所以獲取的圖像整體亮度較低，加大了后續數據分析的難度。紅外技術的使用提升了彩色相機在低照明度下的成像質量。但是，紅外相機的成像質量相對較差，所以CCD與紅外技術結合的雙模式成像方式受到了關注，并在rPPG檢測方面展現了良好的實驗結果。

　　1.2ROI定義

　　定義合理的ROI目的是減少環境噪聲的引入，包括非皮膚區的背景噪聲及面部器官活動等帶來的干擾。針對第一種情況，ViolaJones人臉檢測器是在rPPG領域最常用的獲取人臉區域的技術�；�于Haar特征和級聯結構，可以實時完成準確的人臉檢測，所以其一般用于rPPG的預處理階段，隨后再使用跟蹤技術完成全部圖像序列的ROI定義工作。由于面部皮膚不同位置的厚度、平坦度不同，rPPG信號在皮膚上的分布并不均勻[23]。因此，在VJ檢測器的基礎之上，膚色[24,25]和人臉特征點檢測[8]等計算機視覺技術被用于進一步提升定義ROI的精度及降低非皮膚區帶來的干擾。

　　1.3初始信號提取與解析

　　完成ROI的定義之后，需要從這一系列連續圖像中提取原始脈沖信號，進行相關的分析。對所提取的信號進行解析，一項開創性工作是盲分離技術(BlindSourceSeparation，BSS)[4,26]的應用。盲分離技術是一 種在沒有先驗條件的情況下，將源信號在可觀測的混合信號中分離出來的信號處理技術，在語音分離、生物醫學等領域得到了廣泛的應用[37]。最具代表性的盲分離技術是獨立成分分析(IndependentComponentAnalysis，ICA)，Poh等人[4]將RGB三個通道的信號輸入ICA矩陣，自適應分離出目標信號，而隨后的半盲源分離[38]，聯合盲源分離[30]，約束盲分離[39]都是在此基礎上的改進。但是BSS也存在著一定的缺陷，實際應用中，噪聲源的個數難以估計，同時盲分離技術對于輸入信號的長度也有要求。因而，模態分解技術[11]成為另外一種常用的rPPG信號解析方式，將單信號分解為多個具有單一中心頻率的子信號。

　　1.3.1降低運動干擾

　　基于相機的rPPG致力于給志愿者最自由舒適的檢測體驗，因此個體運動是影響rPPG檢測準確率最大的干擾因素。除了對個體進行運動補償，比如使用跟蹤算法[40]對ROI進行跟蹤來提升檢測的魯棒性，降低運動干擾的方法還可以分為以下三種。第一種方式是信息融合。面部不同區域的rPPG信號強度不同，賦予不同質量信號權重并進行融合，可以有效地提升rPPG信號的質量。Po[41]對人臉進行分塊處理，通過均值漂移和信噪比閾值自適應選取具有高質量rPPG信號進行加權融合，恢復高質量的心率信號。

　　Serge[42]提出基于超像素分割的rPPG信號提取方式，將人臉皮膚分割成多個像素塊，提取每一個區域的信號進行信噪比計算，通過賦予不同信號的權重進行融合，有效地提高了rPPG信號的質量。同樣的處理方式在Yannick等人[43]的研究中被使用，他們采用貝葉斯評價準則用于皮膚塊信號的評價，并以此計算權重進行融合，展現了良好的rPPG信號提取效果。類似的，基于信號頻譜主、次頻比值的rPPG塊提取[44]，基于不同區域膚色強度的信號加權方法[45]，多區域信號的加權融合展現了比單一區域更好的信號提取效果。

　　區域信息融合的方式通過賦予高質量信號更大的權重，降低低質量信號的參與，有效地避免了噪聲干擾，提升了rPPG檢測的運動魯棒性。而除了面部的信息融合之外，多相機的通道信號融合同樣展現了良好的檢測效果。例如，Cheng等人[34]證明了多個彩色相機的同步采集對于提升rPPG檢測準確率的有效性。信息融合是解決運動干擾非常有效的方法，賦予不同信號權重進行信號重建，可以提升rPPG信號的魯棒性，但是這需要較大的計算資源，對于皮膚區的檢測要求較高。此外，另外一種提升rPPG運動魯棒性的方法是顏色空間的轉換。

　　第二種是顏色空間的轉換。RGB空間是使用最廣泛的色彩空間，也是rPPG領域使用最多的顏色空間。RGB空間屬于加色系統，外界對三個通道的干擾是同步的，通過顏色空間轉換的方式，分離亮度和色度信息，在色度信息中提取血液的脈沖信號，可以有效地提高rPPG檢測的魯棒性。Yang[46]證明CIELab模式對提升rPPG運動魯棒性是有效果的，個體的運動只會影響信號在亮度通道上的分布，色度信號獨立于運動之外，只受血液流動的影響;色度信息的使用在deHaan[47]的研究中也被使用。

　　將脈沖信號從運動引起的干擾中分離出來，在同樣的運動實驗中，準確率比BSS算法提升了40%;對于同樣使用投影變換進行rPPG信號的提取，YCbCr[48]空間提取的信號平均信噪比RGB空間提升了69.3%，同樣采用修正策略，Cho[49]在HIS空間中，對圖像的像素點進行基于遞歸最小二乘法的噪聲消除，實驗結果表明，修正后的圖像所提取的rPPG信號與參考信號展現出了良好的一致性。不過，顏色空間轉換只適用于運動幅度較小的場景，只進行簡單的圖像轉換，對亮度信息的濾除效果是限制的，另外環境光噪聲的強度同樣會對色度的提取產生影響。

　　第三種方式是建立rPPG的光學模型進而降低運動的干擾以提升魯棒性。根據Feng所建立的光學模型[50]，三個顏色通道的信號都受到同一種運動的調制，因此提出基于紅色及綠色通道信號的自適應色差運算方法，先通過ROI跟蹤技術減少頭部運動的干擾，再經過色差運算去除受運動調制的散射、漫反射光強信號，剩余部分為運動調制的脈沖信號，最后根據rPPG信號的頻譜特性，由帶通濾波器進一步降低運動產生的造成。

　　1.3.2降低光照噪聲

　　rPPG以自然光作為探測源，照射到皮膚上的光線容易受到外界的干擾而影響表皮亮度的變化。不同于解決運動對rPPG檢測造成的干擾主要集中在算法層面，提升無接觸檢測的光照魯棒性可以分為硬件及算法兩個方面。不同成像技術的使用提升了rPPG的檢測性能，使得其在弱光環境下的檢測效率得到了顯著的提升。

　　但是，rPPG信號在可見光之外的光譜下強度是比較弱的，因此，Wang[17]利用窄帶雙頻濾光片代替紅外濾光片，提升了在紅外波段rPPG信號的強度。而不同于使用單一的CCD或紅外成像技術，Kado等人[53]在可見光與近紅外錄制的視頻中分別提取rPPG信號，并對面部進行分塊處理提取心率值，構建心率直方圖，通過融合不同的面部區域的信號，顯著地提升了rPPG在多種不同光照條件下的檢測性能。

　　此外，在弱光環境下，基于可見光的相機成像幀速會降低，無法捕捉到皮膚上微弱的變化信息，因此，Laurie[36]開發了一種曝光自控制算法，使得相機在低幀速的情況下也能提取出高質量信號。另外一方面，從算法的角度進行光照信息的濾除受到了更加廣泛的關注。第一種方式是對初始信號進行分解，從信號中直接提取處于人體脈搏范圍內的信息。

　　面部視頻的rPPG信號中包含了心率信號及噪聲信號，使用集成經驗模態分解(EnsembleEmpiricalModeDecomposition，EEMD)、小波分解[54]等信號分析工具將rPPG信號自適應地分解為多個具有不同頻率的模態，進而選取處于人體脈搏范圍之內的分量。這種信號解析方式可以有效地排除無規律光照噪聲產生的干擾，然而，當外界噪聲的頻率與心跳頻率接近或者光照強度過大以至于覆蓋了信號原有的脈動特征時，對單一信號的分解將會出現較大的誤差。

　　由此，Song[55]針對這一缺陷提出EEMDMCCA，有效地解決了使用單一模態分解工具無法應對周期性光照噪聲的缺陷。Song在面部的不同區域提取rPPG信號，由EEMD對每一組信號分解后將所得的全部子信號送入MCCA中進行進一步分離，在光照不均勻及多種光照變化的條件下，EEMDMCCA都展示出了良好的信號分解效果。此外，將光照變化的信息從提取的混合信號中進行濾除，對rPPG信號進行重建，同樣可以有效地提升rPPG在光照變化環境下的檢測魯棒性。

　　1.4相關體征參數的計算

　　完成rPPG信號的解析之后，可以根據信號的時域或者頻域特征進行相關參數的計算。心率與呼吸率的研究最為成熟，這兩個參數往往以頻率作為特征進行計算，二者的生理信號都具有明顯的周期性。主要分為兩種方式進行估算，基于峰值點估計與基于頻率估計。對于給定的時域rPPG信號，可以通過檢測并統計信號的極大值點數來得到心率的估計值[28]。一個極大值點代表一個心動周期。

　　2RPPG技術的應用

　　RPPG以自然光為媒介從人體表皮的連續圖像中進行心臟脈沖信息的獲取，不需要專業硬件，使用手機或計算機攝像頭就可以獲得心率、呼吸率、血氧飽和度、血壓等生理體征參數。這種無接觸、低成本、操作簡單的檢測方式除了用于臨床診治，還使得隨時隨地的健康監測成為可能，對于移動醫療、遠程醫療的推廣有著重要的意義。

　　3未來的研究方向

　　過去的十幾年間，rPPG各方面的性能都得到了很大的提升，從實驗室研究到臨床應用，再到商業產品的開發，基于相機的新型檢測方式帶給了受檢者舒適的體驗。但是rPPG仍處于技術的研發階段，存在著一定的局限性需要進一步去彌補和提高。為了進一步滿足實際應用的需求，rPPG的發展需要解決以下的兩個問題：

　　3.1皮膚差異

　　光線對不同位置皮膚的穿透深度不同，表皮對光線的吸收強度也不同。目前的研究結果表明，大部分rPPG算法在黑色人種身上的實驗效果是較差的[52]，同樣的情況也出現在以PPG為核心技術的部分運動手表中。這是合理的，rPPG與PPG都是以光作為探測源，而黑色素是人類皮膚的主要色素體。光線到達表皮再繼續深入內部，在表皮處會有一定強度的衰減，導致進入皮膚深層的光強降低。

　　黑色素越多，對光線的吸收強度越大，這一定程度上減弱了信號，降低了信噪比，增大了檢測結果的誤差。除了人種的差異之外，面部皮膚的遮掩如紋身、毛發，或者當受檢者處于高光環境而導致面部大面積油光反射，這些因素都會對微弱的周期性顏色變化信息產生干擾，從而rPPG的檢測準確率也會降低。進一步的工作可以集中于針對這些干擾因素而提出檢測性能更高的rPPG算法。

　　3.2數據庫

　　隨著深度學習的發展，rPPG算法逐漸由傳統的計算框架改由利用神經網絡進行特征的提取與結果的估計，而高質量的數據對基于深度學習的rPPG算法開發是非常重要的。此外，對于所提出的新算法也同樣需要大量的數據進行評測。然而，目前常見的數據庫大多數是在可控條件下采集的，施加的干擾大部分是人為添加。而在現實場景中，環境、個體對rPPG帶來的干擾是不可控的，同時也更具多樣化。

　　因此，我們需要更多更全面、更具多樣性的數據庫提出并共享，以此來評測所提出的rPPG算法，以及促進更多更高效和準確的檢測算法開發。同時，目前的數據集主要的實驗人員為健康的成年人，嬰幼兒、老年人以及有相關心血管生理疾病的病人等實驗人員的數據極少，而這一部分數據對于提升算法的泛化能力是極為重要的。因此，我們也需要有針對這一部分人群的數據庫提出，以此來對新算法的性能進行評估。

　　3.3其他限制

　　除了上述兩個主要問題之外，檢測距離的限制，檢測速度及實用性同樣是需要進一步解決的問題。目前所進行的研究，人臉與相機之前的距離多為0.6m左右，這在大多數情況適用于手機進行自我檢測，在實際應用中需要的距離往往更長，如ICU的監護，運動員的生理檢測等等。目前的rPPG算法主要檢測一段時間的平均值，這更適用于常規長時間的健康狀況監測，在Chen的工作也提到，rPPG更適用于中醫類似的監測系統，在需要實時放映心臟運作情況如ICU等醫護場所，rPPG存在著較大的局限�；�于視頻的心率檢測方法具有很大很廣的應用前景更潛能等待我們挖掘跟研究，我們同樣相信rPPG在生理監測，遠程醫療等領域能發揮出重要的作用。

　　4總結

　　遠程光電容積描計法是逐漸發展起來的一門無接觸生理體征參數測量技術，開展相應的研究具有十分重要的理論意義及使用價值。然而，目前仍存在著大量的難題需要去進一步地解決。本文總結了當前rPPG主流的算法模型，就rPPG測量的各項生理指標進行了介紹，以及就未來rPPG的研究前景進行展望。為了適應不同的臨床場景，目前已經開發了多種具有較高準確率和魯棒性的算法，并已在駕駛、醫療監測等領域完成初步應用。我們希望這篇綜述能讓讀者對rPPG有進一步的認識，也希望rPPG能夠進一步發展，真正在公共安全、健康管理及醫療領域發揮其應用價值。

　　參考文獻：

　　[1]VERKRUYSSEW,SVAASANDLO,NELSONJS,Remoteplethysmographicimagingusingambientlight[J].OpticsExpress,2008,16(26):2143421445.

　　[2]ROUASTPV,ADAMMTP,CHIONGR,etal.,RemoteheartratemeasurementusinglowcostRGBfacevideo:atechnicalliteraturereview[J].FrontiersofComputerScience,2018,12(5):858872.

　　[3]CHENX,CHENGJ,SONGR,etal.,Videobasedheartratemeasurement:recentadvancesandfutureprospects[J].IEEETransactionsonInstrumentationandMeasurement,2019, 68(10):36003615.

　　[4]POHMZ,MCDUFFDJ,PICARDRW,Noncontact,automatedcardiacpulsemeasurementsusingvideoimagingandblindsourceseparation[J].OpticsExpress,2010,18(10):1076210774.

　　[5]GIBSONK,ALNAJIA,FLEETJ,etal.,Noncontactheartandrespiratoryratemonitoringofpreterminfantsbasedonacomputervisionsystem:amethodcomparisonstudy[J].PediatricResearch,2019,86(6):738741.

　　[6]HUANGPW,WUBJ,WUBF,Aheartratemonitoringframeworkforrealworlddriversusingremotephotoplethysmography[J].IEEEJournalofBiomedicalandHealthInformatics,2021,25(5):13971408.

　　作者：陳嘉濤1，張泓凱1，黃燕平2,3，藍公仆2,3，許景江2,3，秦嘉2,3，安林2,3

轉載請注明來自發表學術論文網：http://www.cnzjbx.cn/jjlw/28890.html