隨著智能硬件和移動(dòng)計(jì)算的快速發(fā)展，物聯(lián)網(wǎng)在多個(gè)領(lǐng)域得到廣泛應(yīng)用，例如車載自組織網(wǎng)絡(luò)（VANET）、邊緣計(jì)算、智能家居或智能設(shè)備交互和控制等。智能家居系統(tǒng)控制照明、室溫、娛樂設(shè)施和電器等，像智能空調(diào)、冰箱和電視機(jī)等。如何以自然的方式控制它們或與它們交互成為了一個(gè)懸而未決的問題，關(guān)乎用戶體驗(yàn)。

目前智能家居場景中的人機(jī)交互主要有三種解決方案。第一種是結(jié)合手機(jī)觸發(fā)控制，例如在手機(jī)上安裝相關(guān)APP控制家電。這種交互方式只是將手機(jī)作為一個(gè)遙控器，延長控制距離。第二種是利用語音識別，將人類語言轉(zhuǎn)化為機(jī)器指令，提供人機(jī)交互體驗(yàn)。但是在一些特殊安靜的場景語音識別并不適用，或者有語言障礙的人無法使用這項(xiàng)功能。最后一種方法是使用基于相機(jī)或非基于相機(jī)的動(dòng)作識別。基于攝像頭的動(dòng)作識別是一種相對成熟的方式，但是隱私泄露的風(fēng)險(xiǎn)極大地限制了其應(yīng)用。非基于相機(jī)的動(dòng)作識別利用從商用MEMS傳感器（例如加速度計(jì)、陀螺儀和磁感應(yīng)器）收集的多個(gè)傳感信號來幫助智能設(shè)備了解用戶的行為意圖。

近年來，隨著科技的發(fā)展，智能設(shè)備層出不窮。一系列智能設(shè)備開始進(jìn)入人們的生活，比如智能手機(jī)、智能腕帶、智能手表和智能眼鏡等。

本文提到的智能手表預(yù)先嵌入了MEMS以外的多種傳感器，并使用了RFID相關(guān)技術(shù)。手腕的姿勢通過手表內(nèi)置的傳感器進(jìn)行識別，手指的識別主要通過柔性機(jī)械傳感器來實(shí)現(xiàn)，這些傳感器可用于檢測肌腱的運(yùn)動(dòng)和手腕形狀的變化。

智能手表是一種常見的可穿戴設(shè)備，通常配備陀螺儀、加速度計(jì)和磁力計(jì)等MEMS傳感器。這些傳感器可以收集與手腕和手臂運(yùn)動(dòng)相關(guān)的大量數(shù)據(jù)。這種交互方式具有成本低、使用方便、適用范圍廣等優(yōu)點(diǎn)。但是，該解決方案面臨許多困難。首先，低精度和高噪聲是智能手表內(nèi)置MEMS傳感器的共同特點(diǎn)。這對動(dòng)作識別的準(zhǔn)確性非常不利。其次，智能手表內(nèi)置的MEMS傳感器數(shù)量有限，通常不到3種，讓一個(gè)用戶佩戴多個(gè)智能手表顯然是不現(xiàn)實(shí)的。最后，手表佩戴者的手臂動(dòng)作復(fù)雜多樣，即使采用各種方法對傳感器進(jìn)行標(biāo)定，采用各種算法對數(shù)據(jù)進(jìn)行去噪，動(dòng)作識別的解空間仍然很大。因此，僅使用有限數(shù)量、精度較差的內(nèi)置 MEMS 傳感器很難在相對較大的空間內(nèi)準(zhǔn)確識別結(jié)果。

本文解決方案的主要思想是通過智能手表記錄用戶與設(shè)備的最新交互，然后猜測目標(biāo)的位置和軌跡。該方法主要包括兩步：手臂姿態(tài)估計(jì)和軌跡識別。

基于攝像頭的交互動(dòng)作識別

比較常用的基于相機(jī)的商業(yè)體感交互解決方案可能是 Kinect 系統(tǒng)，它利用紅外投影儀和探測器來避免光照變化或復(fù)雜背景的影響，并在 3D 空間中捕獲深度信息，例如體感游戲和智能控制。雖然基于攝像頭的解決方案可以精確捕捉動(dòng)作和交互意圖，但它們面臨著光照變化、復(fù)雜背景和部分遮擋物體的挑戰(zhàn)，以及額外的紅外傳感器會(huì)導(dǎo)致成本過高。

研究人員使用射頻信號和內(nèi)置 MEMS 傳感器來推斷用戶的動(dòng)作和位置。Apple Inc 推出 Apple Watch，它利用肌肉活動(dòng)的感應(yīng)來實(shí)現(xiàn)人機(jī)交互。但是，由于他們沒有挖掘歷史信息軌跡和限制臂展，他們無法實(shí)現(xiàn)與多個(gè)智能家電的復(fù)雜交互。

隨著智能手表應(yīng)用的增加，我們通過內(nèi)置 MEMS 傳感器提出了一種基于可穿戴設(shè)備的智能家居人機(jī)交互解決方案。

使用智能手表進(jìn)行動(dòng)作識別

通過對人體手臂骨骼進(jìn)行數(shù)學(xué)建模，將智能手表內(nèi)置MEMS傳感器采集到的數(shù)據(jù)轉(zhuǎn)化為與手臂運(yùn)動(dòng)密切相關(guān)的自由度（DOF）數(shù)據(jù)，向量機(jī)（SVM）的分類模型通過手臂的自由度數(shù)據(jù)訓(xùn)練，對特定人機(jī)交互場景中的動(dòng)作進(jìn)行分類識別。然后將識別結(jié)果應(yīng)用于智能家居的交互控制。智能手表就是收集數(shù)據(jù)、運(yùn)行識別算法并發(fā)出交互控制指令的主體。

雖然智能家居的人機(jī)交互控制需求有很多種，但最廣泛的類型可以分為三類。第一類是開啟和關(guān)閉。所有智能家居產(chǎn)品都需要這樣的交互。第二種是定量加減法。比如控制智能空調(diào)溫度的升降，控制智能電視音量的升降。第三類是方向控制。比如控制智能窗簾太靠近左邊，控制智能電視的菜單光標(biāo)向右移動(dòng)，控制智能空調(diào)向上吹等等。對于這三種人機(jī)交互，當(dāng)智能手表識別到相應(yīng)動(dòng)作時(shí)，即可進(jìn)行智能家居的交互控制。

首先，通過數(shù)學(xué)建模構(gòu)建手腕姿勢與手臂自由度到手臂骨骼的映射關(guān)系。根據(jù)人類的生理結(jié)構(gòu)，手臂的運(yùn)動(dòng)是由肩、肘、腕關(guān)節(jié)、下臂和上臂的兩個(gè)連接器決定的。三個(gè)關(guān)節(jié)和兩個(gè)連接器有一定的運(yùn)動(dòng)范圍（旋轉(zhuǎn)或位移）。為了描述手臂的運(yùn)動(dòng)范圍，我們需要使用自由度（DOF）的概念。智能手表通常佩戴在小臂上，因此我們可以忽略手的獨(dú)立運(yùn)動(dòng)。

借助人體手臂姿態(tài)估計(jì)模型，可以將智能手表內(nèi)置的MEMS傳感器采集到的數(shù)據(jù)轉(zhuǎn)化為與手臂運(yùn)動(dòng)密切相關(guān)的自由度數(shù)據(jù)。

交互動(dòng)作識別流程圖

一般情況下，只有當(dāng)用戶在家時(shí)，才需要與智能家居產(chǎn)品進(jìn)行交互。此時(shí)，智能手表和智能家居接入同一個(gè)Wi-Fi路由器。因此，當(dāng)智能手表檢測到家庭Wi-Fi路由器的SSID時(shí)，則認(rèn)為已經(jīng)進(jìn)入動(dòng)作識別場景，反之則認(rèn)為已經(jīng)離開動(dòng)作識別場景。

進(jìn)入動(dòng)作識別場景后，智能手表開始采集內(nèi)置的MEMS傳感器數(shù)據(jù)。接下來，我們需要從自由度數(shù)據(jù)的動(dòng)作段中提取特征。這種提取方法使得識別動(dòng)作更加可行。

實(shí)例驗(yàn)證

我們邀請五名志愿者將LG G手表戴在與手背同方向的左手腕上參加測試。

LG G Watch（型號W100，代號Dory）是LG和谷歌于2014年6月25日發(fā)布的一款基于Android Wear的智能手表，擁有512MB內(nèi)存和高通12GHz CPU。手表配備 9 軸（陀螺儀/加速度計(jì)/羅盤）、氣壓計(jì)和 PPG 以感知位置、姿勢、高度和心率。

每個(gè)人獨(dú)立進(jìn)行70組實(shí)驗(yàn)，每組實(shí)驗(yàn)包括2個(gè)觸發(fā)動(dòng)作、4個(gè)歷史交互動(dòng)作和1個(gè)隨機(jī)動(dòng)作。然后通過 Kinect 估計(jì)的性能來分析手臂姿勢估計(jì)模型的可靠性和準(zhǔn)確性。

選取幾個(gè)基本動(dòng)作進(jìn)行驗(yàn)證，取一組畫圓測試數(shù)據(jù)進(jìn)行展示，測試者用他的手表在空間中任意畫一個(gè)圓圈。下圖為肘部和腕部軌跡線對應(yīng)的圖。左邊是模型估計(jì)的結(jié)果，右邊是Kinect的結(jié)果。可以發(fā)現(xiàn)，雖然左右圖形的形狀略有不同，但兩個(gè)圖形的軌跡具有相同的趨勢。

繪制圓形軌跡線的模型估計(jì)結(jié)果和Kinect觀測結(jié)果（單位：米）

一些相關(guān)的歷史交互，例如加載頂部，加載底部，穿上東西和扔?xùn)|西，它們的識別準(zhǔn)確度如下圖所示。

通過歷史交互結(jié)果可以看出，智能手表識別動(dòng)作的準(zhǔn)確度很高，小于0.3m。

結(jié)論

本文的智能家居人機(jī)交互解決方案，主要包括手臂姿態(tài)估計(jì)模型和軌跡估計(jì)模型。利用 MEMS 傳感器記錄的手臂約束和歷史信息，實(shí)現(xiàn)了基于細(xì)粒度動(dòng)作識別的智能家居與粗粒度 MEMS 傳感器的交互。

此外，引入更高效和有效的去噪濾波算法，以應(yīng)對低成本內(nèi)置傳感器的挑戰(zhàn)。此外，我們可以將輕量級深度學(xué)習(xí)網(wǎng)絡(luò)（例如 MobileNet）移植到可穿戴設(shè)備以推斷用戶的活動(dòng)。

隨著智能手表和智能商品的普及，其計(jì)算能力和品類也將迅速增加。智能家電最終會(huì)走向智能家居，人機(jī)交互是未來既定趨勢。