近日，由香港科技大學（HKUST）電子與計算機工程學系申亞京教授領導的研究團隊，提出了一種基于數(shù)字通道的觸覺交互系統(tǒng)，可以實時測量來自手不同部位的分布力，有望在醫(yī)學評估、體育訓練、機器人和虛擬現(xiàn)實（VR）等多個領域實現(xiàn)應用。

經(jīng)過數(shù)百萬年的生物進化，手已成為人類意識最直接的延伸之一。我們?nèi)粘Ｊ褂玫脑S多交互設備，如手柄、鼠標、鍵盤和觸摸板，都是為了方便手的使用而設計。然而，盡管手在我們的生活中起著至關重要的作用，但我們對手產(chǎn)生的力知之甚少。例如，抓握時每跟手指產(chǎn)生的力有何不同？手掌的力如何分布？這一知識空白極大地阻礙了包括精準醫(yī)療、體育訓練、機器人技術、虛擬現(xiàn)實操作等多個領域的發(fā)展。

圖1 基于液壓、氣壓和機械彈簧原理的握力計 近幾個世紀，基于液壓、氣壓和機械彈簧原理的握力計是評估人手施加的力的常用方法，但它們只能提供最大力的信息，缺乏空間和時間的細節(jié)分布（圖1）。柔性觸覺仿生皮膚的發(fā)展為測量力的分布提供了新的機會，按其原理，可大致分為兩類：基于電信號的陣列式傳感（壓阻式、電容式、壓電、摩擦電等）和基于視覺的傳感技術（Gelsight、Tactip、TacLINK、Insight等）?；陔娦盘柕?a href="http://www.qiaming.cn/v/tag/117/" target="_blank">傳感器在單點力測量時精度非常高，但存在大面積復雜接觸變形時引起的串擾問題，出現(xiàn)精度下降。基于視覺的方法可以避免電信號的串擾問題，提供更高的魯棒性，但其量程范圍通常較?。ㄍǔ?10N），且同樣面臨多點大面積接觸時精度不足的問題。此外，其標定常需要大量數(shù)據(jù)集（通常>1GB）。簡而言之，現(xiàn)有的柔性觸覺傳感方式獲得的信息，本質上是來自多個未知負載源耦合的復雜模擬信號，這使得分布力的解碼非常復雜，特別是對于多點大面積復雜接觸的力分布，如手部的握力。

在最近的一項研究中，香港科技大學申亞京團隊通過引入“數(shù)字通道”的概念，在分布力的接觸位置上生成可辯別的時序數(shù)字信號，解決了多點大面積復雜接觸問題，并提出了一種以手為中心的觸覺交互系統(tǒng)（PhyTac，圖2與圖3）。PhyTac由帶有標記點陣列的仿生外殼、偏振線性光源和運動捕捉攝像頭組成。當PhyTac受到手部施加的力時，其外殼會發(fā)生變形，同時攝像頭會捕捉到每個標記點的運動。隨后，利用所有標記點的位移作為輸入，物理模型增強神經(jīng)網(wǎng)絡（FEM-NN）能夠準確建立標記點位移與手部力分布之間的映射關系。因此，系統(tǒng)能夠重建手部豐富的觸覺力學信息，與現(xiàn)有的設備相比增加了至少兩個數(shù)量級的信息量，從而在新一代的人機交互中可獲得廣泛的應用（圖4）。

圖2 兩個尺寸的PhyTac

圖3 A. PhyTac的整體結構和組件。B. 受TrkB+啟發(fā)的數(shù)字通道。C. 受螺旋女王蘆薈啟發(fā)的螺旋式標記點排列方法

圖4 PhyTac的工作機制及潛在的廣泛應用。 “數(shù)字通道”概念的引入，可以準確識別復雜接觸的位置，從而準確解碼大面積接觸問題中的分布力。當標記點的閾值開關被激活時，它們被表示為邏輯“1”，而其他標記被表示為邏輯“0”，從而形成一個代表關鍵力空間分布的數(shù)字通道。此數(shù)字通道不僅能過濾掉來自周圍刺激的不必要干擾，還能以較少的計算資源提供具有物理意義的高質量數(shù)據(jù)（圖5）。通過將物理模型融入人工智能模型訓練，數(shù)據(jù)集的大小可顯著減少到僅45 KB，遠小于傳統(tǒng)方法（通常需要超過1 GB的數(shù)據(jù)集）。因此，即使使用極小的數(shù)據(jù)集，該設備也能從多重耦合的模擬信號中準確識別出高達368個區(qū)域的多點刺激，對于力的重建精度也高達97.7%。

圖5 引入數(shù)字通道后，分布力的位置與幅度均可精確重建。

“針對大規(guī)模分布式觸覺傳感技術，‘數(shù)字通道’的概念能夠為解碼力的位置提供一個新的維度，從而僅通過極小的數(shù)據(jù)集就可實現(xiàn)高精度和高魯棒性?！鄙杲淌诮忉屃诉@項研究的背景。

自然界中，螺旋女王蘆薈的旋轉葉序能夠避免葉子互相遮擋，從而來最大化得捕獲陽光（圖3C）。受此啟發(fā)，研究者將標記點以類似的螺旋結構排列以優(yōu)化光路，使得PhyTac避免了由標記點互相遮擋引起的精度下降，并顯著提高了標記點的分布密度，這最終提高了力的傳感范圍和分辨率。

圖6展示了物理模型增強神經(jīng)網(wǎng)絡（FEM-NN）的原理及其在小數(shù)據(jù)集上的優(yōu)勢和高精度。FEM-NN的輸入是由數(shù)字通道得到的關鍵節(jié)點(key nodesof interest, KOI)和位移矩陣,輸出為增廣剛度矩陣，其僅需要一個很小的數(shù)據(jù)集(45KB)。引入的物理模型建立了一個力學框架（FEM），將標記位移和力大小聯(lián)系起來，并提供了包含PhyTac材料、幾何和力學性能的寶貴先驗知識。FEM-NN模型既采用了此力學先驗知識，并得益于神經(jīng)網(wǎng)絡的強大擬合能力，有效地彌補了有限元模型與現(xiàn)實世界模型之間的物理缺失。結果表明，F(xiàn)EM-NN在整個量程范圍（0.5 ~ 25 N）內(nèi)均保持了較高的精度，力的平均絕對誤差為0.11 N，平均相對誤差僅為2.3%，優(yōu)于傳統(tǒng)基于純物理模型的方法和基于卷積神經(jīng)網(wǎng)絡的方法（圖6C）。

PhyTac可直接應用于握力分布的測量，這將有益于多種疾病（中風、類風濕性關節(jié)炎等）的評估和治療。與其他潛在的解決方案（如觸覺手套）相比，此方法更加魯棒、易用和無束縛。如視頻S2所示，它可精確地識別不同握持姿勢下握力分布的動態(tài)變化。

圖6物理模型增強神經(jīng)網(wǎng)絡（FEM-NN）的原理


研究者進一步將PhyTac安裝在網(wǎng)球拍上，并測量了擊打網(wǎng)球時手部的力量分布（如視頻S3所示）?！拔覀儼l(fā)現(xiàn)正手擊球時，力量主要集中在食指、中指和無名指上。相比之下，反手擊球時的力量分布則有所不同，其中拇指、無名指和小指貢獻了更多的力量?！北狙芯康牡谝蛔髡咛埔环逭f道。

圖7 正反手擊球時力分布的對比

PhyTac還能通過將現(xiàn)實世界中的分布力投射到虛擬世界中，實現(xiàn)精確的虛擬現(xiàn)實（VR）操控。使用者可以用拇指和食指小心翼翼地托住一個雞蛋而不將其捏碎，或者當總力量超過一定閾值時用三根手指捏碎它。同樣地，作者還展示了用握力捏碎花瓶，以及如何用不同的分布力精確操控軟球的變形（圖8和視頻S4）。“此外，得益于PhyTac在三維空間中的靈活性，它可以作為遙控操作界面，控制機器人手拿起、握住并傳遞一個薄塑料杯，而不會將其捏壞?！碧埔环逖a充道。詳細視頻于視頻S5中展示。

圖8 在虛擬世界中精確操控雞蛋、花瓶和軟球（上圖）。遙控機器人手抓取、握住和傳遞物體（下圖）。

對于下一步的研究工作，團隊計劃將“數(shù)字通道”概念應用于其他幾何形狀的視觸覺傳感器上。他們認為，當克服干擾問題時，其他類型的分布式軟觸覺傳感器，如電阻式和電容式傳感器，也將從這項研究中獲益。

“我們的目標是為物理世界、虛擬世界和機器人之間建立智能交互的橋梁。PhyTac是實現(xiàn)這一目標的重要一步。它加深了我們對手部動作的理解，我們期望它能成為一種以手為中心的媒介，在醫(yī)學評估、體育訓練、機器人和虛擬現(xiàn)實（VR）等多個領域實現(xiàn)應用?！痹擁椖康呢撠熑松陙喚┙淌谡f道。

這項工作的其他共同作者包括來自香港科技大學的博士后研究員李根博士、張鐵山博士以及研究助理教授楊雄博士，來自香港城市大學的任豪和郭棟，以及來自南開大學的楊柳教授。此研究成果已發(fā)表在《科學進展》（Science Advances）期刊上，論文標題為Digital Channel-enabled Distributed Force Decoding via Small Datasets for Hand-centric Interactions.

來源：高分子科學前沿