近日，中科院半導體研究所王麗麗研究員和合作者，研發出一款碲半導體多功能感知融合整合系統（

Nature Communications

， 2022， 13， 5975），在觸覺神經反饋迴路系統的重構、感算一體、元宇宙等領域其具備很好的應用前景。

圖 | 王麗麗（來源：王麗麗）

對於相關論文，一位來自多功能感知器件科研領域的審稿人評價稱：“The paper developed a high-performance Te sensor and proved its potential in various areas。 The noteworthy result is the improvement of VR somatosensory feedback， which is realized by sensor materials。 This work is significant to the sensor field。 This is a major advance of semiconductor sensors in the application of high-tech scenarios。”“（作者）開發了一種高效能的 Te 感測器，並證明了其在各個領域的潛力。值得注意的結果是 VR 體感反饋的改進，這是透過感測器材料實現的。這項工作對感測器領域具有重要意義，是半導體感測器在高科技場景應用中的一大進步。”

據悉，該團隊的研究一直致力於開發多模態（光、聲、力、熱等）半導體感測整合系統，用於人-機-物三元融合和智慧醫療資訊科技等領域。

（來源：Nature Communications）

近年來，人工智慧、精準醫療以及虛擬現實等技術的快速發展，也對電子裝置的訊號採集和處理提出了更高要求。

而透過模仿人體感知器官的多模態感測器，可以將各種形式的外部刺激轉換為電訊號，從而實現對外部訊號的視覺化傳輸和記錄。

同時，由於具備輕便易彎折、靈敏度高、可靠粘附人體面板及衣物、無需醫學專家和固定儀器幫助的特點，只需將這類多模態感測器穿戴在人體不同部位，即可從人體中獲取重要生物資訊的特性。這對於行動式的醫療系統、以及元宇宙人-機-物互動的發展至關重要。

現有的半導體感測器已能實現單一功能的感知，比如壓力、溫度、氣體等。然而，相比單模態感知，在評估物體屬性、以及提高物體的識別精度上，多模態融合感知具有明顯優勢。

（來源：Nature Communications）

在傳統的多模態感知系統中，一般透過整合不同的感測器，藉此獲取多模態的資訊，這會帶來較大的功耗、以及高昂的通訊頻寬開銷。

因此，需要開發新型器件結構、以及新型敏感傳導機制，來滿足單一感測器對於外部多模態資訊的感知和融合。針對這些問題，該團隊首先開展了半導體多功能感知整合系統的設計。

當下，多功能感測器的敏感材料，多數以有機材料或石墨烯等二維材料為主。雖然這些器件具備很好的敏感效能，但也存在無法與傳統工藝相容、以及訊號干擾大等問題。

為此，課題組採用半導體 Te 奈米線陣列作為功能層。由於 Te 是很好的壓阻及熱電材料，因此在面對外部壓力時，該器件既能做出很好的壓阻響應，也能很好地識別溫差 ［1］。

由於壓力與溫度這兩個因素，會分別影響器件的電阻和輸出電勢。並且兩個因素互不干擾，使得這種單一器件可以同時感受外部壓力與外部溫度的變化。

當將器件與柔性電極相連，即可構成觸覺神經反饋系統，實現其在精準醫療領域的潛在應用。

此外，他們還將器件整合到手套上，透過帶入神經網路演算法，實現了不同材料和材質的準確識別。並將其引入虛擬現實場景，將現實世界中的物體對映到虛擬世界中，解決了目前 VR 手套主要是控制方向功能的弊端。

（來源：Nature Communications）

為進一步實現半導體多模態感知融合系統的構建，研究小組還設計了新型神經形態器件（

National Science Review

， 2022， 9， nwac158）。在不改變外部刺激條件的前提下，他們利用柔效能量儲存裝置實現瞭如下功能：透過調控系統中的阻值，來控制離子的積累和消散，藉此達成感測訊號和儲存權重 W 的耦合 ［2］。

同時，也能針對相似目標資料集實現自適應識別，讓重新計算帶來的時間損失和能量損失得以避免。基於此，未來可以結合不同型別感測器片上整合，進一步實現多模態感算一體架構。

圖 | 研究團隊（來源：資料圖）

對於這篇論文，一位擁有新型神經形態器件背景的審稿人認為：“The performance improvement mechanism in this manuscript is very interesting。 This device can be adjusted adaptively depending on the stored weight value to avoid the loss of time and energy caused by recalculation。 The study showcases the feasibility of a conceptual hardware neural network based on a novel flexible device in the future。”“該課題組的效能提升機理非常有趣，並且表明了未來基於一種新型柔性裝置的概念硬體神經網路的可行性。”

還有位審稿人表示：“In this work， the authors try to use a device with a new mechanism to solve the issue， so the reviewer agrees that it is a critical topic worth investigating。”“在這項工作中，作者使用一種具有新機制的裝置來解決這個問題，這是一個值得研究的關鍵話題。”

據介紹，該團隊一直在探索半導體感知晶片、在人-機-物融合資訊科技領域的應用 ［3］。

研究人員說：“多功能感知整合系統是我們的探索方向之一，但是在研究中也發現了很多問題包括訊號串擾、整合工藝以及訊號處理等。為了解決這些問題，我們一直沿著關鍵問題在開展工作與討論。”

經過的長期嘗試，他們最終選擇從源頭入手，選擇 Te 半導體作為多功能感知材料。原因在於 Te 是傳統的熱電材料，同時還具有壓電和光電特性。

而在研究伊始，該團隊先是驗證了 Te 奈米線的光電特性，研製了可穿戴光機互動系統 ［4］。在積累了材料生長和系統整合的經驗之後，他們利用 Te 半導體奈米線陣列的熱電及壓阻特性，實現了壓力與溫度的雙功能感知。

物體材質的兩個重要引數，就是彈性模量和導熱性。基於這種雙功能感知器件，課題組成功地實現了不同材質物體的識別。

近兩年，隨著智慧醫療資訊科技等領域的快速發展，元宇宙的概念引起了大家的關注。在構成觸覺神經反饋系統、以及實現醫療上的精準控制之後，研究團隊開始討論：這個整合系統是否也能用到元宇宙上？

而在智慧醫療資訊科技的應用中，他們確實納入了虛擬現實和 VR 眼鏡等。“當時我們就在想，大多數研究思路是將虛擬東西呈現在人的眼前，並且目前主要是以 VR 控制器為主。事實上，當前人們缺少一個能將現實世界的環境對映到虛擬世界的系統。”王麗麗說。

受此啟發，她和團隊決定將多功能感知系統應用到元宇宙中，藉此將現實世界的物體材質對映到虛擬世界，為元宇宙的進一步實際應用提供可能。

確定了想法後，他們一邊寫 VR 遊戲程式、一邊匹配硬體。經過幾個月的時間除錯，終於成功實現了物體對映。

而此次工作的完成，也是課題組初步把精準醫療和 VR 系統結合在一起的成果。未來，他們計劃把元宇宙應用到智慧醫療資訊科技之中。

據介紹，該團隊的研究主要聚焦在半導體感測晶片開發，無論是多模態感測晶片、半導體光電晶片、積體電路設計、還是新型神經形態器件的工作，課題組希望實現的是——將多功能異質異構整合，並面向人機物三元融合資訊科技領域中的健康管理，人機互動，感算一體等方向。

具體應用場景包括預防和診斷早期疾病、在體內以無毒無害的方式長期監控生理指標、賦予機器人類似於人的五官感知、以及元宇宙人機互動等。

詳細來說，整個團隊被分成不同小組，每個小組都會深耕某一方向，從而讓每個工作都具備連續性。

每一個方向相輔相成、相互協作，最終目的是推出可產品化的半導體感測晶片或醫療裝置。

參考資料：

1。

Nature Communications

， 2022， 13， 5975

2。

National Science Review

， 2022， 9， nwac158，

3。 http：//www。sschip-lab。com/

4。

Advanced Functional Materials

， 2021， 31， 2104782