混合現實技術如何幫助失智癥患者增強感知能力？

失智癥影響著全球數百萬人，并對個人參與日常活動的能力構成挑戰。積極的生活對于減輕癡呆癥的神經退行性影響至關重要，但失智癥患者往往難以獨立發起和完成任務。

現代技術提供了有希望的解決方案，幫助他們參與積極生活活動，并通過提示提高他們的生活質量。其中，混合現實（Mixed Reality, MR）技術在改善失智癥患者即時感知和行動能力方面的有著巨大潛力。

本文研究旨在更好地理解失智癥患者在混合現實環境中成功和正確感知提示的方式。通過觀察失智癥患者與四種混合現實技術的互動，探究他們對不同類型提示（視覺、聲音）的感知和反應，以期為混合現實技術在失智癥輔助技術中的應用提供科學依據（Desai et al., 2024）。

失智癥患者該如何重建生活？

失智癥是一種全球性健康問題，據阿爾茨海默病國際組織統計，全球有超過5500萬人患有失智癥，預計到2050年這一數字將增至1.39億。失智癥早期以輕度認知障礙和認知功能中度下降為特征，表現為工作表現下降、記憶力減退、注意力不集中、解決問題和管理復雜任務困難等。這些癥狀進一步惡化，會影響日常溝通和活動。

而積極生活可以通過促進失智癥患者與更大社區的聯系，并幫助他們管理身心健康來實現。這些活動應結構化和計劃化，以匹配失智癥患者的需求、能力和病程。例如，日常活動應包括購物、烹飪和家務等；輕度失智癥患者可參與輕度家務、整理、洗滌和準備冷食；晚期失智癥患者則可參與享受食物和飲料、味覺和嗅覺等活動。

混合現實技術的輔助潛力

神經心理康復方法通過適應環境和失智癥患者的行為來提供提示。例如，看護者常用膠帶封住微波爐上的數字鍵，以便失智癥患者知道按哪些數字來加熱食物。認知假肢方法則側重于增強患者的能力，而不是由看護者或技術代替患者完成任務。

而隨著傳感器和可穿戴技術的發展，混合現實技術（Mixed Reality, MR）有望變得更加普及。該技術通過在虛擬和物理世界之間提供沉浸式體驗，為失智癥患者提供了可擴展的輔助工具，并可根據不同應用、行為和情境進行編程，從而提高其可擴展性。主要通過增強現實（AR）和增強虛擬（AV）兩種方式，將虛擬元素融入物理世界或將物理對象融入虛擬世界。

通過理解失智癥患者如何感知和響應混合現實技術中的提示，可以為設計更加用戶友好、直觀的輔助技術提供指導，從而提高失智癥患者的生活質量。

在混合現實中與不同提示的交互行為

本研究采用設計研究（Research through Design, RtD）方法，通過觀察研究了解失智癥患者與混合現實技術的互動。

共招募22名患有阿爾茨海默病（AD）和輕度認知障礙（MCI）的失智癥患者，通過蒙特利爾認知評估（MoCA）工具評估其認知功能，然后患者分別在四天與四種混合現實技術，即AR技術（Microsoft HoloLens、Apple Arkit；圖1、2）和AV技術（Tangible Play Osmo、Microsoft Xbox Kinect；圖3、4）進行互動游戲。

圖1 飛行松鼠游戲                                        

圖2  搭積木游戲

圖3 七巧板游戲                        

圖4 保齡球游戲

采用游戲作為與失智癥患者互動的方式，因為游戲能夠創造響應性環境，允許參與者自然地與技術互動。游戲的選擇考慮了失智癥患者的興趣和能力，確保他們在不受時間限制的情況下自由探索。

整個過程中使用諾達思的行為觀察分析系統（The Observer XT）進行行為觀察分析，系統地編碼和分析視頻中的特定行為，從而量化失智癥患者在與混合現實技術互動時不同類型提示的感知和響應情況。

研究者對視頻記錄進行了主題分析，主要關注技術呈現的提示和被試的動作和手勢。通過計算每種提示類型被成功感知的概率，評估不同類型提示的有效性。

首先，研究者編制了編碼方案（表1），主要包括技術呈現的提示（視覺提示、聲音提示和研究者干預）和被試的動作/手勢（言語響應、身體動作、凝視、手勢和觸摸屏交互）。隨后在The Observer XT中以此標記出技術呈現的提示和被試的響應動作，最后用以計算失智癥患者成功感知提示的次數，以及每種提示類型被成功感知的概率。

表1

不同提示類型的即時感知概率

結果分析如下（圖5）：

（一）聽覺提示的感知

人類語音作為提示最容易被感知，因為它是一種自然的交互方式，與看護者和家庭成員的指令相似，而卡通人物的聲音和音調音色則較難理解。目前，虛擬AI助手在失智癥患者家中已被試用，并顯示出有效性。然而，未來研究需評估這些技術中對話的質量和性質。

（二）視覺提示的感知

符號和圖形提示最容易被失智癥患者感知，而動畫符號和圖形則較難理解。形狀提示的感知成功率適中，而閃爍的視覺元素則最難被感知。文本提示非常有效，但需避免使用復雜語言和隱喻。

（三）動作與手勢

非語言形式的交互（如手勢）比需要語言和語義認知處理的交互更有效。對失智癥患者動作的反饋提示具有很高的感知成功率，有助于減少認知負荷。失智癥患者能夠成功地使用不熟悉的手勢與混合現實技術互動。

圖5 成功感知提示的概率聚類條形圖

提高感知率的設計指南

本研究發現，人類語音、圖形符號和文本提示是失智癥患者在混合現實環境中最容易成功感知的提示類型。反饋提示對于提高感知成功率至關重要。這些發現為設計失智癥患者的混合現實提示提供了科學依據。

基于研究結果，提出以下設計建議：

•  使用人類語音：作為主要的提示方式，因為它自然且易于理解。

• 簡化視覺提示：避免使用復雜的圖形和動畫，使用直觀且易于理解的符號和圖形。

• 提供反饋：對失智癥患者的每個動作提供反饋，以減少認知負荷并提高感知成功率。

• 考慮非語言交互：利用手勢等非語言形式的交互，以提高失智癥患者的參與度和自主性。

未來研究可進一步評估不同提示組合的效果，并可以根據失智癥患者的個體差異（如認知障礙程度、興趣愛好）開發個性化的提示系統。此外，可以進行長期效果評估，進一步探究輔助技術對失智癥患者生活質量、認知功能和自主性的長期影響。

參考文獻

Desai, S., Mutsuddi, R., & Astell, A. J. (2024). Enhancing prompt perception in dementia: a comparative study of mixed reality cue modalities. Frontiers in Sports and Active Living, 6, 1419263.

關注諾達思公眾號，聯系我們獲取更多產品信息及學術文章！