【摘要】人工智能有助于構(gòu)建各種精準(zhǔn)模型為特殊兒童的精準(zhǔn)篩查與干預(yù)提供便捷的工具。人工智能與特殊教育的融合是智能時代教育發(fā)展的一大趨勢,有助于保障特殊人群享有均等化的教育服務(wù),最大程度挖掘其潛能,發(fā)揮其價值。目前對孤獨癥與多動癥等關(guān)鍵性特殊人群的篩查與干預(yù)領(lǐng)域的研究仍處于初始階段。為此,需要推動構(gòu)建基于多維數(shù)據(jù)機(jī)器學(xué)習(xí)的篩查指標(biāo)體系、基于視覺識別技術(shù)的智能快速輔助篩查系統(tǒng)、基于虛擬增強(qiáng)現(xiàn)實技術(shù)的互動干預(yù)系統(tǒng),在此基礎(chǔ)上推進(jìn)以學(xué)校和家庭為實施場域的遠(yuǎn)程移動篩查與干預(yù)平臺建設(shè)。
【關(guān)鍵詞】特殊教育 人工智能 特殊兒童篩查 特殊兒童干預(yù)
【中圖分類號】 G76/G434 【文獻(xiàn)標(biāo)識碼】A
【DOI】10.16619/j.cnki.rmltxsqy.2024.17.005
【作者簡介】王沛,華東師范大學(xué)紫江學(xué)者特聘教授、博導(dǎo)。研究方向為特殊人群社會認(rèn)知發(fā)展、醫(yī)患關(guān)系等。主要著作有《社會認(rèn)知心理學(xué)》《中國國家形象:內(nèi)涵與塑造》《大學(xué)生職業(yè)心理研究:基于職業(yè)決策困難與創(chuàng)業(yè)心智的視角》等。
特殊教育與人工智能的融合是智能時代教育發(fā)展的趨勢
人工智能與特殊教育的融合肇始于20世紀(jì)90年代。Geiman(1990)最早發(fā)現(xiàn),使用符號來描述和建模復(fù)雜系統(tǒng)的軟計算方法,能夠為教育專家和臨床醫(yī)生提供諸如對學(xué)習(xí)障礙和孤獨癥患者的鑒別與篩查工具。借助人工智能技術(shù),Georgopoulos等人(2003)發(fā)明的言語障礙篩查的模糊認(rèn)知圖(Fuzzy Cognitive Map, FCM)方法為教育專家和臨床醫(yī)生提供了針對言語障礙的篩查方案。Mayes和Freitas(2004)推出的MindSet(MS)應(yīng)用模型所支持的“意念耳機(jī)”有助于測量注意力缺陷多動障礙(Attention Deficit Hyperactive Disorder,多動癥)兒童的注意力水平。Hernández等人(2009)開發(fā)了一種篩查兒童學(xué)習(xí)困難的專家系統(tǒng),該系統(tǒng)包括由一系列心理學(xué)篩查策略組成的知識庫,力圖找出輸入變量(年齡、性別、教育水平等)和輸出變量(精神、運(yùn)動技能、智力等)之間的關(guān)系。結(jié)果發(fā)現(xiàn),該專家系統(tǒng)能夠高效地篩查兒童的學(xué)習(xí)障礙。Jain等人(2009)提出了學(xué)習(xí)障礙檢測感知器模型(Perceptron Based Learning Disability Detector, PLEDDOR)。該模型是一個人造神經(jīng)網(wǎng)絡(luò),可以識別兒童的閱讀障礙、書寫障礙和數(shù)學(xué)學(xué)習(xí)障礙。ElSayed(2012)則研制了一個用于學(xué)習(xí)障礙兒童篩查的智能代理分類系統(tǒng)。該系統(tǒng)能夠識別學(xué)生的教育學(xué)和心理學(xué)特征,并提供與此相適應(yīng)的教育活動解決方案。
在此之后,大量研究采用機(jī)器學(xué)習(xí)以及構(gòu)建模型的方式為特殊兒童的精準(zhǔn)篩查提供了便捷的工具。人工智能是以機(jī)器學(xué)習(xí)為核心,以統(tǒng)計學(xué)、概率論、數(shù)據(jù)集以及其他計算機(jī)科學(xué)方法為基礎(chǔ),從數(shù)據(jù)集中導(dǎo)出精確預(yù)測模型的學(xué)科,是研究計算機(jī)如何模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為、獲取新的知識或技能、重新組織已有的知識結(jié)構(gòu)以不斷改善自身性能的學(xué)科。其中,機(jī)器學(xué)習(xí)技術(shù)包含支持向量機(jī)、決策樹、規(guī)則演繹、Boosting、Bagging、神經(jīng)網(wǎng)絡(luò)、Covering等涉及分類或模型的學(xué)習(xí)方法。目前已有不少研究團(tuán)隊利用孤獨癥案例數(shù)據(jù)集來構(gòu)建分類系統(tǒng)暨孤獨癥預(yù)測模型,以最少的人類參與自動進(jìn)行數(shù)據(jù)處理判斷新的病例。此舉一方面縮短了孤獨癥的篩查時間,另一方面大大提高了篩查的靈敏度、特異性和有效性。孤獨癥的篩查過程實際上是一個標(biāo)準(zhǔn)的分類問題:在自動分類模型中輸入數(shù)據(jù)集,建立預(yù)測模型,輸出篩查類型,檢驗結(jié)果,得出最終篩查報告。Fadi等人通過基于Covering算法的規(guī)則機(jī)器學(xué)習(xí)(rule machine learning, RML)尋找孤獨癥的病因,為檢測邊緣社交行為障礙提供了一定的依據(jù)。Duda等人利用6種機(jī)器學(xué)習(xí)算法提高了孤獨癥和多動癥高危兒童的甄別能力,縮短了孤獨癥和多動癥的鑒別時間。Pratap等人利用人工神經(jīng)網(wǎng)絡(luò)算法,實現(xiàn)了對孤獨癥嚴(yán)重程度(正常、輕度、中度、重度)100%的正確分類。近年來,智能技術(shù)的飛速發(fā)展,使得高效、便捷的遠(yuǎn)程智能篩查成為可能。例如,Galina等人(2016)開發(fā)了視覺障礙兒童遠(yuǎn)程智能學(xué)習(xí)系統(tǒng),該系統(tǒng)綜合考慮視覺障礙兒童的心理、生理特征和學(xué)習(xí)信息,采用智能統(tǒng)計方法處理多維數(shù)據(jù),進(jìn)而為視覺障礙兒童提供智能化的學(xué)習(xí)環(huán)境。
除了可用于特殊兒童的篩查之外,人工智能還可用于特殊兒童有關(guān)病癥的干預(yù)和治療。Strickland(1996)首次提出虛擬現(xiàn)實技術(shù)為孤獨癥患兒的干預(yù)與治療提供了新的途徑,并證明了這種新思路的可行性。此后,人工智能用于學(xué)習(xí)障礙、孤獨癥等的干預(yù)研究開始起步。起初,人工智能用于特殊兒童的干預(yù)研究和訓(xùn)練主要集中于閱讀或者書寫等學(xué)習(xí)技能、面部表情識別等與社交技能相關(guān)的單項技能。例如,Melis等人(2001)介紹了一種基于Web的ActiveMath數(shù)學(xué)智能輔導(dǎo)系統(tǒng)(ITS),用于提高數(shù)學(xué)學(xué)習(xí)障礙兒童的數(shù)學(xué)學(xué)習(xí)能力。ActiveMath允許兒童在自己覺得舒適的環(huán)境中學(xué)習(xí),使用人工智能技術(shù)生成自適應(yīng)課程,學(xué)生可以進(jìn)行建模、反饋以及互動練習(xí)。在ActiveMath中,兒童通過對自己掌握的概念進(jìn)行自我篩查來啟動各自的學(xué)生模型,選擇學(xué)習(xí)目標(biāo)和場景,并根據(jù)自己的學(xué)習(xí)進(jìn)度調(diào)整課程安排。與此同時,ActiveMath中的“眼睛追蹤器”能夠詳細(xì)追蹤和記錄兒童的注意力和閱讀時間。對該系統(tǒng)多年的實驗研究證明,智能輔導(dǎo)系統(tǒng)(ITS)在數(shù)學(xué)學(xué)習(xí)障礙兒童的學(xué)習(xí)過程中具有積極的干預(yù)作用和效果。Baschera和Gross(2010)開發(fā)了一款面向書寫障礙兒童的適應(yīng)性拼寫訓(xùn)練系統(tǒng)。該系統(tǒng)基于推理算法觀察兒童的書寫錯誤,篩查每個規(guī)則對于學(xué)生的難度,引導(dǎo)學(xué)生重復(fù)訓(xùn)練拼寫錯誤的單詞。Sebe等人(2006)基于視覺和音頻線索構(gòu)建了情緒聯(lián)合識別系統(tǒng),這種人機(jī)交互應(yīng)用系統(tǒng)不僅能夠識別6種基本情緒,包括快樂、驚喜、憤怒、厭惡、恐懼和悲傷,而且可以識別其他情感狀態(tài),包括好奇、無聊、混亂、沮喪等。該研究能夠給患有言語障礙和情緒障礙的孤獨癥兒童提供積極有效的干預(yù)訓(xùn)練。此外,還有大量研究聚焦虛擬現(xiàn)實技術(shù)對視覺障礙、孤獨癥等特殊人群的干預(yù)等相關(guān)議題。這些研究發(fā)現(xiàn),虛擬現(xiàn)實技術(shù)能夠營造安全的教育環(huán)境,解決傳統(tǒng)干預(yù)訓(xùn)練中無法有效解決的多來源感知困難問題,從而提供適合孤獨癥兒童思維特點的信息呈現(xiàn)方式,促進(jìn)兒童習(xí)得技能的遷移、認(rèn)知靈活性與心理理論能力的提升,提供個體化的治療,等等。
近10年來,隨著虛擬現(xiàn)實技術(shù)的發(fā)展與進(jìn)步,大量研究融合人工智能的虛擬現(xiàn)實技術(shù)推動干預(yù)訓(xùn)練逐步由單項訓(xùn)練轉(zhuǎn)向綜合訓(xùn)練。綜合訓(xùn)練以提高特殊人群的整體交際能力為目標(biāo),其所創(chuàng)設(shè)的情境更接近真實的生活,其中最著名的當(dāng)屬基于人機(jī)交互技術(shù)的E-CHOES項目和基于Brain Power System(BPS)數(shù)字行為輔助系統(tǒng)的社交技能訓(xùn)練系統(tǒng)。在E-CHOES項目中,孤獨癥兒童通過觸摸式屏幕與項目中的虛擬人物進(jìn)行互動。屏幕上端和兩側(cè)各有一個攝像頭,用于實時捕捉兒童頭部、臉部及注視軌跡的多模態(tài)數(shù)據(jù)。在E-CHOES項目創(chuàng)設(shè)的虛擬互動環(huán)境中,物體是可以觸摸和移動的,并且兒童可與情境中的虛擬人物共同完成某一交際任務(wù)。再如,BPS數(shù)字行為輔助系統(tǒng)的社交技能訓(xùn)練系統(tǒng)不僅能利用人工智能分析患者所處環(huán)境、互動情況等方面的量化數(shù)據(jù),而且在此基礎(chǔ)上研發(fā)了個性化的、具有增強(qiáng)現(xiàn)實技術(shù)的智能眼鏡。該眼鏡能為患者提供包括情感識別、面對面凝視、眼神接觸和自我行為管理在內(nèi)的綜合訓(xùn)練。該研究選取年齡分別為8歲、9歲的2名孤獨癥男孩作為實驗對象,以研究BPS的實用性。結(jié)果發(fā)現(xiàn),兩名男孩在非言語交流、眼神接觸、易怒性、嗜睡、刻板行為、多動或不配合性等方面均有所改善。
人工智能與特殊教育的融合是智能時代教育發(fā)展的一大趨勢。特殊教育是一個極其復(fù)雜的系統(tǒng),人工智能與其深度融合有著科學(xué)的思想基礎(chǔ),即全納教育理念、缺陷補(bǔ)償理論及多元智能理論。人工智能與特殊教育的深度融合旨在讓所有特殊人群擁有正常學(xué)習(xí)的可能,最大程度挖掘其潛能;讓所有特殊人群能夠更高效地學(xué)習(xí),最大程度發(fā)揮其價值;讓所有特殊人群的不同需求能夠有機(jī)會得到滿足,最大程度實現(xiàn)其補(bǔ)償效應(yīng)。由此,全納教育理念和人工智能與特殊教育的深度融合在一定程度上有了契合點,為人工智能應(yīng)用于特殊教育領(lǐng)域指明了方向。缺陷補(bǔ)償是特殊教育的重要理論之一,也是重要目的之一。所謂補(bǔ)償,就是抵消損失、彌補(bǔ)缺陷。缺陷補(bǔ)償有兩層含義:一是指用未受損的機(jī)體去補(bǔ)償已受損的機(jī)體,進(jìn)而出現(xiàn)新的機(jī)體組合和新的聯(lián)系;二是指運(yùn)用新的技術(shù)手段治療已受損機(jī)體,使其得到部分或者全面的康復(fù)。在智能時代,人工智能可以極大地延伸人類器官功能。憑借人工智能的應(yīng)用,我們可以傳遞大致相同的信息給特殊學(xué)生,利用不同的人工智能信號幫助特殊學(xué)生獲得相關(guān)信息以更好地融入社會。同時,憑借人工智能技術(shù)可以開發(fā)出適應(yīng)特殊學(xué)生的特殊工具來幫助其更好地接受教育。人工智能與特殊教育的深度融合將最大程度發(fā)揮缺陷補(bǔ)償?shù)膬r值,以人工智能技術(shù)彌補(bǔ)特殊學(xué)生身體或智力的不足,幫助其盡快進(jìn)入主流社會。人工智能與特殊教育的深度融合旨在充分挖掘特殊學(xué)生的優(yōu)勢智能,從而幫助特殊學(xué)生培養(yǎng)一定的社會技能,與此同時,提供針對性的個性化教學(xué),以滿足不同個體的特殊需求。由此,多元智能理論為人工智能運(yùn)用于特殊教育領(lǐng)域提供了清晰的理論與方向指引。
綜上,在人工智能與特殊教育的深度融合過程中,建設(shè)特殊教育智能輔助系統(tǒng)有助于突破傳統(tǒng)特殊教育學(xué)科發(fā)展與教育實踐中無法克服的短板或困難,使特殊教育獲得飛躍式發(fā)展,讓特殊兒童獲得正常學(xué)習(xí)機(jī)會和適應(yīng)社會發(fā)展的可能。
人工智能技術(shù)在特殊教育中的應(yīng)用
人工智能技術(shù)在特殊兒童篩查中的應(yīng)用。在特殊教育人群中,特殊兒童的發(fā)展往往受制于發(fā)病機(jī)理復(fù)雜難解、匱乏無助的教育代償作用以及對兒童社會適應(yīng)的巨大破壞。其中,孤獨癥和多動癥兒童的發(fā)展一直是特殊教育面臨的教育難題。以孤獨癥為例,據(jù)2017年發(fā)布的《中國孤獨癥兒童發(fā)展報告》數(shù)據(jù)推算,孤獨癥患病率約為1%,0~6歲兒童患病者已超過100萬,0~14歲兒童患病者達(dá)200余萬。孤獨癥兒童孤僻、刻板的社交行為以及多動癥兒童沖動、難以自我控制等特點不僅影響其自身的成長生活,更使教養(yǎng)者承受著巨大的心理壓力和經(jīng)濟(jì)壓力,容易引發(fā)嚴(yán)重的社會問題。比照孤獨癥與多動癥兒童的發(fā)展需要,當(dāng)前的特殊教育無法為此類兒童提供系統(tǒng)的專業(yè)技術(shù)支持體系和高效的篩查與干預(yù)手段,不能實時監(jiān)測與積極干預(yù)其發(fā)展?fàn)顩r,進(jìn)而導(dǎo)致特殊教育實踐與現(xiàn)實需求相脫節(jié)。
孤獨癥譜系障礙和注意缺陷多動障礙目前通行的篩查方法是通過廣泛的檢查來確定,包括一組行為兒科醫(yī)生和兒童心理學(xué)家的篩查,以及由合格的專業(yè)人員進(jìn)行篩查。這些嚴(yán)格的篩查檢查通常持續(xù)數(shù)小時,且存在較強(qiáng)的主觀性。實驗室篩查手段的缺位,導(dǎo)致無法實現(xiàn)相關(guān)癥狀的早期發(fā)現(xiàn)、早期干預(yù)。研究方便快捷、覆蓋面更廣的孤獨癥與多動癥的智能篩查與干預(yù)系統(tǒng)具有非常重要的現(xiàn)實意義。
總結(jié)近10年來國內(nèi)外人工智能與特殊教育的研究與應(yīng)用發(fā)現(xiàn),人工智能用于孤獨癥與多動癥群體的研究與應(yīng)用最多。諸多研究嘗試采用智能技術(shù)實現(xiàn)孤獨癥兒童能力的高效篩查,以此推動客觀、高效的篩查與干預(yù)研究。首先,大量研究團(tuán)隊利用智能算法探討了經(jīng)典的篩查標(biāo)準(zhǔn)(如DSM-5)、篩查工具(如ADOS-2、ADI-R等)的有效性問題。例如,Evers(2020)等人在算法中集成開發(fā)了決策規(guī)則,考察DSM-5發(fā)布以來國外廣泛運(yùn)用的三大篩查工具(Autism Diagnostic Observation Schedule-Second Edition, ADOS-2; Developmental, Dimensional and Diagnostic Interview, 3Di; Diagnostic Interview for Social and Communication Disorders-11th edition, DISCO-11)對孤獨癥兒童和青少年篩查維度和內(nèi)容的有效性、篩查標(biāo)準(zhǔn)的可操作性和行為的可觀察性。結(jié)果發(fā)現(xiàn),ADOS-2、3Di和DISCO-11三個篩查工具在篩查的數(shù)量、標(biāo)準(zhǔn)等方面存在非常大的差異,排除算法和分?jǐn)?shù)劃分,三大工具在遵循DSM-5篩查標(biāo)準(zhǔn)和分類上也存在非常大的差異。這些差異導(dǎo)致對于孤獨癥篩查的結(jié)果與DSM-5描述的癥狀與標(biāo)準(zhǔn)存在顯著差異,即實際發(fā)現(xiàn)的孤獨癥的癥狀與DSM-5制定的標(biāo)準(zhǔn)無法匹配,因此,非常有必要重新審視DSM-5制定的標(biāo)準(zhǔn)。
此外,一些采用人工智能技術(shù)的研究嘗試通過先進(jìn)與多樣化的算法以及在此基礎(chǔ)上構(gòu)建的模型進(jìn)行孤獨癥和多動癥橫向篩查與分類,提出新的篩查標(biāo)準(zhǔn)。以孤獨癥的篩查為例,Dinstein等人(2011)發(fā)表在Neuron上的fMRI研究在機(jī)器算法的支撐下形成了一個非常簡單的分類方法:在所選定的特征變量上設(shè)置一個閾值,低于該閾值篩查為孤獨癥,高于該閾值則歸為非孤獨癥。具體而言,他們以雙側(cè)顳上回的靜息態(tài)功能連接作為特征變量,將閾值設(shè)為0.38,低于閾值歸類為孤獨癥,高于閾值歸類為非孤獨癥,該篩查標(biāo)準(zhǔn)最終獲得了72%的靈敏度和84%的特異性。Liberoa等(2017)利用決策樹分類算法,以結(jié)構(gòu)成像為特征,基于異性值、徑向擴(kuò)散系數(shù)及皮層厚度對不同嚴(yán)重程度的孤獨癥進(jìn)行分類,獲得了91.9%的分類精確度。此外,還有大量研究利用深度學(xué)習(xí)等算法提煉孤獨癥大腦成像數(shù)據(jù)交換庫(Autism Brain Imaging Data Exchange, ABIDE)中的大數(shù)據(jù),進(jìn)行孤獨癥分類研究。例如,Hampton于2017年發(fā)表在JAMA上運(yùn)用常規(guī)統(tǒng)計方法的研究顯示,具有高遺傳風(fēng)險(high-familial-risk)的嬰兒在出生的第一年沒有異常行為表現(xiàn),采用神經(jīng)成像技術(shù)對24月齡或更早的嬰兒進(jìn)行早期腦部掃描可以預(yù)測其是否存在孤獨癥。同年,Nature上發(fā)表了一篇基于深度學(xué)習(xí)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)分類算法的研究,指出對具有遺傳風(fēng)險的6個月齡的嬰幼兒進(jìn)行結(jié)構(gòu)性磁共振成像(structural magnetic resonance imaging, sMRI)檢測能夠有效檢出孤獨癥(準(zhǔn)確度為94%,靈敏度為88%,特異性為95%)。也就是說,由人工智能技術(shù)支持的腦結(jié)構(gòu)掃描方法可以有效預(yù)測孤獨癥兒童。然而,該方法操作復(fù)雜、成本較高,不易普及,很難開展大面積篩查。
值得關(guān)注的是,大量研究通過智能技術(shù)收集和分析兒童日?;顒舆^程中的行為表現(xiàn)(如動作、面部表情等),進(jìn)而輔助孤獨癥與多動癥兒童的篩查。例如,Dickstein-Fischer開發(fā)的機(jī)器人視覺系統(tǒng)通過與計算機(jī)系統(tǒng)整合來跟蹤兒童的視線方向和關(guān)注焦點,進(jìn)而在兒童凝視的情況下,對比孤獨癥兒童與正常兒童的差異。視覺系統(tǒng)立體的攝像機(jī)可成功跟蹤兒童的位置移動,幫助進(jìn)行簡單的數(shù)據(jù)統(tǒng)計,如兒童與成年人保持多遠(yuǎn)距離、多久接近成年人一次、與成年人近距離相處時間多長、是否對成年人作出反應(yīng)等。此外,Anzulewicz等人(2016)通過對孤獨癥兒童玩平板電腦游戲時的手勢動作特征進(jìn)行向量分析來篩查兒童是否患有孤獨癥,準(zhǔn)確率高達(dá)93%。此外,也有研究將機(jī)器人技術(shù)與其他先進(jìn)技術(shù)整合,實現(xiàn)了孤獨癥兒童動作和情緒狀態(tài)的同步捕捉。比如,在機(jī)器人系統(tǒng)中安裝Kinect設(shè)備,能動態(tài)捕捉人類30個左右的關(guān)節(jié)運(yùn)動,同時跟蹤人類情感反應(yīng)。因此,分析兒童日?;顒舆^程中的行為表現(xiàn)為廣泛的篩查提供了可能。
人工智能技術(shù)在特殊兒童干預(yù)中的應(yīng)用?;谥悄芗夹g(shù)干預(yù)的主要技術(shù)路線包括智能機(jī)器人和虛擬現(xiàn)實技術(shù)。一些研究借助機(jī)器人代替/減少傳統(tǒng)治療師長期、反復(fù)干預(yù)所需的各種成本。更重要的是,機(jī)器人能精準(zhǔn)捕捉到兒童在互動環(huán)境中的真實表現(xiàn),進(jìn)行實時傳輸、數(shù)據(jù)儲存和行為分析;并且通過檢測兒童的注意力水平和互動同步性,提供反饋干預(yù)方案。例如,Bevil基于羅素的情緒環(huán)狀模型理論提取多維度和不同層級的情感對機(jī)器人進(jìn)行情感設(shè)置,并通過其肢體動作和面部表情表達(dá)出來,讓兒童對機(jī)器人的肢體動作和表情進(jìn)行簡單識別并模仿。此外,機(jī)器人技術(shù)可以創(chuàng)造簡單的交互式環(huán)境,以“同伴”身份與孤獨癥兒童進(jìn)行游戲互動,訓(xùn)練其各種技能,包括共同注意、模仿、輪流、語言表達(dá)和社會互動等。Boccanfuso(2016)設(shè)計了一個機(jī)器人遙控模式,操控機(jī)器人以玩伴身份與孤獨癥兒童進(jìn)行有趣的一對一的“模仿你,模仿我”和一對多的“姿勢傳遞”“帽子游戲”。在游戲過程中,機(jī)器人可做出有趣的動作或發(fā)出搞笑的聲音吸引孤獨癥兒童注意力,并能用語言或鼓掌的方式表示稱贊。
虛擬現(xiàn)實(VR)也是孤獨癥和多動癥核心缺陷干預(yù)的重要技術(shù)手段。VR是以一種安全的、可控的模式讓孤獨癥兒童體驗真實生活,并通過反復(fù)實踐,使其身臨其境于各種模擬場景中學(xué)習(xí)社交互動、對話技能、辨識他人情緒等。Parsons(2006)采用虛擬現(xiàn)實技術(shù)實現(xiàn)了基于現(xiàn)實生活的社會場景仿真,訓(xùn)練孤獨癥兒童在不同擁擠程度的咖啡館和公共汽車中就座,來提高其社會互動能力。Bekele(2006)設(shè)計的虛擬環(huán)境下多模式適應(yīng)社會互動系統(tǒng)(MASIVR),通過跟蹤孤獨癥兒童在不同虛擬社交環(huán)境中觀察人物面部表情的注意力,生成視線掃描圖案,進(jìn)而干預(yù)孤獨癥兒童的社會互動。Lorenzo等人(2016)利用沉浸式虛擬現(xiàn)實技術(shù)對孤獨癥兒童的情緒識別能力進(jìn)行了干預(yù)訓(xùn)練。
此外,智能技術(shù)的發(fā)展使得其在遠(yuǎn)端干預(yù)方面的優(yōu)勢逐步凸顯,表現(xiàn)為智能技術(shù)可以應(yīng)用于特殊兒童干預(yù)效果的監(jiān)測:智能系統(tǒng)能精準(zhǔn)捕捉到特殊兒童在互動環(huán)境中的真實表現(xiàn),并能進(jìn)行實時傳輸、數(shù)據(jù)儲存和行為分析。例如,Kim(2010)開發(fā)了一個機(jī)器人輔助試驗臺系統(tǒng)(robot assisted test-bed system),該系統(tǒng)由機(jī)器人輔助系統(tǒng)、個人數(shù)字輔助設(shè)備(Personal Digital Assistance, PDA)、遠(yuǎn)程服務(wù)器、接點、交換中心以及裝有麥克風(fēng)的攝像機(jī)組成。治療師可通過機(jī)器人系統(tǒng)觀察孤獨癥兒童和機(jī)器人之間相互作用的過程,隨時使用PDA設(shè)備輸入觀測數(shù)據(jù),利用手持設(shè)備IEEE802.11b/g無線頻道將數(shù)據(jù)傳送到遠(yuǎn)程服務(wù)器,存儲錄像和音頻信息,方便進(jìn)一步的數(shù)據(jù)分析。這種干預(yù)不僅體現(xiàn)了智能干預(yù)過程中人機(jī)互動的特點,而且呈現(xiàn)出智能干預(yù)客觀性和準(zhǔn)確性的優(yōu)勢。
當(dāng)前,基于虛擬游戲和人際互動相結(jié)合的方式,研究者基于大樣本孤獨癥兒童在VR場景中的眼動、頭動和身體運(yùn)動指示的注意機(jī)制、持久度和專注度等指標(biāo),對其進(jìn)行個性化干預(yù),同時基于VR技術(shù)進(jìn)一步開發(fā)“化身”的運(yùn)動和面部表情技術(shù),賦予“化身”更加自然的面部表情,進(jìn)而減少從現(xiàn)實到虛擬的社交信息的損失。
人工智能技術(shù)應(yīng)用于特殊兒童篩查和干預(yù)相關(guān)研究的進(jìn)展及主要領(lǐng)域。盡管國際上人工智能的發(fā)展非常迅猛,但其在孤獨癥與多動癥篩查與干預(yù)領(lǐng)域應(yīng)用的相關(guān)研究仍處于初始階段。主要表現(xiàn)在:在篩查方面,機(jī)器學(xué)習(xí)算法對孤獨癥和多動癥分類系統(tǒng)的“預(yù)測能力”除了依靠采樣和特征選擇方法之外,還嚴(yán)重依賴于輸入特征。同時,機(jī)器學(xué)習(xí)對孤獨癥篩查的研究還需要考慮去除特征重疊的數(shù)據(jù)、噪聲處理、篩查期間使用的措施、孤獨癥合并多重障礙的復(fù)雜病例識別以及數(shù)據(jù)集在篩查類型方面的不平衡等問題。更重要的是,機(jī)器學(xué)習(xí)因未能與傳統(tǒng)篩查/篩查工具有機(jī)整合而不夠完善,尚需各種預(yù)測模型與篩查工具有機(jī)整合后,才能為臨床和研究提供有效的篩查決策,這也為未來研究提供了方向。此外,遠(yuǎn)程虛擬技術(shù)已經(jīng)為家庭、學(xué)校篩查和康復(fù)創(chuàng)造了可能,有研究驗證了其可行性,并且回答了不同干預(yù)地點的結(jié)果一致性問題。但是,目前遠(yuǎn)程技術(shù)用于孤獨癥和多動癥的篩查研究還比較少,有待進(jìn)一步挖掘。更為重要的是,目前國內(nèi)外很少有研究將孤獨癥和多動癥這兩個在病因上聯(lián)系非常緊密的特殊群體相結(jié)合來開展智能化篩查與干預(yù)的系統(tǒng)研究。
綜上所述,當(dāng)前人工智能用于孤獨癥和多動癥篩查與干預(yù)的研究主要集中于以下方面:(1)通過智能算法對評價標(biāo)準(zhǔn)的有效性進(jìn)行篩查;(2)通過觀察兒童行為表現(xiàn)進(jìn)行早期篩查和預(yù)測;(3)通過機(jī)器學(xué)習(xí)算法分析腦功能等篩查過程的數(shù)據(jù),獲得更好的篩查結(jié)果;(4)通過游戲化場景來進(jìn)行孤獨癥的干預(yù)。同時我們注意到,盡管人工智能技術(shù)目前已經(jīng)可以對孤獨癥和多動癥的篩查和干預(yù)輔以一定工具和手段,但由于病癥本身的復(fù)雜性,相關(guān)應(yīng)用仍存在以下幾方面問題:(1)高質(zhì)量的數(shù)據(jù)源缺乏?,F(xiàn)有數(shù)據(jù)(行為數(shù)據(jù)、認(rèn)知數(shù)據(jù)、生理數(shù)據(jù)、遺傳數(shù)據(jù)等)并非通過智能技術(shù)收集,無法為人工智能的發(fā)展提供高質(zhì)量的訓(xùn)練數(shù)據(jù)集。一方面,若原始數(shù)據(jù)存在大量缺失甚至異常情況,則會導(dǎo)致數(shù)據(jù)無法使用;另一方面,大量的源數(shù)據(jù)可能因為來自多個子數(shù)據(jù)源而出現(xiàn)格式不一致問題,導(dǎo)致冗余信息等情況出現(xiàn)。(2)高性能的算法不足。面向各類篩查與篩查模型的算法雖然可以得出非常精確的結(jié)果,但神經(jīng)網(wǎng)絡(luò)算法的內(nèi)部是“黑箱”,且目前因沒有相關(guān)理論破解其內(nèi)部機(jī)制(“知其然而不知其所以然”)而飽受質(zhì)疑,因此有必要針對具體任務(wù)設(shè)計新的智能算法。(3)高沉浸的系統(tǒng)有待完善。目前游戲化互動場景雖然可以做到一定程度的干預(yù)和引導(dǎo),但是沉浸感和互動性不足,加之孤獨癥和多動癥兒童對于環(huán)境的反饋不同于一般兒童,導(dǎo)致取得的效果較為有限。因此,針對特殊教育領(lǐng)域的篩查與干預(yù),特別是孤獨癥和多動癥,迫切需要設(shè)計新的基于大數(shù)據(jù)學(xué)習(xí)技術(shù)的評價體系、基于感知智能識別技術(shù)的行為篩查技術(shù)、基于移動可穿戴互動系統(tǒng)的干預(yù)系統(tǒng),以便更精確、更便捷、更早期、更有效地進(jìn)行篩查和干預(yù)。(4)在數(shù)據(jù)集相對易于獲得、數(shù)據(jù)量較大的情況下,人工智能系統(tǒng)雖然能夠在算力支撐下得出高性能的模型,但是同樣需要考慮到模型過擬合的問題,并在孤獨癥個體特征差異較大的情況下需要特別注意提高模型的泛化能力。
人工智能與特殊教育學(xué)科融合的可能發(fā)展方向
方向1:基于多維數(shù)據(jù)機(jī)器學(xué)習(xí)的篩查指標(biāo)體系建設(shè)。目前孤獨癥和多動癥的篩查是由專家進(jìn)行的,他們使用標(biāo)準(zhǔn)問卷并通過人工觀察尋找特定的行為標(biāo)志。一方面,對兒童觀察、家長訪談和手工測試進(jìn)行解釋性編碼既昂貴又耗時。此外,由于專業(yè)培訓(xùn)、使用資源和文化背景的不同,臨床醫(yī)生的觀察可能存在主觀性,結(jié)果的可靠性和有效性有待商榷。同時,行為評級通常不會收集兒童在自然環(huán)境中的數(shù)據(jù),而這實際上對于病癥的判斷也十分重要。開發(fā)可以作為人類專家決策工具的機(jī)器學(xué)習(xí)方法,不僅可以節(jié)省篩查時間,而且有助于在決策過程中引入更客觀、可重復(fù)的措施。
總結(jié)近10年來國內(nèi)外人工智能與特殊教育相融合的研究與應(yīng)用發(fā)現(xiàn),其在孤獨癥和多動癥這一應(yīng)用領(lǐng)域亟待突破的科學(xué)問題是篩查標(biāo)準(zhǔn)的精度和敏感度相關(guān)問題。為此,可以應(yīng)用機(jī)器學(xué)習(xí)對國際通行常用的孤獨癥與多動癥篩查工具與篩查方法所指向的數(shù)據(jù)庫(量表數(shù)據(jù)、腦結(jié)構(gòu)數(shù)據(jù)、表情數(shù)據(jù)、動作數(shù)據(jù)等)進(jìn)行大數(shù)據(jù)分析,開發(fā)可以高精度區(qū)分多動癥和孤獨癥的簡化分類算法。通過已經(jīng)生成的篩查數(shù)據(jù),訓(xùn)練和測試不同的機(jī)器學(xué)習(xí)算法,為每種算法定制前向特征選擇方法,探索構(gòu)建適合中國國情特色的兒童篩查維度、內(nèi)容等分類系統(tǒng)。在此基礎(chǔ)上,利用機(jī)器學(xué)習(xí)算法獲得的預(yù)測模型,對實時收集的兒童目標(biāo)行為特征進(jìn)行精準(zhǔn)匹配,創(chuàng)立適合中國國情特色的智能孤獨癥和多動癥多維篩查體系,使其性能高于或不低于國際公認(rèn)的最佳臨床篩查系統(tǒng)。同時,探索將該系統(tǒng)架構(gòu)在智能移動設(shè)備上的方法路徑,以便廣大家長、教師和專業(yè)干預(yù)人員掌握和運(yùn)用。
方向2:基于視覺識別技術(shù)的智能快速輔助篩查系統(tǒng)建設(shè)。孤獨癥與多動癥的早期篩查一直是個難題。當(dāng)前隨著視覺感知識別技術(shù)的飛速發(fā)展,“刷臉”、視頻監(jiān)控等已經(jīng)得到了廣泛普及和應(yīng)用,視覺識別技術(shù)在自動化醫(yī)療篩查領(lǐng)域也有一些應(yīng)用。例如,基于計算機(jī)視覺的面部分析可以用于監(jiān)測血管脈搏、篩查疼痛、檢測面部癱瘓、篩查精神疾病等。同時,基于視覺識別技術(shù)能夠捕獲患者病情不顯著的客觀信息進(jìn)行智能輔助篩查,由此提供了一種低成本和非侵入性的方法,較之醫(yī)療檢查大大降低了費用和時間成本,具有高效性和便捷性。此外,由于視覺識別技術(shù)能夠做到“悄無聲息”的篩查,有利于消除潛在的偏見,減少決策過程中與人為因素有關(guān)的錯誤,其檢查結(jié)果可重復(fù)、更客觀。
社交障礙是孤獨癥譜系障礙的核心特征,包括表情在內(nèi)的面部特征被認(rèn)為是孤獨癥相關(guān)臨床研究的有效標(biāo)記物。因此,可以采用面部表情分析和RGBD頭部運(yùn)動分析技術(shù)來建立孤獨癥與多動癥自動篩查系統(tǒng)。具體地,可以嘗試采用深度學(xué)習(xí)方法從RGB數(shù)據(jù)中識別面部動作單元,并使用雙目攝像機(jī)記錄的RGBD(顏色+深度)圖像中的面部跟蹤數(shù)據(jù)來獲取頭部動作和面部動畫單元參數(shù)。對于通過三維傳感器檢測和跟蹤到的兒童相關(guān)數(shù)據(jù)(包括面部表情數(shù)據(jù),如持續(xù)表情、動態(tài)表情、微表情等),我們能夠提取特定區(qū)域的數(shù)據(jù),對數(shù)據(jù)進(jìn)行采樣和過濾,并跟蹤數(shù)據(jù)找出該區(qū)域中人或物體的大小和速度。除了面部表情以外,瞳孔、脈搏、行為變化等也可以作為篩查的依據(jù)。對此,可以研發(fā)基于視覺識別的非接觸式脈搏測量方法。實驗證明,通過攝像頭記錄受試者的臉部數(shù)據(jù)并對其進(jìn)行數(shù)據(jù)分析獲得的結(jié)果與通過傳統(tǒng)把脈方式獲得的脈搏情況有較高吻合度。同時,研發(fā)可以長時間準(zhǔn)確記錄情緒面部表情的可穿戴設(shè)備,用以量化用戶的面部表情、推斷他們的情感狀態(tài),并實現(xiàn)其在多種環(huán)境中的運(yùn)行,方便兒童日常佩戴和不受阻礙地隨意移動,從而輔助研發(fā)設(shè)計進(jìn)一步的干預(yù)活動、人機(jī)交互模式以及反饋機(jī)制。
方向3:基于虛擬增強(qiáng)現(xiàn)實技術(shù)的互動干預(yù)系統(tǒng)建設(shè)?;谔摂M現(xiàn)實技術(shù)干預(yù)特殊兒童的著力點,包括內(nèi)容可控的交流、反饋可測的互動、泛化的想象空間,聚焦于社交技能、情緒技能、日常生活技能、溝通能力、認(rèn)知訓(xùn)練(注意、執(zhí)行功能、認(rèn)知靈活性、對象的語境處理)等核心障礙的矯正。干預(yù)形式主要為虛擬游戲和人際互動,組織形式為“模仿+交互”,內(nèi)容涉及“游戲中的模仿”“接觸中的模仿”“社會/人際交往中的模仿”“話輪行為”“社會慣例的理解與應(yīng)用”“學(xué)習(xí)新的交往方式”“聽與口頭表達(dá)能力”“提出問題/尋求幫助”等單元。游戲設(shè)置由易到難,由簡單圖形要素到豐富的社會化信息元素,同時根據(jù)年齡和智商等級設(shè)置不同難度的游戲內(nèi)容,以增強(qiáng)兒童的體驗感。在此基礎(chǔ)上采用智能化多維篩查系統(tǒng)對干預(yù)效果進(jìn)行過程評價與反饋,同時不斷利用機(jī)器學(xué)習(xí)算法優(yōu)化干預(yù)方案和廓清干預(yù)指標(biāo)。創(chuàng)建這樣的系統(tǒng)基于兩個目的:一是將兒童的心理表現(xiàn)(例如情緒)考慮在內(nèi),構(gòu)建與其需要相契合的引導(dǎo)型社會情境;二是自動確認(rèn)兒童的行為在所代表的社會情境里是否合適,進(jìn)而更新IVRS的運(yùn)行模式或運(yùn)行主題。
另外,可利用增強(qiáng)現(xiàn)實(AR)智能眼鏡技術(shù)來建設(shè)干預(yù)環(huán)境。增強(qiáng)現(xiàn)實(AR)智能眼鏡是一項新興技術(shù),可以作為患有孤獨癥的兒童和成人的社交工具。大量研究表明增強(qiáng)現(xiàn)實(AR)智能眼鏡具有良好的耐受性,可適用于不同嚴(yán)重程度和多種年齡的特殊兒童群體。智能眼鏡包含多種傳感器,例如加速計和照相機(jī),并且能夠收集視頻、音頻、運(yùn)動、生理和用戶數(shù)據(jù)。增強(qiáng)現(xiàn)實(AR)智能眼鏡中的內(nèi)置傳感器收集關(guān)于環(huán)境和交互的定量數(shù)據(jù)后,可利用人工智能算法分析這些數(shù)據(jù)。
方向4:遠(yuǎn)程移動篩查與干預(yù)平臺。特殊兒童具有不愿意與人溝通,多疑、敏感等特征。面向特殊兒童,通過增強(qiáng)現(xiàn)實、增強(qiáng)虛擬環(huán)境、混合現(xiàn)實等技術(shù)手段輔助營造移動便捷式篩查與干預(yù)平臺,以跨模態(tài)的形式表示內(nèi)容,提升內(nèi)容的可達(dá)性和親近性,有利于進(jìn)一步開發(fā)有效的監(jiān)控和篩查工具,幫助老師有效監(jiān)控、科學(xué)篩查和實時干預(yù)學(xué)習(xí)者的學(xué)習(xí)行為。
智能教育遠(yuǎn)端篩查與干預(yù)系統(tǒng)為特殊兒童家庭提供了便利的篩查與干預(yù)手段。其用于學(xué)校、家庭等兒童生活的重要場景中,能夠?qū)崟r篩查兒童的發(fā)展情況,為個性化教育方案的設(shè)計、干預(yù)提供便捷有效的輕量化平臺。特殊兒童足不出戶,即能在任意可連入網(wǎng)絡(luò)的位置接受專業(yè)的篩查與干預(yù)。
一方面,建立具有場景適應(yīng)性的XR協(xié)同工作模式和方法。在教育實踐中,虛擬現(xiàn)實構(gòu)建合理、夸張或虛幻的VR環(huán)境,為特殊兒童帶來想象性、交互性、沉浸性的學(xué)習(xí)體驗;而增強(qiáng)現(xiàn)實則更加強(qiáng)調(diào)學(xué)習(xí)過程的興趣性、智能性、自主性,從而提升特殊兒童在現(xiàn)實生活或?qū)W習(xí)中的思維動力和實踐能力。根據(jù)特定教育場景,分析VR和AR功能的平行與互補(bǔ)關(guān)系,建立XR協(xié)同工作模式,能夠?qū)崿F(xiàn)物理空間和虛擬空間的交互影響和信息共享。在兒童智力開發(fā)領(lǐng)域采用VR-AR混合技術(shù),彌補(bǔ)了單一VR或AR技術(shù)弱化了兒童對真實世界的觀察和感知能力的缺陷,能夠通過積極健康的學(xué)習(xí)內(nèi)容、豐富的視聽體驗、積極多樣化的交互方式來吸引兒童的注意力。
另一方面,優(yōu)化多模態(tài)的交互設(shè)計和跨模態(tài)的內(nèi)容表達(dá)方法。組合手勢、聲音、體感等不同類型的用戶輸入通道,能夠減少技術(shù)使用層面的困難,提供更好的設(shè)備使用體驗。平衡利用文本、圖像、視頻、動畫、3D模型、聲音等跨媒體元素構(gòu)建學(xué)習(xí)內(nèi)容,可作為學(xué)習(xí)的催化劑,且能實現(xiàn)設(shè)計元素之間并列的、交替的或互相影響的關(guān)系。同時,可構(gòu)建具有真實感的探究學(xué)習(xí)過程和學(xué)習(xí)情境。XR的建構(gòu)基礎(chǔ)是在真實活動中產(chǎn)生的關(guān)于視、聽、觸感等的感受和體驗,在此基礎(chǔ)上通過不斷提高干預(yù)的可達(dá)性,XR系統(tǒng)可適應(yīng)具有各種需求和喜好的學(xué)習(xí)者。此外,從平臺可縮放、社會可縮放和真實世界可縮放實現(xiàn)XR系統(tǒng)的可達(dá)性。在平臺可縮放中,從桌面設(shè)備、移動平臺和大屏環(huán)境來設(shè)計內(nèi)容的表示、表達(dá)和參與度;在社會可縮放中,主要考慮在線或遠(yuǎn)程社會空間中的交互用戶規(guī)模;在真實世界可縮放中,關(guān)注VR和AR之間的切換,以及用戶、環(huán)境、對象的同步。
總之,智能教育遠(yuǎn)端篩查與干預(yù)系統(tǒng)能夠為出行困難的特殊兒童家庭提供便捷、有效、可靠的篩查與干預(yù)方式。特殊兒童在異地佩戴XR頭盔、XR眼鏡或者在移動設(shè)備如智能手機(jī)、平板等打開瀏覽器、登錄提供的網(wǎng)址,即可接受專業(yè)的篩查與干預(yù)。
(內(nèi)蒙古師范大學(xué)心理學(xué)院王彥姣博士在前期文獻(xiàn)整理等方面作出重要貢獻(xiàn))
參考文獻(xiàn)
A. Anzulewicz; K. Sobota; J. T. Delafield-Butt., "Toward the Autism Motor Signature: Gesture Patterns During Smart Tablet Gameplay Identify Children with Autism," Scientific Reports, 2016, (6).
E. Bekele et al., "Multimodal Adaptive Social Interaction in Virtual Environment (MASI-VR) for Children with Autism Spectrum Disorders (ASD)," IEEE, 2016, DOI:10.1109/VR.2016.7504695.
L. Boccanfuso et al., "Emotional Robot to Examine Different Play Patterns and Affective Responses of Children with and without ASD," ACM, 2016, DOI:10.1109/HRI.2016.7451729.
H. Cody et al., "Early Brain Development in Infants at High Risk for Autism Spectrum Disorder," Nature, 2017, 542.
L. Dickstein-Fischer; G. S. Fischer, "Combining Psychological and Engineering Approaches to Utilizing Social Robots with Children with Autism," Engineering in Medicine & Biology Society, 2014.
I. Dinstein et al., "Normal Movement Selectivity in Autism," Neuron, 2010, 66(3).
M. Duda et al., "Use of Machine Learning for Behavioral Distinction of Autism and ADHD," Translational Psychiatry, 2016, 6(2).
M. Duda et al, "Crowdsourced Validation of A Machine-Learning Classification System for Autism and ADHD," Transl Psychiatry, 2017, 7(5).
K. Evers et al., "How Well are DSM-5 Diagnostic Criteria for ASD Represented in Standardized Diagnostic Instruments?" Eur Child Adolesc Psychiatry, 2021, 30(1).
V. C. Georgopoulos; S. Chouliara; C. D. Stylios, "Fuzzy Cognitive Map Scenario-Based Medical Decision Support Systems for Education," IEEE, 2014, DOI:10.1109/EMBC.2014.6943961.
T. Hampton, "Early Brain Imaging in Infants May Help Predict Autism," JAMA, 2017, 318(13).
K. Jain; P. M. Mishra; S. A. Kulkarni, "A Neuro-Fuzzy Approach to Diagnose and Classify Learning Disability," Springer India, 2014, DOI:10.1007/978-81-322-1602-5_69.
M. Kast et al., "Computer-Based Learning of Spelling Skills in Children with and without Dyslexia," Annals of Dyslexia, 2011, 61(2).
Y. D. Kim et al, "Design of Robot Assisted Observation System for Therapy and Education of Children with Autism," in G. Goos (eds.) Lecture Notes in Computer Science, 2010, Springer: Berlin, Heidelberg.
G. Lorenzo; A. Lledó; J. Pomares, "Design and Application of an Immersive Virtual Reality System to Enhance Emotional Skills for Children with Autism Spectrum Disorders," Computers & Education, 2016, 98.
T. Mayes and S. D. Freitas, Review of E-Learning Theories, Frameworks and Models, London: Joint Information Systems Committee, 2004.
E. Melis and J. Siekmann, "ActiveMath: An Intelligent Tutoring System for Mathematics," in G. Goos (eds.) Lecture Notes in Computer Science, 2004, Springer: Berlin, Heidelberg.
N. Sebe et al., "Emotion Recognition Based on Joint Visual and Audio Cues," Proceedings of the 18th International Conference on Pattern Recognition, 2006.
D. A. Strickland, "A Virtual Reality Application with Autistic Children," Teleoperators and Virtual Environments, 1996, 5(3).
Development Trend of Special Education Discipline in Intelligent Era
Wang Pei
Abstract: Artificial intelligence helps to build a variety of accurate models and provides convenient tools for accurate screening and intervention of exceptional children. The integration of artificial intelligence and special education is a major trend in the development of education in the intelligent era, which will help ensure that special groups enjoy equal education services, maximize their potential and give full play to their value. Research in the field of screening and intervention for key special populations such as autism and ADHD is still in initial stages. To this end, it is necessary to promote the construction of a screening index system based on multi-dimensional data machine learning, an intelligent and rapid assisted screening system based on visual recognition technology, and an interactive intervention system based on virtual augmented reality technology, and on this basis, promote the construction of a remote mobile screening and intervention platform with schools and families as the implementation field.
Keywords: exceptional children, artificial intelligence, screening for exceptional children, intervention for exceptional children
責(zé) 編∕張 貝 美 編∕梁麗琛