中科大神經(jīng)網(wǎng)絡(luò)和端到端訓(xùn)練框架，探究教育情境對(duì)學(xué)生能力的影響
來(lái)自中國(guó)科學(xué)技術(shù)大學(xué)的研究者提出了一種教育情境感知的認(rèn)知診斷框架，使用神經(jīng)網(wǎng)絡(luò)以及端到端的訓(xùn)練框架，自適應(yīng)學(xué)習(xí)不同教育情境信息的量化影響，并結(jié)合現(xiàn)有認(rèn)知診斷工作的方法，增強(qiáng)了診斷的結(jié)果。
父母的受教育水平是否與學(xué)生的學(xué)習(xí)表現(xiàn)相關(guān)？家庭條件、學(xué)校資源到底對(duì)學(xué)生能力產(chǎn)生多大影響？上課氛圍、老師態(tài)度與學(xué)生的學(xué)習(xí)效果有怎樣的關(guān)系？類(lèi)似的教育情境信息對(duì)學(xué)生能力到底有怎樣的影響，一起跟隨中國(guó)科學(xué)技術(shù)大學(xué)的劉淇教授智慧教育課題組來(lái)一探究竟吧！
- 論文地址：https://doi.org/10.1145/3447548.3467264
- 項(xiàng)目地址：github.com/bigdata-ustc/ECD
- 研究組主頁(yè)：base.ustc.edu.cn/
教育情境與認(rèn)知診斷
學(xué)生學(xué)習(xí)過(guò)程相關(guān)情境信息（如學(xué)習(xí)習(xí)慣，父母受教育程度，家庭條件等），被稱(chēng)為教育情境信息；在教育領(lǐng)域中，這些情境信息對(duì)理解教育過(guò)程以及解決教育問(wèn)題（如教學(xué)安排，教育公平等）都有很重要的意義。
圖表 1：教育情境、學(xué)生能力與學(xué)生表現(xiàn)
在智慧教育中，認(rèn)知診斷是一項(xiàng)基礎(chǔ)而必要的任務(wù)；它通過(guò)收集學(xué)生的信息（通常是答題等行為記錄）與試題信息（如試題文本），來(lái)推斷學(xué)生當(dāng)前的知識(shí)狀態(tài)。如圖，學(xué)生選擇了一些題目進(jìn)行練習(xí)，得到了對(duì)應(yīng)的答題記錄，每道試題包含特定的知識(shí)點(diǎn)；通過(guò)認(rèn)知診斷可以得到該學(xué)生在不同知識(shí)點(diǎn)上的掌握程度。例如學(xué)生答對(duì)了試題e_1，而e_1包含「Bacteria」這個(gè)知識(shí)點(diǎn)，因此診斷得出該學(xué)生對(duì)于「Bacteria」知識(shí)點(diǎn)的掌握程度較高（例如 0.8 等），反映到診斷報(bào)告的雷達(dá)圖中藍(lán)線(xiàn)的靠近外側(cè)。認(rèn)知診斷的結(jié)果可以用作教育資源推薦、學(xué)生表現(xiàn)預(yù)測(cè)、學(xué)習(xí)小組分組等后續(xù)智慧教育應(yīng)用的支撐。
背景
情境信息或者說(shuō)上下文信息目前在信息檢索相關(guān)領(lǐng)域（如推薦系統(tǒng)，web 搜索，廣告等）有著非常廣泛的應(yīng)用，它們反映著一個(gè)心理學(xué)的通識(shí)：情境信息往往通過(guò)影響人的內(nèi)在特質(zhì)來(lái)影響人的外在表現(xiàn)。如推薦系統(tǒng)中，情境信息通過(guò)影響用戶(hù)的內(nèi)在偏好，從而引導(dǎo)用戶(hù)的消費(fèi)行為。而在教育領(lǐng)域，教育情境信息則影響著學(xué)生的知識(shí)狀態(tài)，進(jìn)而反映在學(xué)生的練習(xí)作答結(jié)果中。
教育情境信息在傳統(tǒng)教育學(xué)中討論已久，它們主要延續(xù)著實(shí)證研究的思路（提出假設(shè) - 收集數(shù)據(jù) - 實(shí)驗(yàn)分析 - 得出結(jié)論），先獲取學(xué)生的得分或者能力作為衡量標(biāo)準(zhǔn)，再使用主成分分析、線(xiàn)性回歸等方法對(duì)教育情境信息的作用進(jìn)行分析。其中學(xué)生得分可比要求學(xué)生所做練習(xí)相同，因此在大規(guī)模的情境信息分析中，往往采用基于傳統(tǒng)認(rèn)知診斷理論得到的學(xué)生能力作為衡量的方式。
認(rèn)知診斷研究可以追溯到教育心理學(xué)領(lǐng)域，代表性的工作有項(xiàng)目反映理論（Item Response Theory，IRT）。近年來(lái)，隨著人工智能以及智慧教育的興起，作為智慧教育應(yīng)用的基礎(chǔ)任務(wù)之一，基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的認(rèn)知診斷方法被廣泛研究，其中經(jīng)典的工作有將項(xiàng)目反映理論拓展的多維項(xiàng)目反映理論（Multidimensional Item Response Theory，MIRT），使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)認(rèn)知函數(shù)的神經(jīng)認(rèn)知診斷框架（Neural Cognitive Diagnosis，NeuralCD）。然而，目前認(rèn)知診斷的工作往往只關(guān)注于試題相關(guān)信息（如試題知識(shí)點(diǎn)矩陣、知識(shí)點(diǎn)的關(guān)系、試題文本等）的挖掘，對(duì)于學(xué)生學(xué)習(xí)過(guò)程相關(guān)的教育情境信息則關(guān)注很少。
此外，雖然使用認(rèn)知診斷結(jié)果一定程度上能解決教育情境信息分析中的可比性問(wèn)題，但傳統(tǒng)教育領(lǐng)域的研究方式依然存在誤差傳遞、影響難以量化等問(wèn)題。在這一背景下，該研究提出教育情境感知的認(rèn)知診斷框架，期望使用神經(jīng)網(wǎng)絡(luò)以及端到端的訓(xùn)練框架，自適應(yīng)學(xué)習(xí)不同教育情境信息的量化影響，并結(jié)合現(xiàn)有認(rèn)知診斷工作的方法，增強(qiáng)診斷的結(jié)果。
教育情境感知的認(rèn)知診斷
1、問(wèn)題定義
設(shè)學(xué)習(xí)系統(tǒng)中有 N 個(gè)學(xué)生，T 個(gè)情境信息問(wèn)題以及 M 個(gè)練習(xí)。學(xué)生集合
，情境問(wèn)題集合
，練習(xí)問(wèn)題集合
。學(xué)生的情境信息記錄表示為三元組
集合R_q；答題記錄表示為
的集合R_e，其中
r_q與r_e分別是學(xué)生s對(duì)情境問(wèn)題q的回答與在練習(xí)e上的得分。
給定學(xué)生s的記錄
，該研究的目標(biāo)是通過(guò)學(xué)生表現(xiàn)預(yù)測(cè)的過(guò)程，獲取學(xué)生s的知識(shí)點(diǎn)掌握程度。
2、情境感知的認(rèn)知診斷框架
幾乎所有傳統(tǒng)認(rèn)知診斷方法都包括學(xué)生參數(shù)、試題參數(shù)、學(xué)生與試題交互函數(shù)這三個(gè)部分，其合理性已被大量工作驗(yàn)證?？傮w上，學(xué)生作答過(guò)程可以形式化為
，其中
，
分別代表學(xué)生知識(shí)狀態(tài)、練習(xí)相關(guān)參數(shù)（如難度，知識(shí)點(diǎn)），F(xiàn)為認(rèn)知函數(shù)，r為學(xué)生表現(xiàn)。學(xué)生知識(shí)狀態(tài)則可以進(jìn)一步表示為：
其中C為情境信息輸入，H為情境影響函數(shù)，
，
分別代表情境影響的外顯特質(zhì)與歷史學(xué)習(xí)情況影響的學(xué)生內(nèi)在特質(zhì)，G代表學(xué)生特質(zhì)對(duì)知識(shí)狀態(tài)的映射函數(shù)。
該研究提出一個(gè)兩階段的框架：教育情境建模階段與診斷強(qiáng)化階段。
- 首先，在教育情境建模階段中，該研究提出使用一個(gè)分層注意力網(wǎng)絡(luò)建模情境輸入對(duì)學(xué)生知識(shí)狀態(tài)的外在影響表示 ，即建模情境影響函數(shù)H。具體網(wǎng)絡(luò)結(jié)構(gòu)在下小節(jié)介紹。
- 其次，在診斷強(qiáng)化階段，該研究通過(guò)將學(xué)生參數(shù)（學(xué)生知識(shí)狀態(tài)）形式化為情境信息影響的外顯特質(zhì)與歷史學(xué)習(xí)情況影響的內(nèi)在特質(zhì)兩部分的調(diào)和（映射函數(shù)G）。
其中，d_t為學(xué)生 id 映射的權(quán)重參數(shù)，由網(wǎng)絡(luò)學(xué)習(xí)。這樣，情境信息表示能夠?qū)ΜF(xiàn)有的認(rèn)知診斷方法（認(rèn)知函數(shù)F）進(jìn)行拓展。該研究對(duì)認(rèn)知診斷領(lǐng)域經(jīng)典的 IRT、MIRT 以及 NeuralCD 方法進(jìn)行了拓展實(shí)現(xiàn)。
圖表 3：ECD 模型框架
3、情境信息建模
教育情境信息主要包括以下特點(diǎn)：內(nèi)容復(fù)雜性，個(gè)體差異性，內(nèi)在相關(guān)性。其中內(nèi)容復(fù)雜性指教育情境信息輸入包含豐富來(lái)源的內(nèi)容。個(gè)體差異性則是指同一情境信息對(duì)學(xué)生的影響也會(huì)因人而異。例如情境信息「接受輔導(dǎo)」對(duì)于學(xué)生的影響雖然總體上是積極的，但是對(duì)于勤奮的學(xué)生的影響往往要比貪玩的學(xué)生更明顯（因?yàn)樨澩娴膶W(xué)生很可能不會(huì)認(rèn)真學(xué)習(xí)，從而無(wú)法充分利用這一積極條件）。內(nèi)在相關(guān)性則是指不同情境信息之間也可能存在相互影響。比如「家庭條件」也可能影響「接受輔導(dǎo)」的效果。
針對(duì)上述特性，該研究首先根據(jù)內(nèi)容將情境信息輸入分成不同的分組，分別建模其影響。其次，該研究使用注意力機(jī)制計(jì)算學(xué)生特性與情境信息之間的相性，從而自適應(yīng)學(xué)習(xí)不同情境信息對(duì)學(xué)生的影響權(quán)重。接著，該研究使用自注意力機(jī)制模塊來(lái)模擬不同輸入之間的相互影響情況。
圖表 4：Embedding 層與 Context filtering 層
具體來(lái)說(shuō)，情境建模網(wǎng)絡(luò)包含四層網(wǎng)絡(luò)結(jié)構(gòu)：嵌入（embedding）層、過(guò)濾（context filtering）層、交互（context interaction）層、聚合（context aggregation）層。該研究在嵌入層將每個(gè)情境信息輸入r_q映射為情境影響向量c^v與情境特性向量c^k，將學(xué)生 id 輸入t映射為個(gè)性向量x_t。在過(guò)濾層中，對(duì)于某一組情境信息的不同輸入，該研究將學(xué)生個(gè)性表示x_t作為注意力機(jī)制中的查詢(xún) query，將情境特性表示c^k與情境影響表示c^v分別作為注意力機(jī)制中的鍵 key 與值 value。通過(guò)計(jì)算學(xué)生個(gè)性表示x_t與情境特性表示c^k的余弦相似度作為學(xué)生與特定情境輸入的相性，進(jìn)而分配組內(nèi)不同情境輸入影響c^v，以及該組情境特性c^k的權(quán)重，這樣就能得到各組情境輸入的影響表示v與特性表示k。
圖表 5：Context interaction 層與 Context aggregation 層
在交互層中，類(lèi)似的，該研究使用各組情境的影響表示v與特性k表示分別作為自注意力機(jī)制中的值 value 與鍵 key，從而得到交互后的各組情境輸入的影響表示v'與特性表示k'。最后，在聚合層中，該研究依然使用個(gè)性表示x_t作為注意力機(jī)制中的查詢(xún) query，將各組情境輸入的影響表示v'與特性表示k'分別作為自注意力機(jī)制中的值 value 與鍵 key，從而聚合各組情境輸入，得到情境輸入對(duì)學(xué)生的最終的影響表示
。
實(shí)驗(yàn)
實(shí)驗(yàn)使用的數(shù)據(jù)來(lái)自國(guó)際學(xué)生評(píng)估項(xiàng)目（Programme for International Student Assessment，PISA）2015 年的公開(kāi)數(shù)據(jù)集（以下簡(jiǎn)稱(chēng) PISA2015），包含來(lái)自 79 個(gè)國(guó)家與地區(qū)的學(xué)生的問(wèn)卷數(shù)據(jù)與答題數(shù)據(jù)。PISA 項(xiàng)目是由世界經(jīng)合組織（OECD）組織的國(guó)際學(xué)生評(píng)估項(xiàng)目，包含專(zhuān)家設(shè)計(jì)的與教育情境信息相關(guān)的學(xué)生問(wèn)卷數(shù)據(jù)與學(xué)生在數(shù)學(xué)、科學(xué)、閱讀等學(xué)科的測(cè)試作答數(shù)據(jù)，PISA 2015 的主要測(cè)試科目是科學(xué)，因此實(shí)驗(yàn)中使用學(xué)生在科學(xué)測(cè)試中的作答數(shù)據(jù)。該研究根據(jù)區(qū)域，將 PISA2015 的科學(xué)作答數(shù)據(jù)中抽取了三個(gè)數(shù)據(jù)集，分別是 Asia、Europe 與 America，具體的數(shù)據(jù)預(yù)處理可以參考論文內(nèi)容，下表是數(shù)據(jù)集統(tǒng)計(jì)情況。
表格 1：數(shù)據(jù)集統(tǒng)計(jì)
1. 學(xué)生表現(xiàn)預(yù)測(cè)
學(xué)生真實(shí)的知識(shí)點(diǎn)熟練度標(biāo)簽是無(wú)法獲取的，因此該研究采用間接衡量診斷結(jié)果準(zhǔn)確性的方法，即使用學(xué)生的診斷結(jié)果來(lái)預(yù)測(cè)學(xué)生的在非訓(xùn)練數(shù)據(jù)中試題的得分，這也是傳統(tǒng)認(rèn)知診斷模型的常規(guī)做法。該研究實(shí)驗(yàn)的 baseline 包括兩類(lèi)，一類(lèi)是沒(méi)有情境信息強(qiáng)化的傳統(tǒng)認(rèn)知針對(duì)模型（如 NeuralCD，IRT 以及 MIRT），一類(lèi)是基于該研究的二階段框架，使用傳統(tǒng)的上下文建模網(wǎng)絡(luò)（如 Deep FM 與 NeuralFM 網(wǎng)絡(luò)）對(duì)情境信息影響進(jìn)行建模的模型。實(shí)驗(yàn)的結(jié)果如下表，該研究的 ECD-NeuralCD、ECD-IRT、ECD-MIRT 模型在不同區(qū)域的數(shù)據(jù)集中相較兩類(lèi) baseline 取得了較大的提升。此外，隨機(jī)模型（random）在不同數(shù)據(jù)集上 AUC 都在 0.5 左右，驗(yàn)證了數(shù)據(jù)集的樣本分布情況是合理的。
表格 2：學(xué)生表現(xiàn)預(yù)測(cè)
2. 消融實(shí)驗(yàn)
為了證明情境建模網(wǎng)絡(luò)結(jié)構(gòu)的合理性，該研究通過(guò)使用求和層代替情境建模網(wǎng)絡(luò)中的各個(gè)網(wǎng)絡(luò)層進(jìn)行了消融實(shí)驗(yàn)，結(jié)果如下表。任何一層網(wǎng)絡(luò)的取代都會(huì)降低最終的實(shí)驗(yàn)效果，并且聚合層的影響最為明顯。
表格 3：消融實(shí)驗(yàn)
3. 參數(shù)解釋性實(shí)驗(yàn)
為了進(jìn)一步說(shuō)明模型的可解釋性，該研究還做了以下參數(shù)解釋性實(shí)驗(yàn)：個(gè)性向量的可視化實(shí)驗(yàn)，過(guò)濾層的注意力模塊可視化實(shí)驗(yàn)，情境信息影響的外顯特質(zhì)的權(quán)重的統(tǒng)計(jì)實(shí)驗(yàn)。
1)個(gè)性向量的可視化實(shí)驗(yàn)
該研究首先將學(xué)生個(gè)性向量使用 t-SNE 進(jìn)行降維，并可視化為散點(diǎn)；接著對(duì)于每個(gè)散點(diǎn)，根據(jù)該學(xué)生在練習(xí)上的平均得分率（0~1）進(jìn)行染色，可視化如圖?？梢钥吹剑瑢W(xué)習(xí)的個(gè)性向量的分布與學(xué)生的平均得分率之間是存在相關(guān)性的，這也與研究者的直覺(jué)一致。
圖表 6：學(xué)生個(gè)性向量可視化分析
2)過(guò)濾層注意力模塊可視化
該研究選取了部分學(xué)生的情境輸入的注意力權(quán)重進(jìn)行可視化，其中 NO.0~4 的學(xué)生是平均得分率低的學(xué)生，NO.5~9 的學(xué)生有較高的得分率。研究者將其對(duì)應(yīng)的情境輸入編碼（同一情境信息，編碼越大的輸入代表它對(duì)于學(xué)生的知識(shí)狀態(tài)影響越積極）也可視化在圖中。從 “Books” 信息的橫向?qū)Ρ?，可以看到低得分率的學(xué)生關(guān)注于較為消極的輸入，而高得分率的學(xué)生則關(guān)注較為積極的輸入；從 4、8、9 號(hào)學(xué)生的縱向?qū)Ρ?，也可以得到?lèi)似的結(jié)論。這說(shuō)明注意力模塊的確模擬了情境信息與學(xué)生個(gè)性之間的相性。
圖表 7：注意力可視化
3)情境影響的權(quán)重
該研究統(tǒng)計(jì)了不同 ECD 模型實(shí)現(xiàn)中，以及 ECD-MIRT 中部分地區(qū)的各個(gè)學(xué)生參數(shù)的分布情況，結(jié)果絕大多數(shù)d_t都在 0.5 左右（0.4~0.6），說(shuō)明情境信息影響的外顯特質(zhì)與學(xué)生歷史學(xué)習(xí)情況的內(nèi)在特質(zhì)對(duì)學(xué)生最終的知識(shí)狀態(tài)都有重要的影響。
圖表 8：情境權(quán)重分析
4. 地區(qū)對(duì)比實(shí)驗(yàn)
最后，該研究也基于聚合（context aggregation）層中不同內(nèi)容的情境影響的注意力權(quán)重，統(tǒng)計(jì)了各個(gè)學(xué)生 top-3 中要的情境信息，并分地區(qū)進(jìn)行統(tǒng)計(jì)，結(jié)果如下表。其中有一些有意思的發(fā)現(xiàn)，教育資源相關(guān)情境信息在所有區(qū)域都很重要，例如家庭條件（Home ESCS）以及信息通信技術(shù)（ICT）相關(guān)的情境(PS：United States 區(qū)域缺少該部分的情境信息)。中韓地區(qū)會(huì)關(guān)注父母的受教育程度，研究者推測(cè)這可能與中韓相似的高考制度與氛圍有關(guān)。而歐美地區(qū)對(duì)于在校學(xué)習(xí)相關(guān)的“School learning“與”Teacher Attitude“會(huì)比較關(guān)注，而亞洲地區(qū)對(duì)它們則不那么關(guān)注，研究者推測(cè)這可能與教學(xué)模式與教學(xué)目標(biāo)之間的差異有關(guān)。
表格 4：不同地區(qū)關(guān)注的情境信息
隨著智慧教育的興起，認(rèn)知診斷理論受到廣泛的研究與發(fā)展。認(rèn)知診斷結(jié)果能夠?yàn)榻逃榫承畔⒎治鎏峁╈`活的衡量指標(biāo)，然而傳統(tǒng)教育學(xué)實(shí)證研究的思路由于難以量化、誤差傳遞的缺點(diǎn)，不適應(yīng)當(dāng)前的多學(xué)科、大數(shù)據(jù)量的場(chǎng)景。基于端到端的網(wǎng)絡(luò)框架，用教育情境信息輔助認(rèn)知診斷，進(jìn)而分析教育情境信息作用是一個(gè)值得探索的方向。
