交大ACM班畢業(yè)生在Google的新工作：自動寫Excel的表格公式
表格版的公式生成器來了！交大ACM班畢業(yè)生，伯克利博士陳昕昀在Google帶來了她在ICML 2021的新工作，能夠自動幫你補全公式，準確率在測試階段已達57.4%。目前Google Sheets已上線該功能，快去試用吧！
Excel可以說是最熟悉的陌生人了，每天都在使用，但高級用法卻說不上來幾個。
寫公式就是Excel的一個重要功能，公式可以讓用戶對數(shù)據(jù)進行復雜的分析和轉(zhuǎn)換。但盡管表格中的公式語言比編程語言更容易學習，但編寫這些公式仍然很復雜，并且一個符號沒注意可能就會導致錯誤。
Google在2014年時開發(fā)了一個工具Smart Autofill，能夠自動識別表格的pattern來填充每一列的缺失值，主要方法使用機器學習算法來預測新數(shù)據(jù)。
例如，一個表格中包含了所用車輛的四個特征：年份、英里數(shù)、車門數(shù)和車輛類型（汽車或卡車），根據(jù)這四個特征制定車輛的價格。這是一個典型的數(shù)據(jù)分析預測的場景，可以使用算法根據(jù)表格內(nèi)已經(jīng)提供的數(shù)據(jù)（作為訓練集）來估計缺失的價格。
這個工具雖好，但它卻無法學習到復雜的公式，并且人工修正也十分麻煩。
時間來到2021年，借助BERT在序列模型上的威力，Google在ICML 2021上提出了一個新模型，能夠基于目標單元周圍的上下文自動生成公式。
論文的第一作者是陳昕昀，目前是加州大學伯克利分校的在讀博士，由Dawn Song教授指導。本科畢業(yè)于上海交通大學ACM班，獲得計算機科學學士學位。目前是Deepmind的一名研究實習生，曾于2019年、2020年在Google Brain做實習生。主要研究興趣包括神經(jīng)網(wǎng)絡(luò)程序綜合和對抗機器學習。
當用戶開始在目標單元格中編寫帶有「=」符號的公式時，系統(tǒng)通過學習歷史表格中公式的模式，為該單元格生成可能的相關(guān)公式。該模型使用目標單元格的相鄰行和列中的數(shù)據(jù)以及標題行作為上下文。
它首先將相鄰單元和標題單元組成的表格的上下文結(jié)構(gòu)編碼為一個embedding，然后使用該上下文嵌入生成所需的表格公式。
公式生成部分包括兩個組件：
- 運算符序列（例如，sum、if等）；
- 應(yīng)用運算符的表格范圍（例如A2:A10）。
目前Google Sheets 的用戶已經(jīng)可以正式使用這個功能了！
模型使用的架構(gòu)仍然是encoder-decoder，這個結(jié)構(gòu)也讓研究人員能夠靈活地將多種類型的上下文信息（例如包含在相鄰行、列、標題等中）嵌入到編碼器中，解碼器可以使用該結(jié)構(gòu)生成所需的公式。
為了計算表格上下文的embedding，它首先使用基于BERT的模型架構(gòu)對目標單元附近的多行（以及標題行）進行編碼。每個單元格中的內(nèi)容包括其數(shù)據(jù)類型（如數(shù)字、字符串等）和值，同一行中的單元格內(nèi)容被級聯(lián)到一個token序列中以便輸入到BERT encoder。
類似地，模型還會對目標單元格左側(cè)和右側(cè)的幾列進行編碼，然后在兩個 BERT 編碼器上執(zhí)行行和列卷積以計算上下文的聚合表示。
解碼器則使用LSTM生成所需的目標公式作為token序列。首先模型預測出由公式運算符組成的公式結(jié)構(gòu)（formula-sketch），然后使用與目標單元格相關(guān)的單元格地址生成相應(yīng)的范圍。
模型還利用注意力機制來計算表頭和單元數(shù)據(jù)上的注意力向量，在做出預測之前，直接將這些注意力向量連接到LSTM輸出層。
除了利用相鄰行和列中的數(shù)據(jù)外，該模型還利用來自頂層工作表結(jié)構(gòu)（如標題）的其他信息，使用tpu進行模型預測，從而保證了以低延遲的效果生成公式建議，并且能夠在較少的機器上處理更多的請求。
模型的訓練數(shù)據(jù)集主要是一個由Google創(chuàng)建并與Google共享的電子表格語料庫。數(shù)據(jù)集包含4.6萬張谷歌表格，其中4.2萬張用于訓練，2300張用于驗證，1700張用于測試。
實驗結(jié)果表明，該模型具有42.5%的完整公式精度和57.4%的完整公式框架精度，這兩個指標的準確率足夠高，足以支撐產(chǎn)品上線服務(wù)于初期用戶。并且隨著產(chǎn)品收集到更多數(shù)據(jù)，精度肯定還會上升。
研究人員還進行了一項消融實驗，通過去除不同的組件來測試模型的幾種簡化版本，發(fā)現(xiàn)基于行和列的上下文嵌入以及標題信息對模型的性能至關(guān)重要。
未來可能會有更多基于這方面的研究，包括設(shè)計新的模型架構(gòu)來合并更多表格結(jié)構(gòu)，以及擴展模型以支持電子表格中bug檢測和自動圖表創(chuàng)建等更多應(yīng)用。
