MNIST 識別的準確率已經卷上 100% 了？近日，預印版平臺 arXiv 中的一篇論文《Learning with Signatures》引起了人們的關注。

在這項工作中，作者研究了在學習環境中使用 Signature Transform。該論文提出了一個監督框架，使用很少的標簽提供了最先進的分類準確性，無需信用分配（credit assignment），幾乎沒有過擬合。作者通過使用 Signature 和對數 Signature 來利用諧波分析工具，并將其用作評分函數 RMSE 和 MAE Signature 和對數 Signature。

研究人員使用一個封閉式方程來計算可能的最佳比例因子。最終實現的分類結果在 CPU 上的執行速度比其他方法快幾個數量級。作者報告了在 AFHQ 數據集、Four Shapes、MNIST 和 CIFAR10 的結果，在所有任務上都實現了 100% 的準確率。

MNIST 被認為是機器學習的 Hello World，是大家入門時都會用到的數據集，其包含 7 萬張手寫數字圖像，其中 6 萬張用于訓練，1 萬用于測試。MNIST 中的圖像是灰度的，分辨率僅 28×28 像素。盡管問題「簡單」，但實現 100% 識別準確度的算法總是讓人感覺不靠譜，讓我們看看論文是怎么說的。

• 論文鏈接：https://arxiv.org/abs/2204.07953v1
• 代碼：https://github.com/decurtoydiaz/learning_with_signatures

借助Signature，少量標記樣本媲美深度學習收益

在上個世紀，讓計算機具有學習能力一直是重要的研究方向。近年來，使用深度學習中的有監督和無監督學習已經成為 SOTA 解決方案代表。基于模型的解決方案占主導地位的領域已迅速轉變為數據驅動的框架，并取得了前所未有的成功。然而，由于此類模型的超參數數量多，難以解釋，且其魯棒性缺乏收斂理論保證，因此在一些領域進展停滯不前。

近年來將 Signature Transform 集成到學習框架中已經取得不錯進展，其主要作為 ML 范式中的特征提取器或作為深度網絡內的池化層。由于 Signature 良好理論特性，不少研究者將其作為構建學習問題的一種方式。然而，關于 Signature 的通用框架尚未建立，這主要是因為沒有一個正確定義的得分函數來指導學習機制。

近日，有研究者提出通過使用 Signature Transform 來研究一種新型的學習機制，這是一種最近開發的諧波分析工具，它提供了對不規則采樣數據流的緊湊豐富的描述。研究者探索了這樣一個觀點，即通過將數據轉換為一個緊湊而完整的域，該研究可以通過使用很少的標記樣本來獲得與深度學習相同的經驗收益。

此外，Signature 的通用非線性屬性，不受時間重新參數化影響，使其成為更適合計算機推理知識替代表示的理想候選者。畢竟，人類不需要成千上萬的例子來學習簡單的概念，而只需要少量精心挑選的例子來快速正確地猜測。Signatures 的出現實現了這一目標，計算機可以迅速地推斷出信息，因為其表示形式容易理解、豐富且完整。不過這還需要一個得分函數，就像損失和信用分配給傳統的學習框架提供了將優化引導到一個可能很好的解決方案的能力一樣。

該研究使用 RMSE、MAE Signature 和 log-signature 來評估圖像分布之間的視覺相似性，以確定 GAN 收斂。從另一個角度來看，RMSE、MAE Signature 和對數 signature 確實是正確定義的得分函數，可用于分類、聚類等任務。在此假設下，本研究旨在進一步研究這種學習框架的行為、性質及其在若干任務上的泛化能力。

在 Signature 情況下，該研究建議使用基于 Signature Transform 相似性度量。該框架在 CPU 上的工作速度比深度學習方法快幾個數量級，并且避免了在 GPU 上以高計算和環境成本完成的數百萬超參數的繁瑣信用分配。這些度量可以捕獲詳細的視覺線索，它們可用于內存占用非常小、執行速度快、準確度高的分類任務。

關于信用分配，例如反向傳播，一直是現代自動化學習技術的基礎；僅通過一次（pass）（即使用一個 epoch）從數據中提取所有后續信息在理論上是可行的。但實際上，由于學習機制的限制，很多方法使用不止一次的訓練數據傳遞，這些特點不能歸結為其優勢。給定一個適當的得分函數，signatures 提供一種緊湊表示，計算機可以使用它來推斷細粒度信息，而無需使用反向傳播，因此避免優化數百萬個超參數。

與其他訓練機制相比，使用帶有 signatures 的學習具有計算優勢，因為標記示例的數量可以大大減少，并且訓練被逐元素均值所取代，這賦予了良好泛化所需的統計魯棒性。

給定一組 signature 順序為

元素均值定義為：

則 RMSE 和 MAE signature 可定義為：

使用 Signature 的 Few-shot 分類

作者認為，可以使用 signature 和定義分數函數對比測試樣本（在可選的增強和計算元素平均值之后），從而實現 Few-shot 樣本分類。實現極高分類準確率所需的 Signature 數量可能取決于任務的復雜性，某些類別可能只需要一個，具有更多可變性的類別可能需要數萬到數千個訓練樣本。

為了進一步研究通過對同一測試實例的多個變換版本進行平均而引入的多重性的影響，作者使用特定增強技術（如隨機對比）展示了可視化結果。

）圖 1：在 AFHQ 的 300 張圖像上帶有簽名的 PCA 自適應 t-SNE，類別：貓（紅色）、狗（綠色）和野生（藍色）。

圖 2：給定 AFQH 樣本的特征變換光譜及其對應變換與隨機對比度 (a)-(d) 的比較。

通常，人們會認為在訓練集上實現 100% 準確率肯定是出現了數據泄露問題。對于該研究，社交網絡中的質疑聲較多。

在 reddit 上，有網友表示：「MNIST 數據集中有幾個圖人類的分類方式與標簽不同。100% 的測試集準確率表明網絡實際上比那些錯誤率的 99.7% 的網絡還要差。所以正如其他人所說，100% 準確率的數字非常可疑?！?/span>