JSON已死？使用TOON進行LLM調用
譯者 | 晶顏
審校 | 重樓
在人工智能技術飛速發展的當下，大型語言模型（LLM）已成為技術工程師日常工作中的核心工具。通過將重復性任務分配給LLM執行，工程師的工作流程得到顯著簡化，生產力與工作效率實現跨越式提升，為人工智能領域的技術落地與創新應用奠定了堅實基礎。
然而，LLM調用過程中存在顯著的令牌消耗問題，每次交互均需消耗大量令牌資源。令牌作為用戶與LLM進行通信的核心媒介，如同實現模型調用的“準入憑證”；在使用推理類模型時，還需額外消耗令牌作為推理運算的支撐資源。更為關鍵的是，令牌使用成本居高不下，頻繁調用易導致用戶觸發速率限制，或因超出免費額度而陷入訂閱付費壁壘，嚴重制約了LLM技術的規模化應用與低成本落地。
為有效降低令牌消耗、優化LLM調用成本，本文將深入探索一種新興的數據表示格式——面向令牌的對象表示法（TOON），剖析其技術特性、應用優勢及實踐價值，為LLM數據交互格式的優化升級提供參考路徑。
JSON格式的技術特性與應用現狀
JavaScript對象表示法（JSON）作為當前主流的輕量級數據交換格式，具備計算機易解析生成、人類易讀寫的雙重優勢，在數據交互場景中應用廣泛。其核心價值在于以鍵值對、數組及嵌套結構為基礎，實現結構化數據的標準化表示，尤其適用于Web應用程序中客戶端與服務器等系統間的數據流傳遞。憑借文本化、語言無關的特性，JSON獲得了幾乎所有編程語言的原生支持，成為跨平臺數據交互的事實標準。典型JSON格式數據示例如下：
{
"name": "Hamzah",
"age": 22,
"skills": ["Gen AI", "CV", "NLP"],
"work": {
"organization": "Analytics Vidhya",
"role": "Data Scientist"
}
}TOON格式的核心定義與技術特性
面向令牌的對象表示法（TOON）是一種具備緊湊性與人類可讀性的序列化數據格式，其核心設計目標是在保持數據結構完整性的前提下，高效傳遞結構化數據至LLM，實現令牌消耗的顯著降低。作為JSON的無損替代方案，TOON專為LLM輸入場景進行深度優化，尤其在處理統一對象數組數據集（即每個元素擁有相同結構，類似表格中的行數據）時表現突出。
TOON創新性融合了CSV格式的表格緊湊性與YAML格式基于縮進的可讀性，構建出兼具結構化與令牌高效性的獨特數據格式。其核心優勢體現在表格化或結構化數據處理場景中，而對于深度嵌套或不規則數據，JSON格式仍具備一定適用性。
本質而言，TOON實現了CSV的緊湊性與JSON的結構感知能力的有機結合，能夠幫助LLM更可靠地完成數據解析與推理運算，可視為連接程序化JSON使用與高效LLM輸入的轉換層——開發者可繼續采用JSON進行編程開發，在與LLM交互時轉換為TOON格式以實現令牌優化。
JSON與TOON格式對比示例如下：
JSON（令牌密集型）：
{
"users": [
{
"id": 1,
"name": "Alice",
"role": "admin"
},
{
"id": 2,
"name": "Bob",
"role": "user"
}
]
}TOON（令牌高效型）：
users[2]{id,name,role}:1,Alice,admin2,Bob,user核心技術特性
- 令牌高效性：針對大型統一數據集，相比格式化JSON可減少30%至60%的令牌消耗，大幅降低LLM輸入成本；
- LLM友好性：通過顯式字段名稱與聲明式數組長度設計，提升模型對數據結構的驗證能力與一致性維護水平；
- 語法極簡性：剔除大括號、方括號等冗余標點符號及大部分引號，實現格式輕量化與高可讀性；
- 縮進結構化：借鑒YAML縮進機制表示數據層級，替代嵌套大括號設計，增強數據結構清晰度；
- 表格化數組：支持字段名稱一次性定義與數據行高效流式傳輸，適配具有一致 schema 的數據集場景；
- 可選鍵折疊：允許將嵌套單鍵包裝器折疊為點路徑（如data.metadata.items），進一步減少縮進層級與令牌消耗。
TOON格式的基準性能測試與優勢分析
基準測試結果顯示，TOON格式在準確性與令牌效率方面全面優于JSON、YAML及XML等傳統數據格式。在涵蓋209個檢索問題與四種不同LLM模型的測試場景中，TOON格式以73.9%的準確率與僅2,744個令牌的消耗，實現了正確性與緊湊性的最優平衡。相比之下，JSON格式不僅準確率僅為69.7%，令牌消耗量更超出39.6%。由于基準測試評分體系納入每千令牌準確率指標，TOON格式成為所有測試對象中整體效率最高的數據集格式。
從測試結果整體來看，TOON格式在結構清晰度、令牌成本控制與準確率之間構建了更優的平衡關系。其獨特的設計理念使LLM能夠更一致地完成信息提取，更高效地理解表格化與嵌套數據模式，并在各類數據集場景中保持優異性能。在眾多實際檢索應用中，TOON格式相比JSON、YAML、XML乃至CSV格式，展現出更適配LLM數據處理需求的特性。
用戶可通過以下在線工具實測TOON格式性能：
??https://www.curiouslychase.com/playground/format-tokenization-exploration??
??https://toontools.vercel.app/tools/api-tester??
TOON格式的適用場景與局限性
盡管TOON格式在統一對象數組處理場景中表現卓越，但在特定場景下，其他數據格式可能具備更優的適用性與實用性：
- 深度嵌套或非均勻結構數據：當數據存在多層嵌套層級或字段不一致（表格適用性≈0%）時，緊湊型JSON格式實際令牌消耗可能更低，此類場景常見于復雜配置文件或分層元數據處理；
- 半均勻數組數據：當數據表格適用性處于40%至60%區間時，隨著結構一致性降低，TOON格式的令牌節省優勢將顯著弱化，若現有數據管道已基于JSON構建，持續使用JSON格式更符合工程實踐效率；
- 純表格數據：對于扁平數據集，CSV格式仍保持最優緊湊性，TOON格式因需包含字段頭與數組聲明等結構元素，會引入5%至10%的額外開銷，雖提升了LLM處理可靠性，但略微增加文件體積；
- 延遲關鍵型應用：在端到端響應時間為核心指標的場景中，需預先對TOON與JSON格式進行基準測試。盡管TOON格式在部分部署環境中（尤其是采用本地或量化模型如Ollama的場景）具備令牌節省優勢，但緊湊型JSON的處理速度可能更優，需綜合對比兩種格式的首次令牌時間（TTFT）、每秒令牌數及總處理時間等指標后決策。
TOON部署實踐
目前，TOON格式已在多編程語言中完成廣泛實現，形成官方支持與社區貢獻協同發展的生態體系?，F有多個成熟版本可供直接使用，同時.NET（toon_format）、Dart（toon）、Go（gotoon）、Python（toon_format）及Rust（toon_format）五種語言的實現版本正處于積極開發階段，標志著TOON生態系統的持續擴張與完善。
下文將以Python語言為例，基于toon-python包實現TOON格式的核心應用，展示其基本功能與技術特性。
環境安裝
通過以下命令完成toon-python包的快速安裝：
!pip install git+https://github.com/toon-format/toon-python.git -qTOON格式的Python API以編碼（encode）與解碼（decode）為核心功能：
- encode()函數：支持將任意JSON可序列化數據轉換為緊湊TOON格式，自動處理嵌套對象、數組、日期及BigInt等數據類型，并提供縮進控制、鍵折疊等可選配置項；
- decode()函數：實現TOON格式文本到原始JavaScript數據的反向轉換，具備嚴格驗證機制，可有效捕獲格式錯誤或結構不一致的數據。
此外，TOON格式支持逗號、制表符、豎線等自定義分隔符，可根據可讀性優化或令牌效率提升需求靈活配置，其中制表符因令牌化成本低且能最大限度減少引用操作，可進一步降低令牌消耗。
代碼實現實例
以下通過三組核心代碼示例，展示TOON格式在令牌節省計算、數據格式對比及成本估算等場景的應用實踐（Python環境）：
1. 估算節省比例 + 比較格式 + 統計令牌數量
此模塊接收一個 Python 字典，將其轉換為 JSON 和 TOON 格式，并計算每種格式所需的令牌數量。然后，它會計算令牌節省百分比，并進行并排比較，最后直接統計 TOON 字符串的令牌數量。
from toon_format import estimate_savings, compare_formats, count_tokens
# Measure savings
data = {
"users": [
{
"id": 1,
"name": "Alice"
},
{
"id": 2,
"name": "Bob"
}
]
}
result = estimate_savings(data)
print(f"Saves {result['savings_percent']:.1f}% tokens") # Saves 42.3% tokens
# Visual comparison
print(compare_formats(data))
# Count tokens directly
toon_str = encode(data)
tokens = count_tokens(toon_str) # Uses tiktoken (gpt5/gpt5-mini)結果：
JSON：45 token
TOON：19 token
節?。?7.8% token2. 用戶數據令牌消耗對比
該示例針對用戶數據，分別計算JSON與TOON格式下的令牌消耗量及節省百分比：
from toon_format import estimate_savings
# Your actual data structure
user_data = {
"users": [
{"id": 1, "name": "Alice", "email": "[email protected]", "active": True},
{"id": 2, "name": "Bob", "email": "[email protected]", "active": True},
{"id": 3, "name": "Charlie", "email": "[email protected]", "active": False}
]
}
# Compare formats
result = estimate_savings(user_data)
print(f"JSON: {result['json_tokens']} tokens")
print(f"TOON: {result['toon_tokens']} tokens")
print(f"Savings: {result['savings_percent']:.1f}%")結果：
JSON：109 token
TOON：43 token
節?。?0.6% token3. 基于TOON格式的成本節省估算
此模塊使用更大的數據集（100 個項目）運行令牌節省計算，然后應用 GPT-5 定價算法來計算每個請求在JSON格式和TOON格式下的成本差異，并輸出每個請求的成本差以及 10,000 次請求的預計節省金額。
from toon_format import estimate_savings
# Your typical prompt data
prompt_data = {
"context": [
{"role": "system", "content": "You are a helpful assistant"},
{"role": "user", "content": "Analyze this data"}
],
"data": [
{"id": i, "value": f"Item {i}", "score": i * 10}
for i in range(1, 101) # 100 items
]
}
result = estimate_savings(prompt_data["data"])
# GPT-5 pricing (example: $0.01 per 1K tokens)
cost_per_1k = 0.01
json_cost = (result['json_tokens'] / 1000) * cost_per_1k
toon_cost = (result['toon_tokens'] / 1000) * cost_per_1k
print(f"JSON cost per request: ${json_cost:.4f}")
print(f"TOON cost per request: ${toon_cost:.4f}")
print(f"Savings per request: ${json_cost - toon_cost:.4f}")
print(f"Savings per 10,000 requests: ${(json_cost - toon_cost) * 10000:.2f}")結果：
JSON每個請求成本：0.0270美元
TOON每個請求成本：0.0101美元
每個請求節?。?.0169美元
每萬個請求節?。?69.40美元結語
TOON格式作為一種組織有序、緊湊高效的令牌優化型數據格式，為JSON等傳統格式提供了全新替代方案，標志著LLM數據預處理方式的重大革新。在開發者日益依賴LLM實現自動化、數據分析與應用程序工作流的背景下，令牌消耗的降低可直接轉化為運營成本的優化，尤其對基于API積分按令牌付費的用戶群體而言，具備顯著的經濟價值。同時，TOON格式通過提升數據可預測性與可理解性，有效提高了LLM信息提取精度，降低了數據歧義性，增強了模型在各類數據集場景下的處理可靠性。
作為面向LLM優化的新型數據格式，TOON有望徹底重塑未來LLM處理結構化數據的技術路徑。隨著人工智能系統向更大規模、更復雜上下文處理能力演進，高效數據表示格式在成本控制、延遲優化與性能提升中的作用將愈發關鍵。借助TOON等令牌優化工具，開發者能夠構建功能更豐富的應用程序，實現工作負載的高效擴展，在不損失數據結構完整性的前提下，以更低成本、更快速度獲取更精準的模型輸出結果。
TOON的價值不僅限于一種新型數據格式的創新，更代表著LLM交互技術向更智能、更經濟、更高效方向發展的重要探索。未來，隨著技術生態的持續完善與應用場景的不斷拓展，TOON格式將為LLM技術的規模化落地與普惠化應用提供強有力的支撐，推動人工智能技術在成本可控、效率最優的路徑上持續演進。
原文標題：??Is JSON Dead? Use TOON for LLM Calls???，作者：??Shaik Hamzah ??
