DeepSeekOCR是一款創(chuàng)新的OCR模型，不僅在文本識別上表現(xiàn)優(yōu)異，還首次將視覺Token用于上下文壓縮。通過圖像編碼大幅提升長文檔處理效率，突破傳統(tǒng)LLM的Token瓶頸，實現(xiàn)多模態(tài)信息的高密度表達，為大模型應用于大規(guī)模文檔和多模態(tài)理解提供了經(jīng)濟與技術新途徑。1.AI的上下文危機2.DeepSeekOCR上下文光學壓縮思路4.10倍壓縮率的高精度3.DeepSeekOCR系統(tǒng)架構5.超越競爭對手6.LLM記憶與上下文管理7.總結2025年10月20日，DeepSeek又發(fā)...

上下文工程是構建高效AI智能體的關鍵方法論。由于大模型存在上下文衰減和注意力預算限制，需要謹慎管理系統(tǒng)指令、工具、外部數(shù)據(jù)和消息歷史。核心策略是使用最少但信息量高的token，如采用即時上下文檢索、通過壓縮和結構化筆記應對長周期任務。1.上下文工程與提示詞工程2.為什么上下文工程對于構建強大的智能體至關重要3.高效上下文的結構4.上下文檢索與自主智能檢索5.長周期任務的上下文工程6.應對上下文污染的方法6.1壓縮6.2...

Chroma發(fā)現(xiàn)，即使是最先進的LLM在處理長輸入時也會出現(xiàn)性能不一致的"上下文退化"問題。通過測試主流模型發(fā)現(xiàn)，隨著輸入長度增加，模型性能持續(xù)下降。長上下文能力不僅是技術指標，更是需要精心設計的系統(tǒng)工程。1.現(xiàn)有評估基準的局限性1.1大海撈針測試的不足2.擴展后的測試方案3.測試項目3.1針與問題的相似度對性能的影響（NeedleQuestionSimilarity）3.2干擾項對性能的影響（ImpactofDistractors）3.3針與草堆的相似度對性能的...

文檔簡要介紹了如何利用GraphRAG，實現(xiàn)對長篇小說等大規(guī)模文本的高效理解與問答。內容涵蓋GraphRAG的基本原理、核心優(yōu)勢及其在實際應用中的操作流程，幫助初學者快速上手并掌握其用法。1.什么是知識圖譜（knowledgegraph）2.傳統(tǒng)RAG與GraphRAG差異3.GraphRAG知識模型的核心定義4.GraphRAG工作的核心階段5.安裝GraphRAG6.使用方法6.1CLI命令行6.2PythonAPI7.初始化8.修改配置9.準備數(shù)據(jù)10.創(chuàng)建索引10.1索引階段的Token使用情況11...

本文介紹了神經(jīng)概率語言模型（NPLM）的基本原理、結構與實現(xiàn)方法。通過對比傳統(tǒng)Ngram模型，闡述了NPLM如何利用神經(jīng)網(wǎng)絡自動學習詞語間的深層關系，有效提升語言建模的泛化能力。內容涵蓋數(shù)據(jù)準備、模型搭建、訓練流程及推理預測。1.什么是神經(jīng)概率語言模型NPLM2.為什么需要神經(jīng)語言模型2.1傳統(tǒng)語言模型的問題2.2神經(jīng)概率語言模型（NPLM）的誕生3.模型架構詳解4.完整代碼實現(xiàn)4.1構建語料庫4.2生成訓練數(shù)據(jù)4.3模型定義4.3實例化NP...

Ragas是一個專為檢索增強生成（RAG）系統(tǒng)設計的開源評估框架。它通過多維度指標，系統(tǒng)性評估檢索與生成質量，支持無參考自動化評測，幫助開發(fā)者精準定位性能瓶頸，提升RAG系統(tǒng)的準確性與可靠性，適用于各類知識密集型應用場景。Ragas：專為RAG系統(tǒng)打造的高效評估工具1.RAG與評估的必要性2.RAGAS是什么3.Ragas關鍵評估指標詳解3.1檢索質量指標3.1.1上下文精確度(ContextPrecision)3.1.2上下文召回率(ContextRecall)3.2生成質量指...

本文介紹了神經(jīng)概率語言模型（NPLM）的基本原理、結構與實現(xiàn)方法。通過對比傳統(tǒng)Ngram模型，闡述了NPLM如何利用神經(jīng)網(wǎng)絡自動學習詞語間的深層關系，有效提升語言建模的泛化能力。內容涵蓋數(shù)據(jù)準備、模型搭建、訓練流程及推理預測。1.什么是神經(jīng)概率語言模型NPLM2.為什么需要神經(jīng)語言模型2.1傳統(tǒng)語言模型的問題2.2神經(jīng)概率語言模型（NPLM）的誕生3.模型架構詳解4.完整代碼實現(xiàn)4.1構建語料庫4.2生成訓練數(shù)據(jù)4.3模型定義4.3實例化NP...

介紹了在Windows系統(tǒng)中通過WSL2運行大模型推理框架vLLM。vLLM具備高吞吐、低延遲、節(jié)省顯存等優(yōu)勢，適配多種模型與硬件平臺。講解了推理代碼示例，與OpenAIAPI接口兼容的部署方式。1.vLLM的核心優(yōu)勢2.vLLM對Windows的支持3.安裝vLLM前的準備：Nvidia顯卡驅動和WSL5.新建Python虛擬環(huán)境6.安裝GPU版PyTorch6.1確定CUDAToolkit版本6.2選擇與以確認CUDA版本匹配的Pytorch9.安裝vLLM8.使用vLLM離線批量推理8.1下載模型8.2代碼示例8.3...

本文介紹了如何使用Unsloth框架微調大語言模型，以《傷寒論》數(shù)據(jù)集為例訓練一個中醫(yī)專家模型。Unsloth顯著降低了微調的資源需求。文章涵蓋了從環(huán)境配置、模型選擇、數(shù)據(jù)準備到訓練部署的完整流程，為垂直領域模型微調提供了實用參考。1.關于Unsloth2.Unsloth的核心優(yōu)勢3.使用要求4.安裝Unsloth5.選擇模型6.數(shù)據(jù)集準備7.開始微調7.1引入依賴7.2加載模型7.3加載數(shù)據(jù)集7.4定義LoRA7.5使用SFTTrainer進行訓練7.6模型保存7.7訓練過...

ServerSentEvents提供了一種健壯、簡潔且高效的解決方案，用于實現(xiàn)從服務器到客戶端的實時、單向數(shù)據(jù)傳輸。其基于HTTP的基礎、內置的重連機制以及易于實現(xiàn)的特點，使其非常適合用于廣播更新、通知以及流式傳輸大型語言模型(LLM)響應等增量內容。1.實時Web通信簡介2.理解ServerSentEvents(SSE)2.1.關鍵特性2.2.常見場景3.SSE協(xié)議的消息結構3.1完整HTTP響應示例4.使用SSE實現(xiàn)類似ChatGPT的打字機效果4.2.前端實現(xiàn)（HTML+JS）4.1....

將ClaudeCode與KimiK2結合使用進行AI編程的實踐。KimiK2擁有強大推理與編碼能力，ClaudeCode則能無縫集成IDE提供智能輔助。通過健身教練預約項目，展示了二者高效協(xié)同的開發(fā)體驗。1.KimiK21.1編碼能力評估1.2申請APIKEY2.ClaudeCode2.1安裝2.2安裝IDE插件3.開發(fā)一個健身教練預約demo4.效果最近，AI編程領域中ClaudeCode引發(fā)了廣泛關注。作為Claude系列的成員，它具備強大的編程能力，但由于國內訪問受限，許多用戶經(jīng)常面臨賬號...

DeepSeekR1的發(fā)布讓整個AI界重新思考成本與性能的關系。用相對較低的成本訓練出媲美GPT4的模型，這種可能性正在變?yōu)楝F(xiàn)實。而現(xiàn)在，中國AI公司MiniMax又悄然交出了另一份答卷。這家因海螺（Hailuo）AI視頻而聲名鵲起的公司，剛剛發(fā)布了他們的最新大型語言模型MiniMaxM1。M1完全采用Apache2.0許可證開源，任何企業(yè)和開發(fā)者都可以免費使用。更有趣的是訓練成本：僅用53.47萬美元就完成了完整的強化學習訓練。MiniMaxM1的成本控制能...

"我覺得未來十年，是一個只要你有能力去動手做、去實現(xiàn)想法，這種能力就會被極大放大的時代。"——MichaelTruell,CursorCEO最近Cursor的CEOMichaelTruell接受YCombinator的一段長訪談，Cursor站在AI編程的最前沿，通過這次訪談帶領我們更好的看清楚AI編程的視角。我們正在經(jīng)歷編程史上最重要的范式轉換——從手工編寫代碼的"人工編譯器"時代，躍遷到專注創(chuàng)意和邏輯的"設計師"時代。如果有一天你只需要描述你想要什么，電腦就能...

在自然語言處理（NLP）領域，我們面臨的第一個挑戰(zhàn)就是如何讓計算機理解人類的語言。計算機不認識漢字或字母，它們只懂數(shù)字。因此，我們需要一種方法，將詞語轉換成計算機可以處理的數(shù)字形式。1.什么是詞向量？我們不能直接把"蘋果"這兩個字輸入到機器學習模型中。模型無法進行任何計算。我們需要先把它變成一組數(shù)字。早期的方法早期自然語言處理方法，如獨熱編碼和詞袋模型，雖然對某些機器學習任務有用，但并不能捕捉到詞的意...

介紹了Anthropic的元提示詞工具，展示了如何編寫清晰、具體、結構化的提示詞。深入講解了提示詞工程的重要性，并總結了寫作提示詞的三個核心原理與技巧，讓用戶能像指導新員工一樣高效地引導AI，獲得穩(wěn)定準確的輸出結果。1.提示詞工程基礎：Anthropic元提示詞的核心理念什么是提示詞工程Anthropic元提示詞第1行的核心思想2.Anthropic元提示詞教你的三個寫作原理原理1:讓AI分步驟思考不要一次性處理復雜任務原理2:用完整示例教會...

本文介紹了在增強檢索生成（RAG）流程中，文本分塊的重要性和實現(xiàn)方式。詳細解釋了為什么要對文本進行切分及代碼示例，展示了分塊后的效果。通過合理分塊，可以有效應對模型的輸入限制，提升檢索與生成的質量，是構建高效LLM應用的關鍵步驟之一。1.文檔分塊的原因2.文檔分塊的基本思路2.1基于長度的分塊類型2.2代碼實現(xiàn)2.2拆分結果3.圖形化顯示分塊總結在快速發(fā)展的自然語言處理（NLP）領域，增強檢索生成（RAG）已成為提高AI生...

隨著GenAI技術的突飛猛進，LLM的"幻覺"問題已成為業(yè)界關注焦點。最近，由Vectara發(fā)布了一份《幻覺排行榜》，對主流模型的幻覺表現(xiàn)進行了系統(tǒng)對比。量化展示了不同LLM的幻覺率差異采用Vectara自研的HHEM2.1評估模型為選型提供一個參考本排行榜使用Vectara的商業(yè)幻覺評估模型HHEM2.1，來計算LLM排名（更新于2025年4月29日）排行榜地址：??https:github.comvectarahallucinationleaderboardtabreadmeovfile????https:hugging...

在RAG系統(tǒng)中，僅靠向量相似度檢索容易造成信息重復或片面。為提升回答的多樣性與覆蓋度，引入MMR（MaximumMarginalRelevance）算法能有效在“相關性”與“多樣性”之間取得平衡，從而挑選出既相關又不重復的信息，提升系統(tǒng)輸出的質量與實用性。1.MMR是什么，它能解決什么問題？2.MMR的基本思想3.MMR的原理和公式解析3.1算法流程3.2舉個例子：摘要任務中的MMR4.MMR的應用場景4.1.信息檢索（比如搜索引擎的結果排序）4.2.問答系統(tǒng)...

在RAG的核心步驟中，有一個至關重要的步驟：“文本分塊（TextSplitting）”。它的主要作用就是把一大段文本切分成更小、更合理的片段，這樣模型才能更好地理解、處理或者存儲這些內容。如果一整篇文章不拆開，那embedding的顆粒度太粗，問答的時候很容易不準。所以切得好不好，直接影響最后答案的相關性和準確性。最基本的分塊方法是根據(jù)文檔的長度進行拆分。這種簡單而有效的方法確保每個塊不會超過指定的大小限制。基于長度拆...

RAG（檢索增強生成）是一種很厲害的技術，能幫助企業(yè)開發(fā)更智能的AI應用。這類AI不僅能結合實時數(shù)據(jù)，還能利用企業(yè)自己的數(shù)據(jù)，生成更自然、更有互動感的對話。RAG的核心思路是讓AI在回答問題時，不是光靠自己“想”，而是先去查找外部的、可靠的專業(yè)知識，把這些信息當作參考，讓回答更準確、更有依據(jù)。但問題在于，AI找到的資料是否靠譜，直接決定了它給出的答案是否可信。所以，優(yōu)化RAG的搜索過程非常重要，能有效提升AI生成...