我想做一個嘗試，看看能不能用盡量清晰的邏輯，給“AI外行人士”（當然，我也是）引入一下LangChain，試著從工程角度去理解LangChain的設計和使用。同時大家也可以將此文檔作為LangChain的“10分鐘快速上手”手冊，本意是希望幫助需要的同學實現AI工程的Bootstrap。文中所有的示例代碼都已托管到GitHub：https:github.comTuGraphcontriblangchaindemo，喜歡實操的小伙伴可以邊閱讀，邊復現。一、引言1.1什么是LangChain？正式開...

1、背景RTPLLM是阿里巴巴大模型預測團隊開發的大模型推理加速引擎，作為一個高性能的大模型推理解決方案，它已被廣泛應用于阿里內部。該引擎與當前廣泛使用的多種主流模型兼容，并通過采用高性能的CUDA算子來實現了如PagedAttention和ContinuousBatching等多項優化措施。RTPLLM還支持包括多模態、LoRA、PTuning、以及WeightOnly動態量化等先進功能。隨著大模型的廣泛應用，如何降低推理延遲并優化成本已成為業界關注的焦點。我...

今天給大家帶來的話題是AIGC趨勢下的軟件工程重塑。今天這個話題主要分為以下四大部分。第一部分是AI是否已經成為軟件研發的必選項；第二部分是AI對于軟件研發的挑戰及智能化機會，第三部分是企業落地軟件研發智能化的策略和路徑，第四部分是我們現有的可采納的、可落地的工具，在這一部分我也會重點介紹通義靈碼整體的產品能力和概況。01、AI已經成為軟件研發的必選項這張圖是麥肯錫最近發布的一個研究報告，大家可以看到他把...

我在這里想向大家介紹1688嚴選和商品品質化之旅。去年，我們推出了1688嚴選，面臨的挑戰是如何讓買家相信我們的商品真的經過了嚴格的篩選。為了解決這個問題，我們定義了“嚴選”標準，并運用AIGC技術規模化生產和投放品質化商品主圖，以提高買家的信任度。盡管我們面臨圖源質量、合圖標準和流程自動化等挑戰，但我們通過技術創新和優化流程，大幅提升了效率，如今能每天快速制作高達幾萬張品質主圖，為1688商人節大規模投放做...

一、背景時間步入了2024年，新的技術趨勢，如大模型AIGC多模態等技術，已經開始與實際業務相結合，并開始生產落地。這些新的技術趨勢不僅提高了算力的需求，也給底層基礎設施帶來了更大的挑戰。在計算方面，以GPU和FPGA等異構硬件為例，他們通過短周期的迭代和演進來適應不斷變化的需求。阿里集團通過統一調度、統一資源池以及全面彈性等調度手段滿足了復雜的計算需求。在存儲方面，經典的微服務應用通過云原生化的方式，兼顧了...

01、引言LoRA(LowrankAdapter)在大模型（如GPT3，LLama,Qwen等）中，是一種重要的微調技術。該技術通過在不改變預訓練模型參數的同時，添加低階矩陣，學習新的、特定于任務的參數。這種微調方式不僅維持了模型的高效性能，也顯著提升了模型訓練和部署的效率。然而當對basemodel進行規模化多任務微調時，相關部署成本可能會顯著增加。基于實際應用場景，成本和效率考慮，我們在RTPLLM框架上實現了兩種LoRA方法：靜態LoRA和動態Lo...

01、前言從2022年底chatGPT的一炮走紅開始，基于大語言模型的對話應用如雨后春筍一般全面開花。剛剛過去的2023年是千帆競發的一年，在這一年里我們見證了百模大戰，開源模型社區可謂繁榮昌盛：從llama到它的無數變體、qwen系列的完整中文大模型生態構建、Mixtral等多模態的成功嘗試、再到llava等視覺大語言模型的蓄勢待發。在語言模型上，我們已經有了十分豐富的選擇，這些模型在RTPLLM上都得到了較好的支持，可以高效地完成推...

01Havenask介紹Havenask是阿里巴巴廣泛使用的自研大規模分布式檢索系統，是過去十多年阿里在電商領域積累下來的核心競爭力產品，廣泛應用在搜推廣和大數據檢索等典型場景。在2022年云棲大會云計算加速開源創新論壇上完成開源首發，同時作為阿里云開放搜索OpenSearch底層搜索引擎，OpenSearch自2014年商業化，目前已有千余家外部客戶。02向量檢索近年來，隨著短視頻、電商等領域的繁榮，產生了越來越多的非結構化數據，如圖片、...