一、A2A協(xié)議的核心原理A2A協(xié)議的設(shè)計(jì)基于五個(gè)核心原則，這些原則確保了協(xié)議的靈活性、安全性和廣泛適用性。以下是對(duì)這些原則的詳細(xì)解析，并結(jié)合技術(shù)機(jī)制進(jìn)行說(shuō)明。1.擁抱智能體特性（EmbraceAgenticCapabilities）A2A協(xié)議專為具有自主性和復(fù)雜推理能力的AI智能體設(shè)計(jì)。不同于傳統(tǒng)的工具調(diào)用（如API或數(shù)據(jù)庫(kù)查詢），A2A允許智能體以自然、結(jié)構(gòu)化的方式進(jìn)行協(xié)作，而無(wú)需共享內(nèi)存、工具或上下文。這種設(shè)計(jì)支持智能體在分布式環(huán)境中...

近年來(lái)，大語(yǔ)言模型（Largelanguagemodel,LLM）取得了顯著進(jìn)展。以ChatGPT為代表的LLM在自然語(yǔ)言任務(wù)上展現(xiàn)出驚人的智能涌現(xiàn)能力。盡管LLM在很多推理任務(wù)上表現(xiàn)出前所未有的接近人類的性能，但是單純的LLM只能處理文本類任務(wù)。與此同時(shí)，在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練的視覺(jué)基礎(chǔ)模型也在快速發(fā)展。盡管在視覺(jué)領(lǐng)域還沒(méi)有出現(xiàn)“ChatGPT時(shí)刻”，但是預(yù)訓(xùn)練視覺(jué)基礎(chǔ)模型已經(jīng)可以在很多真實(shí)視覺(jué)場(chǎng)景、數(shù)據(jù)集上表現(xiàn)出優(yōu)秀的零樣本、少樣本性...

本文作者為中國(guó)移動(dòng)云能力中心云智團(tuán)隊(duì)圖像處理算法工程師周華健。身份證識(shí)別場(chǎng)景下服務(wù)調(diào)用量大，往往對(duì)于服務(wù)的吞吐量要求較高。本文主要從業(yè)務(wù)邏輯、模型、工程三個(gè)層面對(duì)身份證識(shí)別服務(wù)進(jìn)行優(yōu)化，取得了較大的性能提升。1.業(yè)務(wù)邏輯優(yōu)化一個(gè)身份證通常包含了4個(gè)模型，身份證檢測(cè)模型，身份證方向判斷模型，身份證文字檢測(cè)模型，身份證文字識(shí)別模型。由于身份證檢測(cè)與身份證文字檢測(cè)模型任務(wù)類型相似，模型輸入圖像也可以一致...

國(guó)產(chǎn)化AI芯片的發(fā)展已經(jīng)成為國(guó)內(nèi)信息技術(shù)產(chǎn)業(yè)的一個(gè)重要領(lǐng)域，它的發(fā)展始于對(duì)高性能計(jì)算需求的崛起，尤其是在人工智能和大數(shù)據(jù)領(lǐng)域，國(guó)內(nèi)的科研機(jī)構(gòu)和高新技術(shù)企業(yè)開(kāi)始投入大量資源用于AI芯片的研發(fā)，以滿足國(guó)內(nèi)應(yīng)用的需求。并且隨著中國(guó)在各個(gè)高新領(lǐng)域的不斷發(fā)力與國(guó)外AI芯片技術(shù)近年來(lái)不斷加深的制裁，各個(gè)行業(yè)的企業(yè)也開(kāi)始合作，以共同推動(dòng)AI芯片的研發(fā)和應(yīng)用，包括通信、云計(jì)算、智能制造、自動(dòng)駕駛等領(lǐng)域。國(guó)內(nèi)市場(chǎng)對(duì)AI芯...

要說(shuō)當(dāng)下什么最熱，DeepSeek絕對(duì)是當(dāng)仁不讓。憑借其強(qiáng)大的語(yǔ)言理解和生成能力，以及免費(fèi)開(kāi)放的策略，DeepSeek迅速吸引了大量用戶，成為全球關(guān)注的焦點(diǎn)。然而，隨著用戶數(shù)量的激增，DeepSeek官網(wǎng)的聯(lián)網(wǎng)搜索和深度思考功能經(jīng)常出現(xiàn)“服務(wù)器繁忙”的提示，嚴(yán)重影響了用戶體驗(yàn)。除了官方，還有辦法擁有滿血、可聯(lián)網(wǎng)的DeepSeek嗎？答案是肯定的。比如近期移動(dòng)云就推出了DeepSeek系列模型的免費(fèi)體驗(yàn)，通過(guò)接入云服務(wù)商的推理API，用戶...

一、背景2024年9月OpenAI發(fā)布的o1preview模型展現(xiàn)出了在解決復(fù)雜問(wèn)題上的強(qiáng)大邏輯思維能力。相比之前傳統(tǒng)的Chat類模型，o1類模型在解決問(wèn)題時(shí)會(huì)構(gòu)建出長(zhǎng)序列的思維鏈chainofthought（CoT）進(jìn)行推理，通過(guò)問(wèn)題拆解、中間步驟驗(yàn)證、思維探索等方法，最終找到問(wèn)題的正確解答方法。OpenAI對(duì)o1模型的介紹中也著重強(qiáng)調(diào)了CoT的重要性【1】。類似于人類在回答一個(gè)困難問(wèn)題時(shí)可能會(huì)思考很長(zhǎng)時(shí)間，o1在解決問(wèn)題時(shí)也采用了鏈?zhǔn)剿季S。通過(guò)強(qiáng)...

1.引言隨著大模型在多模態(tài)理解、邏輯推理等方面的進(jìn)一步發(fā)展，Agent或?qū)⒃?025年迎來(lái)大規(guī)模落地應(yīng)用，替代人類自主解決越來(lái)越多的日常工作。人工智能（AI）專家普遍認(rèn)為，2025年將是智能體（agent）爆發(fā)之年。2024年底，Gartner也將agenticAI列入了2025年十大技術(shù)趨勢(shì)之一，并預(yù)測(cè)2028年將至少有15%的日常工作決策由agenticAI自主完成，而這一數(shù)字在2024年為0。在CES2025，黃仁勛也強(qiáng)調(diào)2025年Agent將會(huì)有許多商業(yè)化應(yīng)用。本文從...

1.什么是人臉識(shí)別？人臉識(shí)別技術(shù)，是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測(cè)和跟蹤人臉，進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行臉部的一系列相關(guān)技術(shù)，通常也叫做人像識(shí)別、面部識(shí)別。人臉識(shí)別技術(shù)主要是通過(guò)人臉圖像特征的提取與對(duì)比來(lái)進(jìn)行的。人臉識(shí)別系統(tǒng)將提取的人臉圖像的特征數(shù)據(jù)與數(shù)據(jù)庫(kù)中存儲(chǔ)的特征模板進(jìn)行搜索匹配，通過(guò)設(shè)定一個(gè)閾值，當(dāng)相似度超過(guò)...

微軟“Tay”項(xiàng)目2016年3月，微軟發(fā)布了一個(gè)名為T(mén)ay的新項(xiàng)目。微軟設(shè)計(jì)Tay的初衷是為“18至24歲的美國(guó)年輕人提供娛樂(lè)服務(wù)的聊天機(jī)器人”。這是一個(gè)有趣的名字，代表著早期人工智能實(shí)驗(yàn)的輕松嘗試。Tay旨在模仿一位19歲的美國(guó)女孩的語(yǔ)言模式，并通過(guò)與Twitter、Snapchat及其他社交應(yīng)用上的用戶互動(dòng)來(lái)學(xué)習(xí)。這款聊天機(jī)器人是為了進(jìn)行真實(shí)環(huán)境下的對(duì)話理解研究而開(kāi)發(fā)的。然而，僅在發(fā)布幾小時(shí)后，問(wèn)題就顯現(xiàn)了。TechCrunch評(píng)論道：...

概念Ray是一個(gè)開(kāi)源的高性能分布式計(jì)算框架，旨在簡(jiǎn)化大規(guī)模分布式應(yīng)用的開(kāi)發(fā)和運(yùn)行。它提供了靈活的任務(wù)調(diào)度、資源管理以及并行計(jì)算能力，使開(kāi)發(fā)者能夠輕松實(shí)現(xiàn)從單機(jī)到多節(jié)點(diǎn)的計(jì)算擴(kuò)展。Ray支持多種場(chǎng)景，包括分布式機(jī)器學(xué)習(xí)訓(xùn)練、強(qiáng)化學(xué)習(xí)、超參數(shù)優(yōu)化、大規(guī)模數(shù)據(jù)處理和實(shí)時(shí)模型部署等。Ray的核心概念是通過(guò)統(tǒng)一的API，使開(kāi)發(fā)者專注于邏輯開(kāi)發(fā)，而不必關(guān)心底層的分布式實(shí)現(xiàn)細(xì)節(jié)。通過(guò)模塊化設(shè)計(jì)，Ray集成了多個(gè)功能強(qiáng)大的庫(kù)...

一、環(huán)境準(zhǔn)備1.前置條件首先準(zhǔn)備好訓(xùn)練機(jī)器和數(shù)據(jù)，筆者采用了32節(jié)點(diǎn)910BNPU，300萬(wàn)網(wǎng)頁(yè)訓(xùn)練數(shù)據(jù)。2.環(huán)境配置環(huán)境安裝，首先安裝多模態(tài)訓(xùn)練框架msswift，安裝torchnpu及deepspeed。安裝msswift(當(dāng)前推薦從源碼安裝,待發(fā)版后可直接pip安裝)gitclonehttps:github.commodelscopeswift.gitcdswiftpipinstalle'.[llm]'安裝torchnpupipinstalltorchnpudecorator安裝deepspeedpipinstalldeepspeed完整python依賴版本見(jiàn)文末附錄3.環(huán)境驗(yàn)...

1.基于傳統(tǒng)機(jī)器學(xué)習(xí)的范式（第一范式）在早期的自然語(yǔ)言處理（NLP）研究中，神經(jīng)網(wǎng)絡(luò)尚未被引入。在這個(gè)時(shí)期，NLP處理方法通常需要從自然語(yǔ)言語(yǔ)料庫(kù)中提取各種特征，例如詞性標(biāo)注、命名實(shí)體識(shí)別和短語(yǔ)結(jié)構(gòu)分析。然后，使用特定的規(guī)則或數(shù)學(xué)、統(tǒng)計(jì)學(xué)模型來(lái)對(duì)提取出的特征進(jìn)行匹配和應(yīng)用。例如，可以通過(guò)詞性標(biāo)注和短語(yǔ)結(jié)構(gòu)分析提取文本中的關(guān)鍵信息，然后利用數(shù)學(xué)模型，如隱馬爾可夫模型或貝葉斯網(wǎng)絡(luò)，來(lái)執(zhí)行序列分類和序列標(biāo)注...

1.背景這次指的大型語(yǔ)言模型（LLMs）主要說(shuō)的是采用Transformers架構(gòu)的模型，該架構(gòu)在訓(xùn)練階段具有高度的并行性。然而，在實(shí)際應(yīng)用中，高效地部署這些模型面臨一些挑戰(zhàn)。這是因?yàn)樯赏评硎侵饌€(gè)token進(jìn)行的，而每個(gè)token的計(jì)算都依賴于先前生成的標(biāo)記。因此，支持大規(guī)模訓(xùn)練的模型需要仔細(xì)考慮并行布局和內(nèi)存優(yōu)化，以實(shí)現(xiàn)所需的可擴(kuò)展性和高效的低延遲推理。從而更好地支持大規(guī)模訓(xùn)練的模型在實(shí)際應(yīng)用中實(shí)現(xiàn)高效的低延遲推理，...

一、大模型概述1.什么是大模型本文的大模型特指的是大規(guī)模數(shù)據(jù)訓(xùn)練得到的預(yù)訓(xùn)練模型，對(duì)于大模型，2021年8月李飛飛聯(lián)合100多名專家發(fā)布了一份研究報(bào)告《OntheOpportunitiesandRiskofFoundationModels》，他們將大模型統(tǒng)一命名為fundationmodel，也可以稱之為基石模型，屬于深度學(xué)習(xí)的一種。此外，從命名就可以看出，大模型的研究已經(jīng)在AI領(lǐng)域形成了里程碑式的影響。那么什么樣的模型可以稱為大模型，應(yīng)可以包括3個(gè)方面：模型的...

數(shù)據(jù)集是大模型競(jìng)爭(zhēng)的關(guān)鍵要素之一，AI大模型的突破得益于高質(zhì)量數(shù)據(jù)的發(fā)展。訓(xùn)練大模型需要大規(guī)模、高質(zhì)量、多模態(tài)的數(shù)據(jù)集，通常需要從各個(gè)領(lǐng)域和多個(gè)數(shù)據(jù)源收集數(shù)據(jù)，這些數(shù)據(jù)可以是文本、圖像、語(yǔ)音、視頻等多種形式。大語(yǔ)言模型訓(xùn)練使用的數(shù)據(jù)集規(guī)模爆發(fā)式增長(zhǎng)。從2018年GPT1數(shù)據(jù)集約為4.6GB，2020年GPT3數(shù)據(jù)集達(dá)到了753GB，而ChatGPT的數(shù)據(jù)集為超萬(wàn)億單詞的人類語(yǔ)言數(shù)據(jù)集（約45TB）。OpenAI并沒(méi)有公開(kāi)訓(xùn)練ChatGPT的相關(guān)...

1.核心云原生組件容器化技術(shù)是云原生的核心，它通過(guò)將應(yīng)用及其依賴項(xiàng)打包到一個(gè)輕量級(jí)、獨(dú)立的容器中，確保了應(yīng)用在不同環(huán)境中的一致運(yùn)行。作為兩種主流的容器引擎，Docker和containerd廣泛應(yīng)用于AI模型的開(kāi)發(fā)和部署。Docker提供了簡(jiǎn)便的容器化工具鏈，而containerd則作為一個(gè)高效、專注的容器運(yùn)行時(shí)，為Kubernetes等平臺(tái)提供底層支持。容器化AI模型可以在本地開(kāi)發(fā)環(huán)境與云端無(wú)縫切換，減少環(huán)境差異帶來(lái)的問(wèn)題。AI應(yīng)用通常由多...

ChatGTP、LLaMA2等通用大模型具備優(yōu)秀的推理性能，但在面對(duì)復(fù)雜多變的業(yè)務(wù)場(chǎng)景時(shí)，往往難以滿足多樣化的需求。ChatGPT等通用大模型通常需要經(jīng)過(guò)復(fù)雜漫長(zhǎng)的訓(xùn)練過(guò)程，預(yù)訓(xùn)練期間需要巨大的算力和存儲(chǔ)消耗，大多場(chǎng)景下從0到1訓(xùn)練一個(gè)模型不僅成本高昂，而且沒(méi)有必要，因此基于預(yù)訓(xùn)練的模型并對(duì)其進(jìn)行微調(diào)成為有價(jià)值的研究方向。微調(diào)預(yù)訓(xùn)練的通用大模型，不僅可以節(jié)約成本，也可以使模型更符合特定領(lǐng)域的需求，變得更定制化、專業(yè)...

1.標(biāo)準(zhǔn)Transformer經(jīng)典Transformer模型(如上圖所示)，它是由編碼器（藍(lán)框）和解碼器（綠框）組成，標(biāo)準(zhǔn)VisionTransformer(ViT)[2]主要應(yīng)用了其中的編碼器,編碼器模塊主要由一個(gè)MultiHeadSelfAttention(MHA)和一個(gè)MultilayerPerceptron(MLP)組成。2.視覺(jué)Transformer標(biāo)準(zhǔn)Transformer編碼器的輸入是一維embedding，為了能將該編碼器應(yīng)用于圖像任務(wù)，將尺寸為(H,W,C)的圖像切分成尺寸為(P,P,C)的圖像塊，一共得到個(gè)圖像塊，reshape...

1.概念Kubeflow是一個(gè)機(jī)器學(xué)習(xí)平臺(tái)，旨在簡(jiǎn)化ML模型的開(kāi)發(fā)、訓(xùn)練、部署和管理。它提供了一系列工具和組件，包括JupyterNotebook、TFJob、Katib（超參數(shù)調(diào)優(yōu)）、KFServing（模型服務(wù)）等，使用戶可以在Kubernetes集群上輕松運(yùn)行和管理機(jī)器學(xué)習(xí)工作流。Volcano是一個(gè)Kubernetes調(diào)度系統(tǒng)，專為批處理、HPC、AI和大數(shù)據(jù)工作負(fù)載設(shè)計(jì)。它通過(guò)提供先進(jìn)的調(diào)度策略、資源公平分配和作業(yè)管理功能，優(yōu)化了資源利用率和任務(wù)執(zhí)行效率。Volca...

一、TensorRT簡(jiǎn)介T(mén)ensorRT是由C++、CUDA、python三種語(yǔ)言編寫(xiě)成的庫(kù)，有助于在NVIDIAGPU上進(jìn)行高性能推理。基于目前主流的深度學(xué)習(xí)框架得到的模型都可通過(guò)TensorRT實(shí)現(xiàn)推理加速。圖1TensorRT轉(zhuǎn)換過(guò)程2021年7月，NVIDIA發(fā)布了TensorRT8.0版本，新版本極大提升了Transformers結(jié)構(gòu)的推理新能。TensorRT性能優(yōu)化主要依賴下面兩種方式：1、權(quán)重與激活精度校準(zhǔn)：在推理中使用FP16或者INT8精度計(jì)算，通過(guò)降低計(jì)算精度，提高計(jì)算效率，...