精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

大模型應用與LUI(自然語言交互)落地的關鍵模塊——語義路由實現總結

發布于 2024-5-20 14:40
瀏覽
0收藏

在傳統搜索應用中,有一個核心的模塊叫意圖識別,即識別用戶搜索請求時的意圖,基于意圖不同生成不同的Query或執行不同的邏輯。在RAG應用中,仍然存在著類似的路由模塊完成請求分發。這樣的路由分發需求無處不在,特別是在自然語言交互的應用中,并且會隨著系統支持的場景和功能增多而變得越來越重要。所謂路由就是一個能夠根據一段自然語言輸入進行意圖判斷形成離散輸出的模塊。

典型的場景比如智能客服中的指令任務分發,硬盤搜索助手根據用戶需求搜索圖片還是搜索文件。下面是一些常見的情景的總結。

1)基于問題不同生成不同Prompt的情況,這和意圖識別生成不同Query一樣。

2)根據數據存儲的多樣性分發到不同數據存儲和服務中,比如數據庫、API等

3)即使存儲介質相同,也可能存在多個需要分發的情況。

4)根據問題的類型分發到不同的組件。比如,根據問題的性質將查詢分發給向量數據庫、Agent或服務等。

對于路由的實現大致分為兩類,邏輯路由(Logical Routers)和 自然語言路由。相較于自然語言路由,邏輯路由不依賴于對路由輸入的語義理解,而自然語言路由是需要關注語義的。

大模型應用與LUI(自然語言交互)落地的關鍵模塊——語義路由實現總結-AI.x社區

以下是這些路由的介紹:

1.LLM 路由

利用 LLM 的決策(decision making )能力根據用戶的查詢分發。

a.LLM生成路由

這類路由利用 LLM Completion接口實現,要求 LLM 從提示的單詞選項列表中返回最能描述查詢的單個單詞。然后,該詞可以作為 If/Else 條件的一部分來控制應用程序流程。

在llamaindex及LangChain都有這種思路的實現。下面是 LangChain 的一個使用例子。

from langchain_anthropic import ChatAnthropic
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate


# Set up the LLM Chain to return a single word based on the query,
# and based on a list of words we provide to it in the prompt template
llm_completion_select_route_chain = (
        PromptTemplate.from_template("""
Given the user question below, classify it as either
being about `LangChain`, `Anthropic`, or `Other`.


Do not respond with more than one word.


<question>
{question}
</question>


Classification:"""
                                     )
        | ChatAnthropic(model_name="claude-3-haiku")
        | StrOutputParser()
)




# We setup an IF/Else condition to route the query to the correct chain 
# based on the LLM completion call above
def route_to_chain(route_name):
    if "anthropic" == route_name.lower():
        return anthropic_chain
    elif "langchain" == route_name.lower():
        return langchain_chain
    else:
        return general_chain


...


# Later on in the application, we can use the response from the LLM
# completion chain to control (i.e route) the flow of the application 
# to the correct chain via the route_to_chain method we created
route_name = llm_completion_select_route_chain.invoke(user_query)
chain = route_to_chain(route_name)
chain.invoke(user_query)

b.LLM 函數調用路由器

利用了 LLM 的function call能力來選擇要執行的分支函數。

LlamaIndex中的Pydantic路由就是這個原理。大多數Agent選擇要使用的正確工具也是采用這樣的方式。它們利用 LLM 的函數調用能力,根據用戶的查詢選擇適合的工具。下面是Pydantic路由的使用例子:

from llama_index.core.query_engine import RouterQueryEngine
from llama_index.core.selectors import PydanticSingleSelector
from llama_index.core.selectors.pydantic_selectors import Pydantic
from llama_index.core.tools import QueryEngineTool
from llama_index.core import VectorStoreIndex, SummaryIndex


# define query engines
...


# initialize tools
list_tool = QueryEngineTool.from_defaults(
    query_engine=list_query_engine,
    descriptinotallow="Useful for summarization questions related to the data source",
)
vector_tool = QueryEngineTool.from_defaults(
    query_engine=vector_query_engine,
    descriptinotallow="Useful for retrieving specific context related to the data source",
)


# initialize router query engine (single selection, pydantic)
query_engine = RouterQueryEngine(
    selector=PydanticSingleSelector.from_defaults(),
    query_engine_tools=[
        list_tool,
        vector_tool,
    ],
)
query_engine.query("<query>")

2.語義路由

利用語義相關性檢索來選擇最佳的分支。

每個路由都有一組與之關聯的示例查詢,這些查詢會被embedding并存儲為向量。傳入的查詢也會被embedding,并針對路由器中的其他示例查詢進行相似性搜索。匹配度最高的查詢的路由將被選中。

以semantic-router(https://github.com/aurelio-labs/semantic-router)這個項目為例了解其具體細節。例如,設置兩個路由,一個用于政治問題的問答,另一個用于一般閑聊類型的問答。對于每個路由都會分配一個通常可能被用來觸發該路由分支的問題列表。這些示例查詢(utterances)將被embedding,以便可以將它們用于針對用戶查詢的相似性搜索。

from semantic_router import Route


# we could use this as a guide for our chatbot to avoid political
# conversations
politics = Route(
    name="politics",
    utterances=[
        "isn't politics the best thing ever",
        "why don't you tell me about your political opinions",
        "don't you just love the president",
        "they're going to destroy this country!",
        "they will save the country!",
    ],
)


# this could be used as an indicator to our chatbot to switch to a more
# conversational prompt
chitchat = Route(
    name="chitchat",
    utterances=[
        "how's the weather today?",
        "how are things going?",
        "lovely weather today",
        "the weather is horrendous",
        "let's go to the chippy",
    ],
)


# we place both of our decisions together into single list
routes = [politics, chitchat]


#創建路由層


encoder = OpenAIEncoder()


from semantic_router.layer import RouteLayer


route_layer = RouteLayer(encoder=encoder, routes=routes)

使用時,輸入問題,便能獲得路由決策。

route_layer("don't you love politics?").name
# -> 'politics'

由于這種路由本質上是向量檢索,無需調用LLM,因而比其他基于 LLM 的路由器更快。

3.零樣本文本分類路由

零樣本文本分類(Zero-shot text classification)是NLP中的一項任務,其中模型在一個標記樣本集上進行訓練,進而獲得能夠對來自先前未見過的樣本進行分類,比如基于bert的分類器。

而這類路由便是利用零樣本分類模型給一段文本打上標簽,而這些標簽來自于預定義的標簽路由。

比如,Haystack 中的 ZeroShotTextRouter便是這種實現路徑。具體參考:https://github.com/deepset-ai/haystack/blob/main/haystack/components/routers/zero_shot_text_router.py#L130

4.語言分類路由

這類路由器能夠識別查詢所使用的語言,并根據該語言路由查詢。如果應用程序需要某種多語言解析能力,這將非常有用。

比如,Haystack 中的 TextClassificationRouter,它利用 langdetect 庫來檢測文本的語言,該庫本身使用樸素貝葉斯算法來檢測語言。參考:https://github.com/deepset-ai/haystack/blob/main/haystack/components/routers/text_language_router.py#L90

5.關鍵字路由

該類路由將嘗試通過匹配查詢和路由列表之間的關鍵字來選擇分支。

這個關鍵字路由器也可以由 LLM 來識別關鍵字,或者由其他一些關鍵字匹配庫來實現。

6.邏輯路由

它們使用邏輯檢查變量,例如字符串長度、文件名和值比較來處理如何路由查詢。它們與編程中使用的典型 If/Else 條件非常相似。它們不是基于必須理解自然語言查詢的意圖,而是可以根據現有和變量參數做出選擇。典型實現如HayStack 中的 ConditionalRouter 和 FileTypeRouter。

小結

不管是RAG應用還是普通的業務系統,都存在著大量的分支判斷,這種判斷早期由于自然語言技術的落后(準確率和性能)導致大多數實現為語法判斷,而隨著LLM技術的發展,必然會帶動語義判斷和分發需求的大發展,另一方面,隨著自然語言交互(LUI)的不斷普及,路由模塊將成為其中核心實現受到更大重視。

參考:

??https://towardsdatascience.com/routing-in-rag-driven-applications-a685460a7220??

??https://betterprogramming.pub/unifying-llm-powered-qa-techniques-with-routing-abstractions-438e2499a0d0??

本文轉載自?? AI工程化??,作者: ully

收藏
回復
舉報
回復
相關推薦
精品成人av| 免费毛片在线| 狠狠综合久久| 亚洲精品一区二三区不卡| 国产欧美高清在线| 暖暖日本在线观看| 成人午夜视频网站| 国产精品99久久99久久久二8| 国产精品视频看看| 青青操综合网| 欧美高清www午色夜在线视频| 免费人成在线观看视频播放| 黄色美女网站在线观看| 国产精品一区在线| 日本视频久久久| 超碰在线国产97| 久久中文资源| 制服丝袜成人动漫| 超碰97人人射妻| caoporm免费视频在线| 久久久国产一区二区三区四区小说| 成人夜晚看av| 无码人妻精品一区二区三区9厂 | 免费高清在线一区| 欧美激情国产精品| 日韩在线视频免费看| 日本福利一区| 精品久久久久99| 亚洲娇小娇小娇小| 成人一区福利| 亚洲成a人v欧美综合天堂下载 | www.av在线| 成人综合婷婷国产精品久久蜜臀 | 久久精品国产91精品亚洲| yy1111111| 天堂精品在线视频| 欧美日韩美少妇| 免费黄色一级网站| 中老年在线免费视频| 亚洲国产美女搞黄色| 色撸撸在线观看| 91精彩视频在线观看| 国产色综合久久| 免费久久一级欧美特大黄| 免费观看黄一级视频| 国产传媒久久文化传媒| 成人精品久久av网站| 在线观看中文字幕2021| 热久久免费视频| 日韩av不卡电影| 天天干天天操天天爱| 在线亚洲免费| 欧美最猛性xxxx| 日韩一区二区视频在线| 亚洲精品影院在线观看| 欧美激情成人在线视频| 不卡av电影院| 精品无码国产一区二区三区51安| 日韩成人在线观看视频| 欧美一级二级在线观看| 韩国一区二区在线播放| 国产aa精品| 欧美一级免费观看| japan高清日本乱xxxxx| 亚洲精品在线a| 日韩欧美另类在线| 香蕉视频在线观看黄| 日韩精品一级| 亚洲电影第1页| 精品一区二区视频在线观看| 日韩a级大片| 亚洲欧洲自拍偷拍| 国产传媒在线看| 亚洲精品久久久| 九九热这里只有精品6| 久久免费视频精品| 一区二区三区导航| 国产精品视频一区二区三区四| 136福利视频导航| 国产美女av一区二区三区| αv一区二区三区| 亚洲AV成人无码一二三区在线| 久久综合给合久久狠狠狠97色69| 日韩午夜视频在线观看| 黄色网页网址在线免费| 亚洲国产精品久久艾草纯爱| 国产免费成人在线| 欧美特黄色片| 精品久久久久久久久久久久久久久| 精品人妻一区二区三区日产乱码卜| 国产精品美女久久久久久不卡| 日韩在线国产精品| 精品午夜福利视频| 日韩精彩视频在线观看| 91久久久一线二线三线品牌| 婷婷国产在线| 国产精品久久久久精k8 | 在线免费观看黄色网址| 亚洲激情自拍视频| 999香蕉视频| 欧美成年网站| 亚洲视频一区二区| 欧美三级小视频| 快she精品国产999| 97久久人人超碰caoprom欧美| 青青草观看免费视频在线| 国产精品久久久久久久久免费相片 | 亚洲国产精品人久久电影| 久久午夜夜伦鲁鲁一区二区| 宅男噜噜噜66国产精品免费| 日韩成人免费视频| 999精品在线视频| 夜夜精品视频| 亚洲在线观看视频| 蜜桃免费在线| 一区二区三区在线播放| wwwwxxxx日韩| 极品美女销魂一区二区三区免费 | 韩国视频一区二区三区| 日韩免费成人| 免费黄色网址在线| 忘忧草精品久久久久久久高清| 国内精品久久久久影院优| 波多野结衣网站| 国产91富婆露脸刺激对白| 五月国产精品| 日韩一区和二区| 国产123在线| 亚洲精品乱码久久久久久蜜桃麻豆| 国产日韩精品综合网站| 国产在线资源| 无码人妻aⅴ一区二区三区| 国精品产品一区| 日韩精品日韩在线观看| 美女毛片在线观看| 经典一区二区三区| 亚洲激情图片| 欧美人体一区二区三区| 日韩av在线免费观看一区| 国产盗摄x88av| 精品一区二区三区免费| 日韩国产在线一区| 综合日韩av| 日韩成人在线网站| 国产精品第56页| 国产成人激情av| 成人手机在线播放| 国产精品视频首页| 久久久国产91| 国产精品伦一区二区三区| 欧美国产精品久久| 激情内射人妻1区2区3区| 亚洲va久久久噜噜噜久久| 97在线视频免费观看| 日韩有码第一页| 亚洲国产视频a| 东京热av一区| 亚洲精品精选| 欧美一区国产一区| 精品成人av| 日韩在线视频免费观看高清中文| 中文字幕观看视频| 国产精品成人免费精品自在线观看| 国产高潮免费视频| 国产精品精品国产一区二区| 成人在线国产精品| h网站久久久| 精品动漫一区二区三区在线观看| 久久9999久久免费精品国产| 99国产欧美另类久久久精品| 成年人免费大片| 成人综合专区| 91在线高清视频| 青青青草视频在线| 亚洲精品美女在线观看| 亚洲欧美另类在线视频| 国产精品家庭影院| 中文字幕1区2区| 亚洲日本黄色| 日韩欧美精品久久| 国产精品2区| 2020欧美日韩在线视频| a天堂中文在线88| 日韩午夜激情av| 欧美一区二区三区四| 久久久91精品国产一区二区三区| 在线观看高清免费视频| 欧美在线资源| 欧美日韩在线精品一区二区三区| 日本成人在线网站| 亚州精品天堂中文字幕| porn亚洲| 精品国产免费人成电影在线观看四季 | 国产精品久久久久av蜜臀| 日本精品免费一区二区三区| 黄网站免费在线观看| 亚洲激情在线观看视频免费| 特级西西444www大胆免费看| 亚洲精品国产无套在线观| 精品夜夜澡人妻无码av| 国产一区二三区好的| 欧美国产激情视频| 午夜激情一区| 日本10禁啪啪无遮挡免费一区二区| 精品99re| 国产精品91视频| 日韩精品卡一| 日韩在线免费高清视频| 性xxxx搡xxxxx搡欧美| 制服丝袜日韩国产| 在线观看亚洲黄色| 亚洲成av人片在线| 五月天激情丁香| 久久久久国产成人精品亚洲午夜| 亚洲免费观看在线| 久久国产精品99久久久久久老狼| 成人免费aaa| 午夜久久影院| 中文字幕成人一区| 国产日产一区| 精品久久久久久乱码天堂| 天堂综合在线播放| 国产精品第100页| 国模精品视频| 欧美精品18videosex性欧美| 免费超碰在线| 伊人久久大香线蕉av一区二区| 婷婷视频在线观看| 日韩久久久久久| 国产三级伦理片| 欧美三级中文字幕| 男人天堂视频网| 日韩欧美在线中文字幕| 91久久国产视频| 亚洲国产aⅴ天堂久久| 加勒比婷婷色综合久久| 1000精品久久久久久久久| 摸摸摸bbb毛毛毛片| 久久久久久久国产精品影院| 亚洲精品乱码久久久久久不卡 | 亚洲精品成人无码熟妇在线| 东方欧美亚洲色图在线| 欧美69精品久久久久久不卡| 国产一二精品视频| 一级黄色高清视频| 国产精品夜夜嗨| 色姑娘综合天天| 国产一级精品在线| 好吊操视频这里只有精品| 大美女一区二区三区| 99久久综合网| 成人高清视频免费观看| 亚洲一级av无码毛片精品| 91天堂素人约啪| 短视频在线观看| 国产午夜精品一区二区| 快灬快灬一下爽蜜桃在线观看| 中文字幕欧美区| 亚洲色图100p| 亚洲男人的天堂一区二区| 欧美黑人一级片| 亚洲永久精品大片| 久久精品视频8| 日韩人在线观看| 亚洲男人天堂网址| 4438x亚洲最大成人网| 国产超碰人人模人人爽人人添| 精品久久人人做人人爽| 亚洲AV第二区国产精品| 亚洲视频在线观看| 老司机福利在线视频| 欧美黄色性视频| 伊人久久视频| 91精品国产综合久久香蕉最新版| 久久wwww| 久久久一本精品99久久精品| 精品高清久久| 国产免费xxx| 日韩午夜在线| 天天操天天摸天天爽| 久久精品国产一区二区三 | 一区二区在线免费播放| 国产一区二区无遮挡| 国产伦精品一区二区三区千人斩| 一区二区在线高清视频| 在线看片日韩| 国产v亚洲v天堂无码久久久| 国产自产高清不卡| 亚洲一区二区三区四区五区六区| 国产欧美精品一区二区三区四区| avove在线播放| 91福利视频网站| 成人av一区二区三区在线观看| 亚洲免费伊人电影在线观看av| 免费黄色在线看| 欧美性受xxxx白人性爽| 四虎国产精品成人免费影视| 精品日本一区二区三区在线观看| 欧美电影免费观看高清| 日本丰满少妇xxxx| 麻豆精品视频在线观看免费| 中文字幕在线永久| 亚洲欧美在线视频| 亚洲s码欧洲m码国产av| 日韩免费视频一区| 粉嫩av在线播放| 国模极品一区二区三区| 四虎地址8848精品| 欧美日韩精品久久久免费观看| 午夜欧美精品| 一级黄色录像在线观看| 99精品视频一区二区| 国产性生活大片| 在线观看av一区二区| 少妇高潮一区二区三区69| 欧美精品在线观看| yiren22亚洲综合| 久久久久资源| 99精品99| 任你躁av一区二区三区| 综合久久综合久久| 最新国产中文字幕| 亚洲欧美中文日韩在线v日本| 国产99re66在线视频| 成人午夜激情免费视频| 第一会所亚洲原创| 国产一区二区视频免费在线观看| 成人av动漫在线| 精品一级少妇久久久久久久| 91精品国产乱码久久蜜臀| jizzjizz在线观看| 国产精品精品久久久久久| 美女毛片一区二区三区四区最新中文字幕亚洲 | 国产精品678| 日韩影视高清在线观看| 成人网站免费观看入口| 国产高清亚洲一区| 黄色一级片在线| 日韩一区二区三区四区| caopeng在线| 91成人理论电影| 一区二区三区在线| 三级黄色片免费观看| 亚洲欧美日本在线| h片在线免费看| 欧美日本亚洲视频| 一区二区三区亚洲变态调教大结局| 国产911在线观看| 国产精品综合久久| 久久久精品91| 欧美精品一区二区在线播放| 欧美人与牲禽动交com| 成人情视频高清免费观看电影| 欧美精品99| 在线观看免费视频黄| 欧美日韩亚洲精品一区二区三区| 婷婷丁香花五月天| 日韩美女在线播放| 日韩极品一区| 99中文字幕在线| 亚洲国产精品一区二区久久| 欧美一级性视频| 51视频国产精品一区二区| 国产99亚洲| 天天看片天天操| 亚洲乱码日产精品bd| 黑人精品一区二区| 国产91av在线| 第一sis亚洲原创| 无人码人妻一区二区三区免费| 亚洲一级不卡视频| 日韩porn| 成人黄在线观看| 在线播放一区| 中文字幕 自拍| 6080国产精品一区二区| av伦理在线| 色一情一乱一伦一区二区三区 | 风间由美一二三区av片| 欧美在线观看一区二区| 动漫一区在线| 国内精品一区二区| 美女视频黄免费的久久| 黄色一级视频免费观看| 激情小说网站亚洲综合网| 亚洲超碰在线观看| 欧美久久在线观看| 2020日本不卡一区二区视频| 一级片在线免费观看视频| 欧美区在线播放| 亚洲图区在线| 亚洲一区二区福利视频| 精品久久久久久亚洲精品| 在线免费观看黄色| 成人羞羞视频免费| 日韩av一二三| 日本少妇全体裸体洗澡| 国产一区二区欧美日韩| 97se亚洲| 91看片破解版|