精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

記一次由上下文超長(zhǎng)導(dǎo)致的輸出不完整問題——在智能體中怎么處理記憶問題? 原創(chuàng)

發(fā)布于 2025-11-24 09:48
瀏覽
0收藏

“ 上下文管理是大模型應(yīng)用穩(wěn)定性的一個(gè)重要環(huán)節(jié)。”

今天在優(yōu)化智能體的時(shí)候發(fā)現(xiàn)一個(gè)問題,就是智能體第一次思考和工具調(diào)用都是正常的,但第二次思考的時(shí)候就輸出一個(gè)think標(biāo)簽就結(jié)束了;而且不是因?yàn)榇a出現(xiàn)異常結(jié)束,而是智能體輸出了stop結(jié)束符。

所以,這個(gè)問題就很奇怪,代碼都是正常但智能體執(zhí)行一般就正常結(jié)束了;哪怕是出現(xiàn)異常導(dǎo)致結(jié)束也沒問題,但這種正常結(jié)束好像就沒那么好排查了。

所以,經(jīng)過測(cè)試發(fā)現(xiàn)復(fù)現(xiàn)的頻率還挺高,之后經(jīng)過多輪復(fù)現(xiàn)之后發(fā)現(xiàn),問題大概率是出現(xiàn)上下文窗口上,上下文超長(zhǎng)導(dǎo)致模型正常終止。

而出現(xiàn)這種問題,歸根結(jié)底就是模型的上下文管理有問題,再準(zhǔn)確點(diǎn)說就是模型歷史記錄沒做好。

智能體的歷史記錄

在Langchain的技術(shù)體系中,記憶或者說歷史記錄有兩種實(shí)現(xiàn),一種是基于Memory的大模型記憶功能;另一種是Langgraph中的檢查點(diǎn),利用MemorySaver進(jìn)行記憶存儲(chǔ)。

從記憶的持久性上又分為本地存儲(chǔ)和外部存儲(chǔ)(如redis)的方式,但不論哪種方式本質(zhì)上都是把對(duì)話內(nèi)容保存下來,供后續(xù)拼接到上下文中。

記一次由上下文超長(zhǎng)導(dǎo)致的輸出不完整問題——在智能體中怎么處理記憶問題?-AI.x社區(qū)

而作者這次bug出現(xiàn)的原因就在于記憶沒有管理好;導(dǎo)致上下文超長(zhǎng),最后模型結(jié)束。

多說一句,上下文管理是模型應(yīng)用中的重要環(huán)節(jié),原因在于任何模型都會(huì)有上下文窗口限制,并且不同的模型上下文窗口大小不同;并且,其理論窗口大小并不是最優(yōu)窗口大小。

舉例來說,現(xiàn)在最新的模型上下文長(zhǎng)度能達(dá)到128K,但其最優(yōu)長(zhǎng)度可能只有100K或者更少。

所以,怎么管理模型上下文?

模型上下文一般由以下幾個(gè)部分組成:

  • 用戶問題
  • 歷史記錄
  • 參考內(nèi)容
  • 系統(tǒng)提示詞prompt

而其中系統(tǒng)提示詞的長(zhǎng)度基本上是固定的,用戶問題的長(zhǎng)度也有限;因此,上下文超長(zhǎng)的主要原因基本上集中在歷史記錄和參考內(nèi)容上。

其中歷史記錄會(huì)根據(jù)存儲(chǔ)的數(shù)據(jù)和對(duì)話次數(shù)的增大而不斷增長(zhǎng);參考文檔也因?yàn)椴煌奈臋n切分和拼裝方式,導(dǎo)致其長(zhǎng)度不固定。

所以,一般情況下會(huì)對(duì)歷史對(duì)話的輪數(shù),以及參考文檔的數(shù)量進(jìn)行限制;防止上下文超長(zhǎng)。

但在Langgraph中,哪些東西有可能被存到歷史記錄中?

事實(shí)上在系統(tǒng)中,那些內(nèi)容被存到歷史記錄中這個(gè)是完全可以由開發(fā)人員控制的;但在langgraph中已經(jīng)實(shí)現(xiàn)的記憶存儲(chǔ)中,會(huì)把messges中的所有數(shù)據(jù)都存到記錄記錄中。

但這在某些場(chǎng)景下是有問題的,或者說在大部分場(chǎng)景下都是有問題的;比如說,具備思考模式的模型,以及工具調(diào)用的結(jié)果,其實(shí)這些內(nèi)容是不需要被存儲(chǔ)到歷史記錄中的;這玩意就像在開會(huì)時(shí),做會(huì)議紀(jì)要,只需要把每個(gè)人說的內(nèi)容記下來就行,而沒必要把別人怎么想的也記下來。

因此,這時(shí)就需要在記憶模塊把思考過程和工具返回的結(jié)果給過濾掉,最終只記錄對(duì)話過程中的問題和回答。

class TrimmedInMemorySaver(InMemorySaver):
    """帶自動(dòng)裁剪功能的 InMemorySaver(LangGraph v0.2+ 兼容)"""
    def __init__(self, max_tokens=3000, strategy="last", *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.max_tokens = max_tokens
        self.strategy = strategy
    def put(
        self,
        config: RunnableConfig,
        checkpoint: Checkpoint,
        metadata: CheckpointMetadata,
        new_versions: ChannelVersions,
    ) -> RunnableConfig:
        thread_id = config.get("configurable", {}).get("thread_id")
        if not thread_id:
            return super().put(config, checkpoint, metadata, new_versions)
        # 嘗試從 checkpoint 中提取 messages(根據(jù)你項(xiàng)目 checkpoint 結(jié)構(gòu)調(diào)整)
        messages = None
        if isinstance(checkpoint, dict) and "channel_values" in checkpoint:
            messages = checkpoint["channel_values"].get("messages")
        elif isinstance(checkpoint, dict) and "messages" in checkpoint:
            messages = checkpoint["messages"]
        logger.info(f"InMemorySaver中的messages: {messages}")
        # logger.info(f"InMemorySaver中的messages過濾之后的messages: {messages}")
        """ list 類型 BaseMessage messages.type """
        if messages:
            fliter_messages = [
                message
                for message in messages
                if not isinstance(message, ToolMessage)
            ]
            logger.info(f"記憶去除toolmessage: {fliter_messages}")
            # 關(guān)鍵:傳入 token_counter(這里用近似計(jì)數(shù)器)
            trimmed_messages = trim_messages(
                fliter_messages,
                max_tokens=self.max_tokens,
                strategy=self.strategy,
                token_counter=count_tokens_approximately,
                # 可選:保證以 human 開始并以 human/tool 結(jié)束以確保消息序列有效
                # start_notallow="human",
                # end_notallow=("human", "tool"),
                include_system=True,
            )
            logger.info(f"trimmed_messages之后 記憶去除think標(biāo)簽和toolmessage: {trimmed_messages}")
            # 寫回裁剪后的 messages(視 checkpoint 具體結(jié)構(gòu))
            if "channel_values" in checkpoint:
                checkpoint["channel_values"]["messages"] = trimmed_messages
            else:
                checkpoint["messages"] = trimmed_messages
        # 繼續(xù)調(diào)用父類的 put 執(zhí)行真正保存
        return super().put(config, checkpoint, metadata, new_versions)

這樣,一是可以大大減少思考過程和工具調(diào)用結(jié)果對(duì)模型的干擾,其次是可以控制歷史記錄的長(zhǎng)度,防止上下文超長(zhǎng)帶來問題。

通過這樣的方式,就可以避免模型上下文超長(zhǎng)問題,但同樣也會(huì)導(dǎo)致部分記憶丟失;這時(shí)只能要想盡可能的保存記憶,那就只能對(duì)記憶進(jìn)行壓縮。

但不論怎么樣,只要上下文窗口限制還在,那么就永遠(yuǎn)無(wú)法避免記憶丟失的問題。


本文轉(zhuǎn)載自???AI探索時(shí)代?? 作者:DFires

?著作權(quán)歸作者所有,如需轉(zhuǎn)載,請(qǐng)注明出處,否則將追究法律責(zé)任
收藏
回復(fù)
舉報(bào)
回復(fù)
相關(guān)推薦
国产精品普通话| 日韩一区二区三区在线免费观看 | 日本精品入口免费视频| 欧美精品电影| 亚洲深夜福利在线观看| 亚洲免费看黄网站| 欧美与欧洲交xxxx免费观看| 中文字幕一区二区在线观看视频 | 成人在线免费高清视频| 亚洲精品一区二三区| 国产精品x453.com| 色综合色综合色综合色综合色综合| 成人午夜在线影院| www.99热| 黄色视屏在线免费观看| 国产福利一区二区| 日韩一二三在线视频播| 可以免费观看av毛片| 日本精品一二区| 欧美一区影院| 在线不卡中文字幕播放| 日韩精品久久久毛片一区二区| 国产一级一片免费播放| av在线精品| 国产精品天美传媒| 国产精品免费网站| 亚洲激情视频一区| 久久影视三级福利片| 亚洲一区二区av在线| 97av自拍| 久久久久久久久毛片| 国产视频一区二区在线播放| 中文字幕一区二区三区av| 国产精品国产三级国产aⅴ浪潮| 国产男女猛烈无遮挡a片漫画| 草草视频在线观看| 亚洲美女免费在线| 亚洲精品一区二区三| 中文字幕一区二区三区波野结 | 亚洲欧美国产va在线影院| 欧美不卡在线播放| 天天插天天干天天操| 一区二区三区国产盗摄| 亚洲乱码av中文一区二区| 在线免费看污网站| 黄网av在线| 99免费精品视频| 人人爽久久涩噜噜噜网站| 波多野结衣av在线观看| 婷婷丁香久久| 一个色妞综合视频在线观看| 九九九九久久久久| 蜜臀99久久精品久久久久小说 | 亚洲人成亚洲精品| 亚洲国产欧美一区二区丝袜黑人 | 亚洲日韩中文字幕在线播放| 午夜精品久久久内射近拍高清| 日本在线一二三| 日韩av中文字幕一区二区 | 亚洲区欧洲区| 99精品国产热久久91蜜凸| 国产999在线观看| 人妻熟人中文字幕一区二区| 日本综合精品一区| 精品久久久久久久久国产字幕 | 五月天国产精品| 国产a级片网站| 国产小视频在线播放| 亚洲大黄网站| 在线丨暗呦小u女国产精品| 在线播放毛片| 蜜桃视频成人m3u8| 日韩欧中文字幕| 欧美性大战久久久久xxx| 免费理论片在线观看播放老| 美女被久久久| 中文字幕乱码亚洲无线精品一区| 欧美日精品一区视频| 中文字幕+乱码+中文字幕一区| 久久久久久久久久久91| 人妻大战黑人白浆狂泄| 欧美人与牛zoz0性行为| 日韩一区二区三免费高清| 日韩免费视频播放| 国产激情小视频在线| 91视频.com| 999视频在线免费观看| 日本少妇性生活| 国产美女一区| 欧美人与性动交a欧美精品| 免费一级特黄3大片视频| 日韩精品看片| 日韩成人中文字幕在线观看| 一级 黄 色 片一| av综合网站| 欧美一二三区在线观看| 完美搭档在线观看| 麻豆国产一区| 欧美日韩国产一级片| 国产淫片免费看| 91超碰碰碰碰久久久久久综合| 亚洲国产日韩a在线播放性色| 国产精品波多野结衣| 黄色在线观看网| 亚洲色图欧美偷拍| 在线亚洲美日韩| 2017亚洲天堂1024| 日本一区二区免费在线观看视频| 精品一区二区视频| 人人妻人人玩人人澡人人爽| 久久精品视频网| 欧美高清视频一区| 凸凹人妻人人澡人人添| 成人免费视频免费观看| 不卡一区二区三区视频| 久草在现在线| 亚洲一区二区三区四区不卡| 国产无套粉嫩白浆内谢的出处| 亚洲精品88| 色哟哟一区二区三区| 亚洲视频在线不卡| 精品乱码一区二区三区四区| 欧美日精品一区视频| 久久人人爽人人人人片| 少妇精品导航| 亚洲人成网站999久久久综合| 永久看片925tv| 午夜精品久久| 国产精品亚洲视频在线观看| 五月激情丁香网| 日本特黄久久久高潮| 国产精品入口免费视| 日本xxxxwww| 一区二区三区日韩精品| 人人妻人人澡人人爽欧美一区| 四虎影院观看视频在线观看| 欧美三级电影在线看| 免费观看av网站| 99人久久精品视频最新地址| 999国产视频| а√资源新版在线天堂| 欧美人体做爰大胆视频| eeuss中文字幕| 亚洲情侣在线| 国产欧美亚洲视频| 亚洲欧美国产高清va在线播放| av在线一区二区| 国产精品三级一区二区| 97久久中文字幕| 综合欧美国产视频二区| 亚洲中文无码av在线| 久久久影院官网| 欧美二区在线| 一区二区三区四区日本视频| 欧美亚洲综合网| 香蕉网在线视频| 雨宫琴音一区二区三区| 91亚洲精品久久久| 日韩欧美亚洲系列| 激情亚洲一区二区三区四区| 妖精视频一区二区| 日本大胆欧美| 久久久日本电影| 狠狠躁夜夜躁人人爽视频| 国产丝袜在线精品| 美女扒开大腿让男人桶| 国产精品久久久久77777丨| 一本色道久久88精品综合| 免看一级a毛片一片成人不卡| 久久国产精品99国产| 麻豆av一区| 中中文字幕av在线| 欧洲另类一二三四区| 精品人妻一区二区免费| 日韩免费av| 91久久中文字幕| 神马午夜伦理不卡 | 国产乱淫片视频| 99久久夜色精品国产网站| a√天堂在线观看| 日本精品三区| 91久久国产自产拍夜夜嗨| free性m.freesex欧美| 欧美精品色一区二区三区| 欧美在线视频第一页| 波多野结衣视频一区| youjizz.com亚洲| 波多野结衣在线一区二区| 66m—66摸成人免费视频| 国产丰满美女做爰| 中文字幕一区不卡| 中文字幕在线观看91| 久久久久久穴| 免费久久久久久| 欧美91在线| 国内精品模特av私拍在线观看| 免费观看成年在线视频网站| 777久久久精品| 手机毛片在线观看| 国产精品一区二区久久精品爱涩 | 丰满少妇一区二区三区专区| 日韩国产一区二区| 国产美女在线精品免费观看| 成人免费看片| 国产婷婷97碰碰久久人人蜜臀| 日韩精品――中文字幕| 国产精品麻豆久久久| 蜜臀久久99精品久久久酒店新书| 99久久99久久精品国产片果冰| 国产欧美日韩亚洲| 在线免费成人| 国产成人亚洲综合91精品| 蜜桃视频在线免费| 日韩欧美一区二区免费| 日本在线一级片| 国产一区二区剧情av在线| 一区二区精品在线| 豆花视频一区| 国产91在线播放精品91| 黑人极品ⅴideos精品欧美棵| 正在播放国产一区| 神马电影在线观看| 色综合网色综合| a级黄色片免费看| 国产精品久线观看视频| 国产精品jizz| 成人黄色av电影| 野花视频免费在线观看| 蜜桃视频在线一区| 免费看污污视频| 操欧美女人视频| 91在线|亚洲| 日本免费成人| 国产欧美日韩最新| 成人国产一区| 国产精品精品久久久久久| 在线手机中文字幕| 国内精品一区二区三区| 日本h片在线观看| 亚洲国产欧美一区二区三区久久| 国产片在线播放| 亚洲高清免费一级二级三级| 国产一区二区三区在线视频观看| 欧美激情自拍偷拍| 亚洲一区视频在线播放| 久久久综合视频| 色欲av无码一区二区三区| 麻豆国产欧美日韩综合精品二区| 亚洲v国产v| eeuss国产一区二区三区四区| 91深夜福利视频| 成人av在线播放| 91中文在线观看| 人狥杂交一区欧美二区| 国产一区二区黄| 亚洲精品国产精品乱码不卡| 欧美日韩综合视频| 欧美黄色aaa| 亚洲欧美日韩久久| 真实国产乱子伦对白在线| 亚洲黄色av一区| 国产无遮挡aaa片爽爽| 婷婷久久综合九色综合绿巨人| 国产午夜久久久| 午夜天堂影视香蕉久久| 少妇视频一区二区| 92国产精品观看| av直播在线观看| 国产一二精品视频| 337p日本欧洲亚洲大胆张筱雨| 石原莉奈在线亚洲三区| 97在线免费视频观看| 狠狠综合久久| 亚洲第一精品区| 欧美在线亚洲| 奇米精品一区二区三区| 久久九九精品| 久久人人爽av| 久久一区激情| av免费一区二区| 高清不卡一区二区在线| 亚欧激情乱码久久久久久久久| 亚洲精品日韩久久| 中文精品无码中文字幕无码专区| 亚洲第一黄网| 国产激情在线观看视频| 久久成人免费网| 欧美成人黑人猛交| 久久99精品一区二区三区三区| 国产性猛交96| 国产欧美一区二区三区网站| 男女性高潮免费网站| 香蕉成人啪国产精品视频综合网| 岛国av中文字幕| 精品动漫一区二区三区| 国产精品无码粉嫩小泬| 日韩欧美国产精品一区| 久久视频www| 欧美老妇交乱视频| 日日av拍夜夜添久久免费| 亚洲999一在线观看www| 思热99re视热频这里只精品| 一区二区精品国产| 久久国产免费| 少妇熟女视频一区二区三区| 欧美韩日一区二区三区| 国产一级一片免费播放放a| 欧美色手机在线观看| 日本黄色免费视频| 久久精品国亚洲| 精品视频在线一区二区| www国产精品视频| 一本大道熟女人妻中文字幕在线 | 精品亚洲精品| 在线国产精品网| 久热精品视频| 蜜臀视频在线观看| 亚洲人成电影网站色mp4| 亚洲欧美综合自拍| 精品电影一区二区| 亚洲国产www| 色老头一区二区三区在线观看| 精品欧美不卡一区二区在线观看| 久久成人一区二区| av小次郎在线| 国产精品九九久久久久久久| 欧美高清视频看片在线观看 | 高潮毛片无遮挡| 亚洲一区二区三区激情| a毛片在线免费观看| 色偷偷av亚洲男人的天堂| xxx欧美xxx| 免费国产一区二区| 99riav1国产精品视频| 久久人人爽人人片| 国产精品蜜臀在线观看| 国产午夜无码视频在线观看| 亚洲精品电影在线观看| av毛片在线| 91在线观看免费观看| 99精品视频精品精品视频| 日本人69视频| 亚洲欧洲日韩av| 日本天堂在线视频| 精品国产3级a| av中文资源在线资源免费观看| 99视频在线免费观看| 好看不卡的中文字幕| 永久av免费在线观看| 尤物在线观看一区| 精品国产999久久久免费| 亚洲成色www8888| 国产片在线观看| 国产高清在线不卡| 精品久久中文| www.夜夜爱| 成人精品小蝌蚪| 日本网站在线播放| 欧美疯狂做受xxxx富婆| 免费在线看黄网站| 91亚洲va在线va天堂va国| 欧美淫片网站| av av在线| 第一福利永久视频精品| 国产人妻精品一区二区三| 大胆人体色综合| 99精品在免费线中文字幕网站一区| 日本人妻伦在线中文字幕| www.日韩精品| 中文字幕在线欧美| 日韩在线国产精品| 视频精品国内| 国模无码视频一区二区三区| 久久久不卡网国产精品二区| 中国女人真人一级毛片| 俺去啦;欧美日韩| 91欧美日韩在线| 99re在线视频免费观看| 国产精品高清亚洲| 亚洲国产精品二区| 国产高清视频一区三区| 影音先锋日韩精品| 蜜桃精品一区二区| 欧美精品三级日韩久久| av最新在线| 一本色道久久综合亚洲二区三区| 国产成人免费网站| 精品人妻一区二区三区潮喷在线 | 三级视频网站在线| 国产精品人成电影| 黄色日韩在线| 黄色片在线观看免费| 日韩欧美一区二区不卡| 成人av免费电影网站| 艳母动漫在线观看| 久久嫩草精品久久久精品| 国产模特av私拍大尺度| 清纯唯美日韩制服另类| 中文字幕一区二区三区欧美日韩| 欧美一区二区三区成人精品|