一、概述

title：You Truly Understand What I Need : Intellectual and Friendly Dialogue Agents grounding Knowledge and Persona

論文地址：https://aclanthology.org/2022.findings-emnlp.75/

代碼地址：https://github.com/dlawjddn803/INFO

1.1 Motivation

• 以前的研究將知識或個人資料混合融入預先訓練的語言模型。其同時考慮知識和人物角色的能力仍然是有限的，導致生成結果出現幻覺，并且使用人物角色的方法也很被動。

1.2 Methods

• 提出一種有效的agent，同時基于外部知識和persona來生成回復。
• 選擇合適的知識和persona生成回答，利用poly-encoder的方法來實現候選打分。
• 實施了人物角色級別指標，以考慮微妙的人物角色基礎的多種人物角色選擇。
• 利用檢索的方式來增強query，其包含知識-角色的增強信息，使其生成的回復少幻覺，多參與性。

總結：

1）先計算persona和knowledge的分數

2）選擇合適的persona+knowledge

3）結合2+query，利用faiss檢索相近的paragraphs

4）生成更具信息量，更多參與度的responses。

1.3 Conclusion

• 提出了INFO (Intellectual and Friendly dialOg agents)，在persona-knowledge chat數據集自動評估metrics上取得sota。
• 人工評估也顯示其少幻覺，多參與性。
• 相對于之前的檢索器件retrievers，證明了我們retrievers的有效性，也比較了multiple candidate scoring的方法。

1.4 limitation

• 缺乏真實的知識和persona候選，導致在現實環境不可用。
• 評估幻覺的cases數量還比較少。
• 需要高的GPU計算資源（ since it marginalizes loss at the token level ）

二、大綱

三、詳細內容

3.1 整體架構圖

主旨思想：利用對話歷史信息，挖掘出最相近的背景信息，然后利用該信息檢索出更多額外知識，進而提高生成結果的質量。

U：人類和機器的歷史對話數據。

cand：每個候選，感覺是knowledge的候選 or persona的候選，目的是排序后選擇分數最高的。

KPEQ（knowledge persona enhanced query）：增強后的query

Retriever（Non parameters）：非參數的，相當于是檢索出相關文檔，輔助額外的知識來提升回復效果。

3.2 語義檢索效果比較:相對于bi-encoder雙塔和cross-encoder，poly這種交互模式效果最好

3.3 實驗結果

Generation：生成效果評估

Grounding：persona和knowledge分類預測的精度（挑選分數最高的persona和knowledge的精度嗎？）

RAG：token級別生成效果好，sequence級別分類效果好

3.4 人工評估：效果碾壓其他的

3.5 實驗設置

本文轉載自??PaperWeekly??，作者： 胡翔 ??NLP ??