國際計算語言學年會（Annual Meeting of the Association for Computational Linguistics，簡稱 ACL）是由國際計算語言學協會（Association for Computational Linguistics）主辦的學術盛會，每年舉辦一次。作為計算語言學和自然語言處理領域最具影響力的會議之一，第 63 屆 ACL 即將于 7 月 27 日至 8 月 1 日在奧地利首都維也納隆重舉辦。近日，ACL 正式公布了論文錄用名單，快手基礎大模型團隊憑借其在人工智能領域的深厚積累，成功入選 7 篇論文。這些研究涵蓋了模型訓練階段的對齊偏差、推理階段的安全防護、解碼策略和可靠性、視頻-時序理解以及評測基準等大模型前沿領域的成果。

論文 01：TUNA: Comprehensive Fine-grained Temporal Understanding Evaluation on Dense Dynamic Videos

| 類型：ACL25 Main

| 論文鏈接：??https://friedrichor.github.io/projects/TUNA/??

| 論文簡介：視頻獨特之處在于它整合了時序元素，包括鏡頭、場景、動作和屬性，以及它們隨時間推移的動態關系。然而，現有的視頻理解基準測試往往將這些特性分開處理，或僅僅關注特定方面，忽視了視頻內容的整體性。為了解決這個問題，我們提出了一個面向時序的基準測試 TUNA，用于對密集動態視頻進行細粒度理解，包含兩個互補的任務：視頻描述和問答。我們的基準測試具有多樣化的視頻場景和動態特征，并配備了可解釋且穩健的評估標準。我們在 TUNA 上評估了一些領先的模型，從不同維度提供了細粒度的性能評估。這項評估揭示了視頻時序理解中的關鍵挑戰，例如有限的動作描述能力、不充分的多主體理解，以及對鏡頭運動的不敏感性，為改進視頻理解模型提供了寶貴的見解。

論文 02：Root Defense Strategies: Ensuring Safety of LLM at the Decoding Level

| 類型：ACL25 Main

| 論文鏈接：??https://arxiv.org/pdf/2410.06809??

| 論文簡介：隨著大語言模型(LLMs)的不斷發展，由于錯誤或惡意提示導致有害輸出的風險也在增加。雖然現有方法能有效應對越獄（jailbreak）風險，但它們普遍存在兩個關鍵限制：1) 僅從預填充級別判斷有害輸出，未充分利用模型解碼過程中的輸出信息，導致效果和魯棒性相對較低。2) 基于單一評估拒絕潛在有害輸出會顯著損害模型的有用性。為解決以上問題，我們深入研究了 LLMs 識別有害輸出的能力，揭示并量化了它們評估先前令牌危險性的能力。受試驗結果啟發，我們設計了一種在解碼層面的強健防御機制。我們的創新解碼導向、逐步防御架構直接糾正有害查詢的輸出，而非簡單拒絕它們。我們引入推測性解碼技術來提高可用性并促進部署，以提升安全解碼速度。廣泛的實驗表明，我們的方法在不影響推理速度的前提下提高了模型安全性。值得注意的是，與現有方法相比，我們的方法利用模型辨別有害信息的能力，同時保持了較高的有用性。

論文 03：Towards Reward Fairness in RLHF: From a Resource Allocation Perspective

| 類型：ACL25 Main

| 論文鏈接：??https://arxiv.org/pdf/2505.23349??

| 論文簡介：獎勵函數是人類偏好的代理，在“來自人類反饋的強化學習”（Reinforcement Learning from Human Feedback，簡稱 RLHF）中起著關鍵作用。然而，當這些獎勵只是不完美的代理，并表現出如長度偏好等偏差時，可能會對大語言模型（LLM）的對齊效果產生不利影響。本文將獎勵中的各種偏差統稱為“獎勵不公”（Reward Unfairness）問題。基于此，我們將偏好學習建模為一個資源分配問題，把獎勵看作是需要分配的資源，同時在分配中權衡效用與公平性之間的取舍。我們提出了兩種實現獎勵公平的方法：公平性正則項（Fairness Regularization）和公平性系數（Fairness Coefficient）。我們將這兩種方法分別應用于驗證階段和強化學習階段，從而分別獲得一個公平獎勵模型和一個策略模型。在兩個應用場景下的實驗結果表明，我們的方法能夠以更加公平的方式，使 LLM 更好地對齊于人類偏好。

論文 04：HAIC: Improving Human Action Understanding and Generation with Better Captions for Multi-modal Large Language Models

| 類型：ACL25 Main

| 論文鏈接：??https://arxiv.org/abs/2502.20811??

| 論文簡介：多模態大型語言模型在視頻理解方面取得了長足進步。然而，由于缺乏高質量的數據，它們在涉及人類動作的視頻上的表現仍然受到限制。更進一步，我們發現訓練數據的表述形式對模型的理解效果有很大的影響。為了解決這個問題，我們引入了一個兩階段的數據標注流程。首先，我們設計策略從互聯網上積累具有清晰人類動作的視頻。其次，我們將視頻標注為標準化的描述格式，該格式使用人類屬性來區分個體，并按時間順序詳細描述他們的動作和互動。通過該流程，我們整理了兩個數據集，分別是 HAICTrain 和 HAICBench。HAICTrain 包含由我們數據鏈路生成并經過訓練驗證的 126,000 個視頻-描述對。同時，HAICBench 包含 500 個手動標注的視頻-描述對和 1,400 個問答對，用于全面評估人類動作理解能力。實驗結果表明，使用 HAICTrain 進行訓練不僅顯著提升了多個公開基準測試中人類的理解能力，而且還能提升文生視頻的視頻重建質量。

論文 05：GODBench: A Benchmark for Multimodal Large Language Models in Video Comment Art

| 類型：ACL25 Main

| 論文鏈接：??https://stan-lei.github.io/KwaiMM-Dialogue/paper3-godbench.html??

| 論文簡介：視頻評論藝術通過提供蘊含幽默、諷刺或情感共鳴的創意內容，顯著提升了用戶參與度，這要求對文化及語境細微差異具備全面深入的理解。盡管多模態大語言模型（MLLMs）與思維鏈（CoT）在 STEM 任務（如數學與編程）中已展現出強大的推理能力，但在生成具有共鳴的笑話與深刻諷刺等創造性表達方面仍存在局限。此外，現有基準測試因模態單一與類別覆蓋不足，制約了對視頻評論藝術創作中綜合創造力的探索。針對這些缺陷，我們推出 GODBench——一個融合視頻與文本模態的全新基準測試，旨在系統評估 MLLMs 生成視頻評論藝術的能力。受物理學中波傳播模式的啟發，我們進一步提出漣漪思維（Ripple of Thought, RoT）——一種多步推理框架，專門設計用于增強 MLLMs 的創造力。大量實驗表明，現有 MLLMs 及 CoT 方法在理解與生成創意視頻評論方面仍面臨重大挑戰。相比之下，RoT 為提升創意內容創作提供了有效路徑，其推動 MLLM 創造力實現實質性突破的潛力值得關注。

論文 06：Mixture of Decoding: An Attention-Inspired Adaptive Decoding Strategy to Mitigate Hallucinations in Large Vision-Language Models

| 類型：ACL25 Findings

| 論文鏈接：??https://arxiv.org/pdf/2505.17061v1??

| 論文簡介：大型視覺語言模型在各種視覺任務中展現出令人印象深刻的能力，但它們仍然受到幻覺這一持續挑戰的阻礙。為了解決這一關鍵問題，我們提出了混合解碼 (MoD)，這是一種用于緩解幻覺的新穎方法，它通過評估模型對圖像標記的注意力的正確性來動態調整解碼策略。具體而言，MoD 測量由原始圖像標記生成的輸出與由模型關注的圖像標記生成的輸出之間的一致性，以區分上述正確性。如果輸出一致，則表明注意力正確，MoD 會采用互補策略來放大關鍵信息。相反，如果輸出不一致，則表明注意力錯誤，MoD 會采用對比策略來抑制誤導性信息。大量實驗表明，MoD 在多個主流基準測試中的表現顯著優于現有的解碼方法，能夠有效緩解 LVLM 中的幻覺。

論文 07：VidCapBench: A Comprehensive Benchmark of Video Captioning for Controllable Text-to-Video Generation

| 類型：ACL25 Findings

| 論文鏈接：??https://arxiv.org/pdf/2502.12782??

| 論文簡介：可控文本轉視頻 (T2V) 模型的訓練高度依賴于視頻與文本描述的匹配，但現有研究鮮有將視頻描述評估與 T2V 生成評估聯系起來。本文提出了 VidCapBench，這是一種專為 T2V 生成設計的視頻描述評估方案，與任何特定描述格式無關。VidCapBench 采用數據標注流程，結合專家模型標注和人工細化，將每個采集到的視頻與涵蓋視頻美學、內容、運動和物理定律的關鍵信息關聯起來。然后，VidCapBench 將這些關鍵信息屬性劃分為可自動評估和可手動評估的子集，以滿足敏捷開發的快速評估需求和全面驗證的準確性要求。通過評估眾多最先進的描述模型，我們證明了 VidCapBench 與現有視頻描述評估方法相比具有卓越的穩定性和全面性，確保評測的是視頻描述的質量而不是裁判模型的評價能力。使用現成的 T2V 模型進行驗證，發現 VidCapBench 上的得分與 T2V 質量評估指標之間存在顯著的正相關性，這表明 VidCapBench 可以為訓練 T2V 模型提供有價值的指導。

結語

作為一家以人工智能為核心驅動和技木依托的科技公司，快手致力于不斷深化研發投入，將技術作為強勁引擎，驅動業務的迅猛增長。同時，快手將在人工智能領域持續探索，將前沿科技在業務場景中落地應用。欲了解更多關于論文的詳盡內容及深度解讀，敬請密切關注快手技術公眾號的后續推文。