8月14日消息，計(jì)算語言學(xué)和自然語言處理領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議ACL 2024年會(huì)本周在泰國舉行，阿里云共有38篇高水平論文被大會(huì)錄用，包括通義千問團(tuán)隊(duì)多篇大模型相關(guān)論文，主題涉及大模型SFT技術(shù)、LLM角色扮演能力、多模態(tài)模型測(cè)評(píng)基準(zhǔn)等。設(shè)在曼谷大會(huì)現(xiàn)場(chǎng)的通義展臺(tái)被世界各地的NLP研究人員和開發(fā)者圍觀，通義成了現(xiàn)場(chǎng)最受關(guān)注的中國大模型。

ACL 年會(huì)（Annual Meeting of the Association for Computational Linguistics）由國際計(jì)算語言學(xué)協(xié)會(huì)組織，是計(jì)算語言學(xué)和自然語言處理領(lǐng)域排名第1的頂級(jí)學(xué)術(shù)會(huì)議。ACL 2024是該協(xié)會(huì)的第62屆會(huì)議，今年大會(huì)特別關(guān)注“以開放科學(xué)、開放數(shù)據(jù)、開放模型促進(jìn)可復(fù)現(xiàn)的自然語言處理研究”這一話題。

阿里云一直以來都是ACL論文入選數(shù)量最高的科技公司之一，今年累計(jì)有38篇文章被收錄，包括16篇主會(huì)論文。作為中國大模型“開源開放”力量的代表，通義大模型團(tuán)隊(duì)在本次大會(huì)披露了多項(xiàng)大模型前沿技術(shù)，并與世界各地的NLP研發(fā)人員和開發(fā)者面對(duì)面交流。

《Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment》首次提出用于大模型角色扮演的自我對(duì)齊策略DITTO，顯著提升了LLM的角色扮演能力，通義團(tuán)隊(duì)已將DITTO開源；《AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension》介紹了通義團(tuán)隊(duì)推出的音頻語言理解模型測(cè)評(píng)基準(zhǔn)AIR-Bench，用于評(píng)估模型的生成式指令跟隨能力，填補(bǔ)了業(yè)界空白；《How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition》通過一系列實(shí)驗(yàn)展示了SFT數(shù)據(jù)如何影響LLM的數(shù)學(xué)、代碼、人類對(duì)齊能力，可為研究者和開發(fā)者的SFT工作提供借鑒。

海外開發(fā)者基于Qwen訓(xùn)練了泰語大模型和東南亞語大模型

自2023年8月以來，通義千問已經(jīng)開源數(shù)十款LLM、多模態(tài)和專項(xiàng)能力模型，Qwen系列開源模型下載量超過了2000萬。

在東南亞地區(qū)，通義千問開源模型也有很多忠實(shí)用戶，開源社區(qū)經(jīng)常可見基于Qwen訓(xùn)練的泰語、越南語、東南亞語等大模型。比如，新加坡工程師劉乾基于Qwen1.5訓(xùn)練了廣受歡迎的東南亞語大模型Sailor，覆蓋0.5B、1.8B、4B、7B、14B等全套尺寸；越南語工程師Nguyen Quan開發(fā)了越南語大模型，他說：“根據(jù)我們內(nèi)部的基準(zhǔn)測(cè)評(píng)，Qwen2基礎(chǔ)模型超越了目前市場(chǎng)上所有的閉源大語言模型”。

附：阿里云被ACL 2024收錄的論文清單