背景
聊天機(jī)器人或客服助手是AI工具，希望通過(guò)互聯(lián)網(wǎng)上的文本或語(yǔ)音與用戶的交付，實(shí)現(xiàn)業(yè)務(wù)價(jià)值。聊天機(jī)器人的發(fā)展在這幾年間迅速進(jìn)步，從最初的基于簡(jiǎn)單邏輯的機(jī)器人到現(xiàn)在基于自然語(yǔ)言理解（NLU）的人工智能。對(duì)于后者，構(gòu)建此類聊天機(jī)器人時(shí)最常用的框架或庫(kù)包括國(guó)外的RASA、Dialogflow和Amazon Lex等，以及國(guó)內(nèi)大廠百度、科大訊飛等。這些框架可以集成自然語(yǔ)言處理（NLP）和NLU來(lái)處理輸入文本、分類意圖并觸發(fā)正確的操作以生成響應(yīng)。
隨著大型語(yǔ)言模型（LLM）的出現(xiàn)，我們可以直接使用這些模型構(gòu)建功能齊全的聊天機(jī)器人。其中一個(gè)著名的LLM例子是來(lái)自O(shè)penAI的生成Generative Pre-trained Transformer 3 （GPT-3：chatgpt就是基于gpt fine-tuning及加入人類反饋模型的），它可以通過(guò)使用對(duì)話或會(huì)話數(shù)據(jù)來(lái)fine-tuning模型，生成類似于自然對(duì)話的文本。這種能力使其成為構(gòu)建自定義聊天機(jī)器人的最佳選擇。
今天我們來(lái)聊如何通過(guò)fine-tuning GPT-3模型來(lái)構(gòu)建滿足屬于我們自己的簡(jiǎn)單會(huì)話聊天機(jī)器人。
通常，我們希望在自己的業(yè)務(wù)對(duì)話示例的數(shù)據(jù)集上fine-tuning模型，例如客戶服務(wù)的對(duì)話記錄、聊天日志或電影中的字幕。fine-tuning過(guò)程調(diào)整模型的參數(shù)，讓它更好地適應(yīng)這些會(huì)話數(shù)據(jù)，從而使聊天機(jī)器人更擅長(zhǎng)理解和回復(fù)用戶輸入。
要fine-tuningGPT-3，我們可以使用Hugging Face的Transformers庫(kù)，該庫(kù)提供了預(yù)訓(xùn)練模型和fine-tuning工具。該庫(kù)提供了幾種不同大小和較多能力的GPT-3模型。模型越大，可以處理的數(shù)據(jù)就越多，精度也可能越高。但是，為了簡(jiǎn)單起見，我們這次使用的是OpenAI接口，可通過(guò)編寫少量的代碼來(lái)實(shí)現(xiàn)fine-tuning。
接下來(lái)就是我們使用OpenAI GPT-3 來(lái)實(shí)現(xiàn)fine-tuning，可從這獲取數(shù)據(jù)集,抱歉我又用國(guó)外數(shù)據(jù)集了，國(guó)內(nèi)真的很少這類已經(jīng)處理好的數(shù)據(jù)集。
1、創(chuàng)建Open API密匙
創(chuàng)建帳戶非常簡(jiǎn)單，可以使用打開這個(gè)鏈接就可以完成。我們可以通過(guò)openai key訪問(wèn) OpenAI 上的模型。創(chuàng)建API 密鑰步驟如下：
- 登錄到您的帳戶
- 轉(zhuǎn)到頁(yè)面的右上角，然后單擊帳戶名，下拉列表，然后單擊“查看 API 密鑰”
- 單擊“創(chuàng)建新密鑰”，記得馬上復(fù)制生成的密鑰，切記，并保存好，不然無(wú)法再次查看它。
2、準(zhǔn)備數(shù)據(jù)
我們已經(jīng)創(chuàng)建了api密匙，那么我們可以開始準(zhǔn)備fine-tuning模型的數(shù)據(jù)，在這可以查看數(shù)據(jù)集。
第一步：
安裝 OpenAI 庫(kù)pip install openai
安裝后，我們就可以加載數(shù)據(jù)了：
import os
import json
import openai
import pandas as pd
from dotenv import load_dotenv
load_dotenv()
os.environ['OPENAI_API_KEY'] = os.getenv('OPENAI_KEY')
openai.api_key = os.getenv('OPENAI_KEY')
data = pd.read_csv('data/data.csv')
new_df = pd.DataFrame({'Interview AI': data['Text'].iloc[::2].values, 'Human': data['Text'].iloc[1::2].values})
print(new_df.head(5))
我們將問(wèn)題加載到Interview AI列中，并將相應(yīng)的答案加載到Human列中。我們還需要?jiǎng)?chuàng)建一個(gè)環(huán)境變量.env文件來(lái)保存OPENAI_API_KEY
接下來(lái)，我們將數(shù)據(jù)轉(zhuǎn)換為 GPT-3 的標(biāo)準(zhǔn)。根據(jù)文檔，確保數(shù)據(jù)采用JSONL具有兩個(gè)鍵的格式，這個(gè)很重要：prompt例如completion
{ "prompt" : "<prompt text>" , "completion" : "<ideal generated text>" }
{ "prompt" : "<prompt text>" , "completion" : "<ideal generated text>" }重新構(gòu)造數(shù)據(jù)集以適應(yīng)以上方式，基本是循環(huán)遍歷數(shù)據(jù)框中的每一行，并將文本分配給Human，將Interview AI文本分配給完成。
output = []
for index, row in new_df.iterrows():
print(row)
completion = ''
line = {'prompt': row['Human'], 'completion': row['Interview AI']}
output.append(line)
print(output)
with open('data/data.jsonl', 'w') as outfile:
for i in output:
json.dump(i, outfile)
outfile.write('\n')
使用prepare_data命令，這時(shí)會(huì)在提示時(shí)詢問(wèn)一些問(wèn)題，我們可以提供Y或N回復(fù)。
os.system("openai tools fine_tunes.prepare_data -f 'data/data.jsonl' ")最后，一個(gè)名為的文件data_prepared.jsonl被轉(zhuǎn)儲(chǔ)到目錄中。
3、fun-tuning 模型
要fun-tuning模型，我們只需要運(yùn)行一行命令：
os .system( "openai api fine_tunes.create -t 'data/data_prepared.jsonl' -m davinci " )
這基本上使用準(zhǔn)備好的數(shù)據(jù)從 OpenAI 訓(xùn)練davinci模型，fine-tuning后的模型將存儲(chǔ)在用戶配置文件下，可以在模型下的右側(cè)面板中找到。
4、模型調(diào)試
我們可以使用多種方法來(lái)驗(yàn)證我們的模型。可以直接從 Python 腳本、OpenAI Playground 來(lái)測(cè)試，或者使用 Flask 或 FastAPI 等框構(gòu)建 Web 服務(wù)來(lái)測(cè)試。
我們先構(gòu)建一個(gè)簡(jiǎn)單的函數(shù)來(lái)與此實(shí)驗(yàn)的模型進(jìn)行交互。
def generate_response(input_text):
response = openai.Completion.create(
engine="davinci:ft-personal-2023-01-25-19-20-17",
prompt="The following is a conversation with DSA an AI assistant. "
"DSA is an interview bot who is very helpful and knowledgeable in data structure and algorithms.\n\n"
"Human: Hello, who are you?\n"
"DSA: I am DSA, an interview digital assistant. How can I help you today?\n"
"Human: {}\nDSA:".format(input_text),
temperature=0.9,
max_tokens=150,
top_p=1,
frequency_penalty=0.0,
presence_penalty=0.6,
stop=["\n", " Human:", " DSA:"]
)
return response.choices[0].text.strip()
output = generate_response(input_text)
print(output)
把它們放在一起。
import os
import json
import openai
import pandas as pd
from dotenv import load_dotenv
load_dotenv()
os.environ['OPENAI_API_KEY'] = os.getenv('OPENAI_KEY')
openai.api_key = os.getenv('OPENAI_KEY')
data = pd.read_csv('data/data.csv')
new_df = pd.DataFrame({'Interview AI': data['Text'].iloc[::2].values, 'Human': data['Text'].iloc[1::2].values})
print(new_df.head(5))
output = []
for index, row in new_df.iterrows():
print(row)
completion = ''
line = {'prompt': row['Human'], 'completion': row['Interview AI']}
output.append(line)
print(output)
with open('data/data.jsonl', 'w') as outfile:
for i in output:
json.dump(i, outfile)
outfile.write('\n')
os.system("openai tools fine_tunes.prepare_data -f 'data/data.jsonl' ")
os.system("openai api fine_tunes.create -t 'data/data_prepared.jsonl' -m davinci ")
def generate_response(input_text):
response = openai.Completion.create(
engine="davinci:ft-personal-2023-01-25-19-20-17",
prompt="The following is a conversation with DSA an AI assistant. "
"DSA is an interview bot who is very helpful and knowledgeable in data structure and algorithms.\n\n"
"Human: Hello, who are you?\n"
"DSA: I am DSA, an interview digital assistant. How can I help you today?\n"
"Human: {}\nDSA:".format(input_text),
temperature=0.9,
max_tokens=150,
top_p=1,
frequency_penalty=0.0,
presence_penalty=0.6,
stop=["\n", " Human:", " DSA:"]
)
return response.choices[0].text.strip()
示例響應(yīng)：
input_text = "what is breadth first search algorithm"
output = generate_response(input_text)
The breadth-first search (BFS) is an algorithm for discovering all the
reachable nodes from a starting point in a computer network graph or tree data
structure
結(jié)論
GPT-3 是一種強(qiáng)大的大型語(yǔ)言生成模型，最近火到無(wú)邊無(wú)際的chatgpt就是基于GPT-3上fine-tuning的，我們也可以對(duì)GPT-3進(jìn)行fine-tuning，以構(gòu)建適合我們自己業(yè)務(wù)的聊天機(jī)器人。fun-tuning過(guò)程調(diào)整模型的參數(shù)可以更好地適應(yīng)業(yè)務(wù)對(duì)話數(shù)據(jù)，讓機(jī)器人更善于理解和響應(yīng)業(yè)務(wù)的需求。經(jīng)過(guò)fine-tuning的模型可以集成到聊天機(jī)器人平臺(tái)中以處理用戶交互，還可以為聊天機(jī)器人生成客服回復(fù)習(xí)慣與用戶交互。整個(gè)實(shí)現(xiàn)可以在這里找到，數(shù)據(jù)集可以從這里下載。
