精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

羊駝系列大模型和ChatGPT差多少?詳細(xì)測(cè)評(píng)后,我沉默了

人工智能 新聞
總的來(lái)說(shuō),該測(cè)試得出的結(jié)論是:MPT 還沒(méi)有準(zhǔn)備好在現(xiàn)實(shí)世界中使用,而 Vicuna 對(duì)于許多任務(wù)來(lái)說(shuō)是 ChatGPT (3.5) 的可行替代品。

前段時(shí)間,谷歌的一份泄密文件引發(fā)了廣泛關(guān)注。在這份文件中,一位谷歌內(nèi)部的研究人員表達(dá)了一個(gè)重要觀點(diǎn):谷歌沒(méi)有護(hù)城河,OpenAI 也沒(méi)有。

這位研究人員表示,雖然表面看起來(lái) OpenAI 和谷歌在 AI 大模型上你追我趕,但真正的贏家未必會(huì)從這兩家中產(chǎn)生,因?yàn)橐粋€(gè)第三方力量正在悄悄崛起。

這個(gè)力量名叫「開(kāi)源」。圍繞 Meta 的 LLaMA 等開(kāi)源模型,整個(gè)社區(qū)正在迅速構(gòu)建與 OpenAI、谷歌大模型能力類似的模型,而且開(kāi)源模型的迭代速度更快,可定制性更強(qiáng),更有私密性……「當(dāng)免費(fèi)的、不受限制的替代品質(zhì)量相當(dāng)時(shí),人們不會(huì)為受限制的模型付費(fèi)。」作者寫(xiě)道。

這些觀點(diǎn)在社交媒體上引起了很大爭(zhēng)議,其中一個(gè)比較大的爭(zhēng)議是:那些開(kāi)源模型是否真的能達(dá)到和 OpenAI ChatGPT 或谷歌 Bard 等商業(yè)閉源大模型相似的水平?現(xiàn)階段兩個(gè)陣營(yíng)還有多大差距?

為了探索這個(gè)問(wèn)題,一位名叫 Marco Tulio Ribeiro 的 Medium 博主在一些復(fù)雜任務(wù)上對(duì)部分模型(Vicuna-13B、MPT-7b-Chat VS. ChatGPT 3.5)進(jìn)行了測(cè)試。

其中,Vicuna-13B 是加州大學(xué)伯克利分校、卡內(nèi)基梅隆大學(xué)、斯坦福大學(xué)、加州大學(xué)圣迭戈分校的研究者們提出的一個(gè)開(kāi)源模型,這個(gè)模型基于 LLaMA 13B 參數(shù)量的版本構(gòu)建而成,在一項(xiàng)由 GPT-4 打分的測(cè)試中表現(xiàn)十分亮眼(參見(jiàn)《300 美元復(fù)刻 ChatGPT 九成功力,GPT-4 親自監(jiān)考,130 億參數(shù)開(kāi)源模型「小羊駝」來(lái)了》)。

MPT-7B 是 MosaicML 發(fā)布的大型語(yǔ)言模型,遵循 meta 的 LLaMA 模型的訓(xùn)練方案。MosaicML 表示,MPT-7B 與 meta 的 70 億參數(shù) LLaMA 模型的性能相當(dāng)。

和它們對(duì)比的,自然是大語(yǔ)言模型標(biāo)桿 ChatGPT。

圖片

Marco Tulio Ribeiro 是一位研究員,目前在微軟研究院的自適應(yīng)系統(tǒng)和交互組工作。他還是華盛頓大學(xué)的聯(lián)合助理教授。這項(xiàng)工作由他和微軟的另一位研究員 Scott Lundberg 共同完成。在測(cè)試中,他們使用了微軟的 guidance 庫(kù)來(lái)幫助設(shè)計(jì) prompt。

熱身:解方程

第一項(xiàng)任務(wù)是解簡(jiǎn)單的多項(xiàng)式方程,這些問(wèn)題都有標(biāo)準(zhǔn)答案,比較容易評(píng)估對(duì)錯(cuò)。

對(duì)于指定的三個(gè)模型,測(cè)試者給出的題目是求二元一次方程「x^2+3x=0」的解。他們使用了以下 prompt:

圖片

三個(gè)模型表現(xiàn)如下。

ChatGPT:

equation = 'x^2 + 3.0x = 0'
roots = [0, -3]
answer_gpt = find_roots (llm=chatgpt, equatinotallow=equation)

圖片

Vicuna:

answer_vicuna = find_roots (llm=vicuna, equatinotallow=equation)

圖片

MPT:

answer_mpt = find_roots (llm=mpt, equatinotallow=equation)

圖片

顯然,正確答案應(yīng)該是 [-3, 0],只有 ChatGPT 答對(duì)了(Vicuna 甚至沒(méi)有按照指定的格式作答)。

在這篇文章附帶的 notebook 中,測(cè)試者編寫(xiě)了一個(gè)函數(shù),用于生成具有整數(shù)根的隨機(jī)二次方程,根的范圍在 - 20 到 20 之間,并且對(duì)每個(gè)模型運(yùn)行了 20 次 prompt。三個(gè)模型的準(zhǔn)確率結(jié)果如下:

╔═══════════╦══════════╦
║   Model   ║ Accuracy ║     
╠═══════════╬══════════╬
║ ChatGPT   ║   80%    ║
║ Vicuna    ║    0%    ║ 
║ MPT       ║    0%    ║
╚═══════════╩══════════╩

在二元一次方程的測(cè)試中,雖然 GPT 做錯(cuò)了一些題,但 Vicuna 和 MPT 一道都沒(méi)做對(duì),經(jīng)常在中間步驟中犯錯(cuò)(MPT 甚至經(jīng)常不寫(xiě)中間步驟)。下面是一個(gè) ChatGPT 錯(cuò)誤的例子:

圖片

ChatGPT 在最后一步計(jì)算錯(cuò)誤,(13 +- 25)/2 應(yīng)該得到 [19,-6] 而不是 [19.5,-6.5]。

由于 Vicuna 和 MPT 實(shí)在不會(huì)解二元一次方程,測(cè)試者就找了一些更簡(jiǎn)單的題讓他們做,比如 x-10=0。對(duì)于這些簡(jiǎn)單的方程,他們得到了以下統(tǒng)計(jì)結(jié)果:

╔═══════════╦══════════╦
║   Model   ║ Accuracy ║     
╠═══════════╬══════════╬
║ ChatGPT   ║   100%   ║
║ Vicuna    ║    85%   ║ 
║ MPT       ║    30%   ║
╚═══════════╩══════════╩

下面是一個(gè) MPT 答錯(cuò)的例子:

圖片

結(jié)論

在這個(gè)非常簡(jiǎn)單的測(cè)試中,測(cè)試者使用相同的問(wèn)題、相同的 prompt 得出的結(jié)論是:ChatGPT 在準(zhǔn)確性方面遠(yuǎn)遠(yuǎn)超過(guò)了 Vicuna 和 MPT。

任務(wù):提取片段 + 回答會(huì)議相關(guān)的問(wèn)題

這個(gè)任務(wù)更加現(xiàn)實(shí),而且在會(huì)議相關(guān)的問(wèn)答中,出于安全性、隱私等方面考慮,大家可能更加傾向于用開(kāi)源模型,而不是將私有數(shù)據(jù)發(fā)送給 OpenAI。

以下是一段會(huì)議記錄(翻譯結(jié)果來(lái)自 DeepL,僅供參考):

圖片

圖片

測(cè)試者給出的第一個(gè)測(cè)試問(wèn)題是:「Steven 如何看待收購(gòu)一事?」,prompt 如下:

qa_attempt1 = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
You will read a meeting transcript, then extract the relevant segments to answer the following question:
Question: {{query}}
Here is a meeting transcript:
----
{{transcript}}
----
Please answer the following question:
Question: {{query}}
Extract from the transcript the most relevant segments for the answer, and then answer the question.
{{/user}}

{{#assistant~}}
{{gen 'answer'}}
{{~/assistant~}}''')

ChatGPT 給出了如下答案:

圖片

雖然這個(gè)回答是合理的,但 ChatGPT 并沒(méi)有提取任何對(duì)話片段作為答案的支撐(因此不符合測(cè)試者設(shè)定的規(guī)范)。測(cè)試者在 notebook 中迭代了 5 個(gè)不同的 prompt,以下是一些例子:

qa_attempt3 = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
You will read a meeting transcript, then extract the relevant segments to answer the following question:
Question: {{query}}
Here is a meeting transcript:
----
{{transcript}}
----
Based on the above, please answer the following question:
Question: {{query}}
Please extract from the transcript whichever conversation segments are most relevant for the answer, and then answer the question.
Note that conversation segments can be of any length, e.g. including multiple conversation turns.
Please extract at most 3 segments. If you need less than three segments, you can leave the rest blank.

As an example of output format, here is a fictitious answer to a question about another meeting transcript.
CONVERSATION SEGMENTS:
Segment 1: Peter and John discuss the weather.
Peter: John, how is the weather today?
John: It's raining.
Segment 2: Peter insults John
Peter: John, you are a bad person.
Segment 3: Blank
ANSWER: Peter and John discussed the weather and Peter insulted John.
{{/user}}

{{#assistant~}}
{{gen 'answer'}}
{{~/assistant~}}''')

在這個(gè)新的 prompt 中,ChatGPT 確實(shí)提取了相關(guān)的片段,但它沒(méi)有遵循測(cè)試者規(guī)定的輸出格式(它沒(méi)有總結(jié)每個(gè)片段,也沒(méi)有給出對(duì)話者的名字)。

不過(guò),在構(gòu)建出更復(fù)雜的 prompt 之后,ChatGPT 終于聽(tīng)懂了指示:

qa_attempt5 = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
You will read a meeting transcript, then extract the relevant segments to answer the following question:
Question: What were the main things that happened in the meeting?
Here is a meeting transcript:
----
Peter: Hey
John: Hey
Peter: John, how is the weather today?
John: It's raining.
Peter: That's too bad. I was hoping to go for a walk later.
John: Yeah, it's a shame.
Peter: John, you are a bad person.
----
Based on the above, please answer the following question:
Question: {{query}}
Please extract from the transcript whichever conversation segments are most relevant for the answer, and then answer the question.
Note that conversation segments can be of any length, e.g. including multiple conversation turns.
Please extract at most 3 segments. If you need less than three segments, you can leave the rest blank.
{{/user}}
{{#assistant~}}
CONVERSATION SEGMENTS:
Segment 1: Peter and John discuss the weather.
Peter: John, how is the weather today?
John: It's raining.
Segment 2: Peter insults John
Peter: John, you are a bad person.
Segment 3: Blank
ANSWER: Peter and John discussed the weather and Peter insulted John.
{{~/assistant~}}
{{#user~}}
You will read a meeting transcript, then extract the relevant segments to answer the following question:
Question: {{query}}
Here is a meeting transcript:
----
{{transcript}}
----
Based on the above, please answer the following question:
Question: {{query}}
Please extract from the transcript whichever conversation segments are most relevant for the answer, and then answer the question.
Note that conversation segments can be of any length, e.g. including multiple conversation turns.
Please extract at most 3 segments. If you need less than three segments, you can leave the rest blank.
{{~/user}}

{{#assistant~}}
{{gen 'answer'}}
{{~/assistant~}}''')

圖片

圖片

測(cè)試者表示,他們之所以要多次迭代 prompt,是因?yàn)?OpenAI API 不允許他們做部分輸出補(bǔ)全(即他們不能指定 AI 助手如何開(kāi)始回答),因此他們很難引導(dǎo)輸出。

相反,如果使用一個(gè)開(kāi)源模型,他們就可以更清楚地指導(dǎo)輸出,迫使模型使用他們規(guī)定的結(jié)構(gòu)。

新一輪測(cè)試使用如下 prompt:

qa_guided = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
You will read a meeting transcript, then extract the relevant segments to answer the following question:
Question: {{query}}
----
{{transcript}}
----
Based on the above, please answer the following question:
Question: {{query}}
Please extract the three segment from the transcript that are the most relevant for the answer, and then answer the question.
Note that conversation segments can be of any length, e.g. including multiple conversation turns. If you need less than three segments, you can leave the rest blank.

As an example of output format, here is a fictitious answer to a question about another meeting transcript:
CONVERSATION SEGMENTS:
Segment 1: Peter and John discuss the weather.
Peter: John, how is the weather today?
John: It's raining.
Segment 2: Peter insults John
Peter: John, you are a bad person.
Segment 3: Blank
ANSWER: Peter and John discussed the weather and Peter insulted John.
{{/user}}

{{#assistant~}}
CONVERSATION SEGMENTS:
Segment 1: {{gen'segment1'}}
Segment 2: {{gen'segment2'}}
Segment 3: {{gen'segment3'}}
ANSWER: {{gen 'answer'}}
{{~/assistant~}}''')

如果用 Vicuna 運(yùn)行上述 prompt,他們第一次就會(huì)得到正確的格式,而且格式總能保持正確:

圖片

當(dāng)然,也可以在 MPT 上運(yùn)行相同的 prompt:

圖片

雖然 MPT 遵循了格式要求,但它沒(méi)有針對(duì)給定的會(huì)議資料回答問(wèn)題,而是從格式示例中提取了片段。這顯然是不行的。

接下來(lái)比較 ChatGPT 和 Vicuna。

測(cè)試者給出的問(wèn)題是「誰(shuí)想賣掉公司?」兩個(gè)模型看起來(lái)答得都不錯(cuò)。

以下是 ChatGPT 的回答:

圖片

以下是 Vicuna 的回答:

圖片

接下來(lái),測(cè)試者換了一段材料。新材料是馬斯克和記者的一段對(duì)話:

圖片

測(cè)試者提出的問(wèn)題是:「Elon Musk 有沒(méi)有侮辱(insult)記者?」

ChatGPT 給出的答案是:

圖片

Vicuna 給出的答案是:

圖片

Vicuna 給出了正確的格式,甚至提取的片段也是對(duì)的。但令人意外的是,它最后還是給出了錯(cuò)誤的答案,即「Elon musk does not accuse him of lying or insult him in any way」。

測(cè)試者還進(jìn)行了其他問(wèn)答測(cè)試,得出的結(jié)論是:Vicuna 在大多數(shù)問(wèn)題上與 ChatGPT 相當(dāng),但比 ChatGPT 更經(jīng)常答錯(cuò)。

用 bash 完成任務(wù)

測(cè)試者嘗試讓幾個(gè) LLM 迭代使用 bash shell 來(lái)解決一些問(wèn)題。每當(dāng)模型發(fā)出命令,測(cè)試者會(huì)運(yùn)行這些命令并將輸出插入到 prompt 中,迭代進(jìn)行這個(gè)過(guò)程,直到任務(wù)完成。

ChatGPT 的 prompt 如下所示:

terminal = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
Please complete the following task:
Task: list the files in the current directory
You can give me one bash command to run at a time, using the syntax:
COMMAND: command
I will run the commands on my terminal, and paste the output back to you. Once you are done with the task, please type DONE.
{{/user}}

{{#assistant~}}
COMMAND: ls
{{~/assistant~}}

{{#user~}}
Output: guidance project
{{/user}}

{{#assistant~}}
The files or folders in the current directory are:
- guidance
- project
DONE
{{~/assistant~}}

{{#user~}}
Please complete the following task:
Task: {{task}}
You can give me one bash command to run at a time, using the syntax:
COMMAND: command
I will run the commands on my terminal, and paste the output back to you. Once you are done with the task, please type DONE.
{{/user}}

{{#geneach 'commands' stop=False}}
{{#assistant~}}
{{gen 'this.command'}}
{{~/assistant~}}

{{~#user~}}
Output: {{shell this.command)}}
{{~/user~}}
{{/geneach}}''')

測(cè)試者在~/work/project 中創(chuàng)建了一個(gè)虛擬存儲(chǔ)庫(kù),其中包含文件 license.txt,但不是標(biāo)準(zhǔn)的 LICENSE 文件名。

然后測(cè)試者嘗試在不與 ChatGPT 溝通的情況下,看它是否能完成任務(wù) ——「找出位于~/work/project 中的開(kāi)源項(xiàng)目正在使用的 license」(Find out what license the open source project located in ~/work/project is using)。

圖片

ChatGPT 遵循一個(gè)非常自然的順序,并解決了這個(gè)問(wèn)題。

對(duì)于開(kāi)源模型,測(cè)試者編寫(xiě)了一個(gè)更簡(jiǎn)單的(引導(dǎo)式)prompt,其中包含一系列命令輸出:

guided_terminal = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
Please complete the following task:
Task: list the files in the current directory
You can run bash commands using the syntax:
COMMAND: command
OUTPUT: output
Once you are done with the task, use the COMMAND: DONE.
{{/user}}

{{#assistant~}}
COMMAND: ls
OUTPUT: guidance project
COMMAND: DONE 
{{~/assistant~}}

{{#user~}}
Please complete the following task:
Task: {{task}}
You can run bash commands using the syntax:
COMMAND: command
OUTPUT: output
Once you are done with the task, use the COMMAND: DONE.
{{~/user}}

{{#assistant~}}
{{#geneach 'commands' stop=False ~}}
COMMAND: {{gen 'this.command' stop='\\n'}}
OUTPUT: {{shell this.command)}}{{~/geneach}}
{{~/assistant~}}''')

我們來(lái)看一下 Vicuna 和 MPT 執(zhí)行該任務(wù)的情況。

Vicuna:

圖片

MPT:

圖片

在一個(gè)有趣的轉(zhuǎn)折中,Vicuna 無(wú)法解決這個(gè)任務(wù),但 MPT 卻成功了。除了保密性之外,開(kāi)源模型在這里有一個(gè)顯著的優(yōu)勢(shì):整個(gè) prompt 被作為一個(gè)輸入傳遞給一個(gè) LLM 模型(測(cè)試者甚至通過(guò)不讓它生成像 COMMAND 這樣的輸出結(jié)構(gòu) token 來(lái)加速它)。

相比之下,他們必須為每個(gè)命令重新調(diào)用 ChatGPT,這更慢,開(kāi)銷也更大。

接下來(lái),他們又嘗試了一個(gè)不同的命令:「在~/work/guidance 目錄下找到當(dāng)前未被 git 跟蹤的所有 jupyter notebook 文件」

以下是 ChatGPT 的回答:

圖片

測(cè)試者再次遇到一個(gè)問(wèn)題:ChatGPT 沒(méi)有遵循他們指定的輸出結(jié)構(gòu)(這樣就使得它無(wú)法在無(wú)人干預(yù)的情況下在程序內(nèi)使用)。該程序只是執(zhí)行命令,因此在上面最后一條 ChatGPT 信息之后就停止了。

測(cè)試者懷疑空輸出會(huì)導(dǎo)致 ChatGPT 關(guān)閉,因此他們通過(guò)在沒(méi)有輸出時(shí)更改信息來(lái)解決這個(gè)特殊問(wèn)題。然而,他們無(wú)法解決「無(wú)法強(qiáng)迫 ChatGPT 遵循指定的輸出結(jié)構(gòu)」這一普遍問(wèn)題。

在做了這個(gè)小小的修改后,ChatGPT 就能解決這個(gè)問(wèn)題:讓我們看看 Vicuna 是怎么做的:

圖片

Vicuna 遵循了輸出結(jié)構(gòu),但不幸的是,它運(yùn)行了錯(cuò)誤的命令來(lái)完成任務(wù)。MPT 反復(fù)調(diào)用 git status,所以它也失敗了。

測(cè)試者還對(duì)其他各種指令運(yùn)行了這些程序,發(fā)現(xiàn) ChatGPT 幾乎總是能產(chǎn)生正確的指令序列,但有時(shí)并不遵循指定的格式(因此需要人工干預(yù))。此處開(kāi)源模型的效果不是很好(或許可以通過(guò)更多的 prompt 工程來(lái)改進(jìn)它們,但它們?cè)诖蠖鄶?shù)較難的指令上都失敗了)。

歸納總結(jié)

測(cè)試者還嘗試了一些其他任務(wù),包括文本摘要、問(wèn)題回答、創(chuàng)意生成和 toy 字符串操作,評(píng)估了幾種模型的準(zhǔn)確性。以下是主要的評(píng)估結(jié)果:

  • 任務(wù)質(zhì)量:對(duì)于每項(xiàng)任務(wù),ChatGPT (3.5) 都比 Vicuna 強(qiáng),而 MPT 幾乎在所有任務(wù)上都表現(xiàn)不佳,這甚至讓測(cè)試團(tuán)隊(duì)?wèi)岩勺约旱氖褂梅椒ù嬖趩?wèn)題。值得注意的是,Vicuna 的性能通常接近 ChatGPT。
  • 易用性:ChatGPT 很難遵循指定的輸出格式,因此難以在程序中使用它,需要為輸出編寫(xiě)正則表達(dá)式解析器。相比之下,能夠指定輸出結(jié)構(gòu)是開(kāi)源模型的一個(gè)顯著優(yōu)勢(shì),以至于有時(shí) Vicuna 比 ChatGPT 更易用,即使它在任務(wù)性能方面更差一些。
  • 效率:本地部署模型意味著我們可以在單次 LLM 運(yùn)行中解決任務(wù)(guidance 在程序執(zhí)行時(shí)保持 LLM 狀態(tài)),速度更快,成本更低。當(dāng)任何子步驟涉及調(diào)用其他 API 或函數(shù)(例如搜索、終端等)時(shí)尤其如此,這總是需要對(duì) OpenAI API 進(jìn)行新調(diào)用。guidance 還通過(guò)不讓模型生成輸出結(jié)構(gòu)標(biāo)記來(lái)加速生成,這有時(shí)會(huì)產(chǎn)生很大的不同。

總的來(lái)說(shuō),該測(cè)試得出的結(jié)論是:MPT 還沒(méi)有準(zhǔn)備好在現(xiàn)實(shí)世界中使用,而 Vicuna 對(duì)于許多任務(wù)來(lái)說(shuō)是 ChatGPT (3.5) 的可行替代品。目前這些發(fā)現(xiàn)僅適用于該測(cè)試嘗試的任務(wù)和輸入(或 prompt 類型),該測(cè)試只是一個(gè)初步探索,而不是正式評(píng)估。

更多結(jié)果參見(jiàn) notebook:https://github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb

責(zé)任編輯:張燕妮 來(lái)源: 機(jī)器之心
相關(guān)推薦

2023-05-22 09:28:30

模型AI

2024-01-02 06:30:58

ChatGPTGPT-3.5

2023-12-03 08:46:20

模型開(kāi)源

2023-05-25 13:59:12

ChatGPT模型

2023-03-22 15:14:00

數(shù)據(jù)模型

2024-01-08 12:47:02

代碼模型Mistral

2023-08-24 15:57:41

模型文檔檢索

2023-04-21 10:14:22

開(kāi)源AI

2023-07-28 13:50:53

2022-10-21 15:35:58

游戲開(kāi)發(fā)鴻蒙

2022-10-10 14:57:09

NP游戲

2023-04-27 13:46:08

語(yǔ)言模型ChatGPT人工智能

2023-03-21 08:10:18

2023-08-15 14:05:27

AI模型

2023-11-03 07:47:12

機(jī)器資源大模型:

2023-06-28 18:10:27

羊駝家族大模型集體進(jìn)化

2023-11-14 17:53:39

模型訓(xùn)練

2023-09-06 12:11:21

ChatGPT語(yǔ)言模型

2024-06-25 08:00:00

ChatGPTLLM人工智能

2024-02-05 14:12:37

大模型RAG架構(gòu)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

日韩一区二区福利| 精品欧美激情精品一区| 99re在线国产| 国产精品熟女视频| 91精品国产成人观看| 精品福利一二区| 日本特黄a级片| heyzo一区| 国产精品日日摸夜夜摸av| 国产不卡一区二区在线观看| 日韩欧美国产另类| 亚洲第一区色| 久久亚洲精品一区| 精品成人无码一区二区三区| 成人看片黄a免费看视频| 欧美日韩综合色| 缅甸午夜性猛交xxxx| 免费观看久久久久| 国产欧美日韩在线| 久久riav二区三区| 午夜免费福利视频| 激情成人综合网| 国产精品2018| 国产成人在线免费视频| 黄色亚洲精品| 欧美精品在线免费观看| 天天干天天操天天拍| 婷婷国产精品| 亚洲精品xxxx| 久久久久亚洲AV成人网人人小说| 2019中文亚洲字幕| 欧美亚洲动漫制服丝袜| www.四虎成人| 亚洲同志男男gay1069网站| 亚洲一区在线免费观看| 妞干网这里只有精品| 蜜桃视频网站在线观看| 国产精品免费av| 日韩欧美一区二区视频在线播放| 日韩精品123| 91蝌蚪porny九色| 精品欧美一区二区在线观看视频 | av在线下载| 亚洲欧洲日产国码二区| 亚洲在线不卡| 日韩精品成人av| 中文字幕日韩av资源站| 亚洲欧美日韩精品在线| 自拍视频在线| 亚洲欧洲精品成人久久奇米网| 一区二区三区四区免费视频| 9191在线| 亚洲欧美色一区| 老司机午夜网站| 色呦呦在线视频| 亚洲国产精品一区二区www| 日韩一级性生活片| 中文在线аv在线| 色婷婷综合久久久中文一区二区| 久久美女福利视频| 色婷婷综合久久久中字幕精品久久| 色欧美88888久久久久久影院| 久久精品午夜福利| 日韩制服一区| 91精品国产综合久久蜜臀| 下面一进一出好爽视频| 91蝌蚪精品视频| 亚洲韩国欧洲国产日产av| 中文字幕5566| 青青草成人影院| 蜜臀久久99精品久久久无需会员| 久久精品视频国产| 蜜桃av一区| 国产美女直播视频一区| 亚洲成人黄色片| 99久久99久久精品免费看蜜桃| 欧美激情导航| 欧美三级黄网| 亚洲成精国产精品女| 国产精品wwwww| 91嫩草国产线观看亚洲一区二区| 精品福利一二区| 国产激情av在线| 你懂的视频一区二区| 26uuu日韩精品一区二区| 青青艹在线观看| 国产成人精品1024| 日本在线观看一区二区| 超碰个人在线| 色婷婷久久久久swag精品| 男女视频在线观看网站| 校园春色另类视频| 久久夜色精品亚洲噜噜国产mv| 日本一区二区不卡在线| 麻豆国产欧美一区二区三区| 国产精品久久久久久久久婷婷| 国产精品视频一区二区久久| 亚洲综合自拍偷拍| 免费看黄色一级大片| 成人av地址| 最近日韩中文字幕中文| 国产精品午夜影院| 国产一区二区不卡| 日本一区二区三区视频免费看| 182tv在线播放| 欧美探花视频资源| 色呦呦一区二区| 亚洲成人三区| 国产精品麻豆va在线播放| 欧美自拍偷拍一区二区| 最新日韩av在线| 人妻有码中文字幕| 巨人精品**| 欧美精品手机在线| 91麻豆国产在线| 国产欧美精品日韩区二区麻豆天美| 男人添女人荫蒂免费视频| 高清久久一区| 深夜精品寂寞黄网站在线观看| 中文字幕视频网| 国产69精品久久久久777| 伊人久久大香线蕉精品| 欧美大电影免费观看| 亚洲国产私拍精品国模在线观看| 91杏吧porn蝌蚪| 久久国产精品色| 五月天久久狠狠| 蜜臀久久精品| 亚洲电影第1页| 国产精久久久久久| 风流少妇一区二区| 精品国偷自产一区二区三区| 网站一区二区| 欧美噜噜久久久xxx| av中文字幕免费| 亚洲女与黑人做爰| av在线网站免费观看| 99久久夜色精品国产亚洲1000部| 国产精品九九九| 超碰免费在线| 欧美性极品少妇| 成人性生交大片免费看无遮挡aⅴ| 久久中文欧美| 日本精品免费| 亚洲www啪成人一区二区| 夜夜嗨av一区二区三区免费区| 国内精品福利视频| 91麻豆文化传媒在线观看| 成人在线免费观看av| 日韩三级毛片| 国产成人97精品免费看片| 免费理论片在线观看播放老| 在线视频欧美区| 国产三级在线观看完整版| 男女性色大片免费观看一区二区| 一区二区三区视频| 精品国产亚洲日本| 欧美精品激情在线观看| 天天色综合av| 色av成人天堂桃色av| 成人激情五月天| 久久se这里有精品| 男人草女人视频| 日本欧美高清| 国产精品网站大全| 1769免费视频在线观看| 日韩va亚洲va欧洲va国产| 免费视频网站在线观看入口| 欧美视频精品在线| 佐佐木明希av| 日韩欧美高清一区二区三区| 欧美黑人xxxⅹ高潮交| 手机看片1024日韩| 在线观看一区二区视频| 影音先锋男人看片资源| 国产成人免费视频| 久久久免费视频网站| 日韩久久精品| 国产精品xxx在线观看www| 亚洲欧美韩国| 久久精品国产亚洲7777| 亚洲人在线观看视频| 欧美性做爰猛烈叫床潮| 久久久国产精华液| 日本一区二区综合亚洲| 香蕉久久久久久av成人| 老司机午夜精品视频| 最近免费观看高清韩国日本大全| 久久精品国产亚洲5555| 国产精品视频公开费视频| 激情图片在线观看高清国产| 在线视频亚洲欧美| 香蕉视频黄色片| 91精品国产综合久久香蕉的特点 | 一区二区国产精品| 伊人久久大香线蕉成人综合网| 欧美挤奶吃奶水xxxxx| 成人一区二区电影| 欧美特大特白屁股xxxx| 久99九色视频在线观看| 国产高清在线| 亚洲精品二三区| 国产不卡精品视频| 欧美色倩网站大全免费| 久久久精品免费看| 一区二区三区日韩欧美精品| 午夜精品久久久久99蜜桃最新版| 99re这里只有精品视频首页| 亚洲免费观看在线| 精品影视av免费| 国产第一页视频| 99xxxx成人网| 日韩精品一区二区三区四| 日韩久久久久| 五月天久久狠狠| 亚洲图区在线| 精品国产一区二区三区免费| 日韩成人精品| 成人免费淫片视频软件| 国产激情欧美| 日本视频久久久| 黄色aa久久| 91高清视频在线免费观看| 日本在线观看大片免费视频| 久久色精品视频| 在线国产91| 国产一区二区三区三区在线观看| 四虎影院在线域名免费观看| 亚洲国产精品小视频| 亚洲AV无码一区二区三区性| 日韩写真欧美这视频| 国产美女主播在线观看| 欧美日韩成人高清| 91高潮大合集爽到抽搐| 欧美日韩在线免费视频| 黄色一区二区视频| 在线视频你懂得一区| 成人午夜精品视频| 欧美系列亚洲系列| 中文字幕制服诱惑| 欧美日韩高清一区二区不卡| 911美女片黄在线观看游戏| 欧美男女性生活在线直播观看| 在线黄色av网站| 欧美日韩电影一区| 国产av无码专区亚洲av| 精品免费国产一区二区三区四区| 亚洲精品一区二区三区四区| 精品欧美一区二区三区精品久久| 国产香蕉在线观看| 亚洲国产精品高清久久久| 天堂av2024| 亚洲色图五月天| 97最新国自产拍视频在线完整在线看| 中文字幕在线精品| 国产黄色在线观看| 久久久久久久影院| 周于希免费高清在线观看| 日韩免费观看av| 四虎精品一区二区免费| 99re资源| 色婷婷av一区二区三区丝袜美腿| 欧美日韩在线观看一区| 99久久夜色精品国产亚洲96| 免费极品av一视觉盛宴| 国产日韩欧美在线播放不卡| 男女视频一区二区三区| 久久爱另类一区二区小说| 国产成人精品综合久久久久99| 不卡av免费在线观看| 中文字幕 自拍| 亚洲天堂2016| 日本中文字幕在线免费观看| 在线一区二区三区四区五区| 国产精品老熟女视频一区二区| 精品欧美乱码久久久久久1区2区| 噜噜噜在线观看播放视频| 精品国产依人香蕉在线精品| av资源在线看片| 国产精品久久久久91| 亚洲大奶少妇| 日韩久久不卡| 国产在线不卡| 国产av人人夜夜澡人人爽| 国产精品一二三区| 一级片视频免费看| 亚洲激情校园春色| 免费精品一区二区| 亚洲а∨天堂久久精品9966| av大片在线播放| 97国产在线观看| www久久久| 欧美一区二区三区四区夜夜大片| 欧美国产高清| 天堂网在线免费观看| www.视频一区| 欧美日韩午夜视频| 色婷婷国产精品久久包臀| 国产麻豆免费观看| 国产亚洲精品一区二区| free性欧美16hd| 成人精品aaaa网站| 日韩高清成人在线| 国产专区在线视频| 久久国产成人午夜av影院| 日韩av一二区| 午夜精品久久久久久久蜜桃app| 一区二区三区午夜| 亚洲一区二区久久久| 国产在线精彩视频| 91在线看网站| 91精品高清| 9l视频白拍9色9l视频| 久久老女人爱爱| 日韩欧美大片在线观看| 日韩午夜小视频| 黄色在线观看网站| 91精品久久久久久久久中文字幕| 狠狠做六月爱婷婷综合aⅴ| 僵尸世界大战2 在线播放| 国产高清精品网站| 日本午夜在线观看| 欧美日韩国产高清一区| 91caoporn在线| 国产精品自产拍在线观| 精品国产精品| 亚洲五月天综合| 国产欧美日韩中文久久| 日韩精品一区不卡| 亚洲欧美自拍一区| 天天综合网站| 深田咏美在线x99av| 视频一区视频二区中文字幕| 97伦伦午夜电影理伦片| 色综合久久久久久久久| 日本私人网站在线观看| 日本亚洲精品在线观看| 亚洲永久精品唐人导航网址| 精品人妻一区二区三区四区在线 | 色撸撸在线视频| 欧美四级电影在线观看| 日本免费在线观看| 国产一区深夜福利| 亚洲天天影视网| 三级黄色片免费观看| 亚洲另类中文字| 亚洲产国偷v产偷v自拍涩爱| 久久免费国产视频| 欧美在线导航| 欧美两根一起进3p做受视频| 国产亚洲欧美一级| 中文字幕在线日亚洲9| 久久精品国产2020观看福利| 久久gogo国模啪啪裸体| 日本黄色片一级片| 久久嫩草精品久久久久| 国产情侣小视频| 久久久国产视频| 波多野结衣欧美| 日本免费不卡一区二区| 国产午夜精品久久久久久免费视| 中文字幕在线2018| 美女啪啪无遮挡免费久久网站| 粉嫩一区二区三区四区公司1| 少妇人妻在线视频| 国产女主播一区| 国产白浆在线观看| 欧美亚洲在线播放| 日本不卡高清| 91精品人妻一区二区三区蜜桃2| 午夜av一区二区三区| 国产精品麻豆一区二区三区| 91久久嫩草影院一区二区| 伊人成人在线| 精品无码在线观看| 精品日韩一区二区三区免费视频| 免费观看亚洲| 色中文字幕在线观看| 成人高清免费观看| 欧美一级黄视频| 欧美精品videossex88| 国产一区毛片| 免费人成视频在线播放| 日本道在线观看一区二区| 在线观看免费视频你懂的| 欧美日韩另类丝袜其他| 国产成人精品免费网站| 中文字幕+乱码+中文乱码www| 欧美放荡办公室videos4k| 精品国产乱码久久久| 精品国产乱码久久久久夜深人妻| 在线免费观看成人短视频| 男女在线视频| 一区二区三区四区五区视频| 波多野洁衣一区| 国产又大又黄又爽| 国产91色在线免费| 亚洲国产电影| 日本精品人妻无码77777| 亚洲最大在线视频|