ChatGPT和Bard太貴，介紹八個免費開源的大模型解決方案！
1.LLaMA
LLaMA項目包含了一組基礎語言模型，其規模從70億到650億個參數不等。這些模型在數以百萬計的token上進行訓練，而且它完全在公開的數據集上進行訓練。結果，LLaMA-13B超過了GPT-3（175B），而LLaMA-65B的表現與Chinchilla-70B和PaLM-540B等最佳模型相似。
圖片來自LLaMA
資源：
- 研究論文：“LLaMA: Open and Efficient Foundation Language Models (arxiv.org)” [https://arxiv.org/abs/2302.13971]
- GitHub：facebookresearch/llama [https://github.com/facebookresearch/llama]
- 演示：Baize Lora 7B [https://huggingface.co/spaces/project-baize/Baize-7B]
2.Alpaca
斯坦福大學的Alpaca聲稱它可以與ChatGPT競爭，任何人都可以在不到600美元的情況下復制它。Alpaca 7B是在52K指令遵循的示范上從LLaMA 7B模型中進行微調。
訓練內容｜圖片來自斯坦福大學CRFM
資源：
- 博客：斯坦福大學CRFM。[https://crfm.stanford.edu/2023/03/13/alpaca.html]
- GitHub：tatsu-lab/stanford_alpaca [https://github.com/tatsu-lab/stanford_alpaca]
- 演示：Alpaca-LoRA (官方演示已經丟失，這是Alpaca模型的再現) [https://huggingface.co/spaces/tloen/alpaca-lora]
3.Vicuna
Vicuna是在從ShareGPT收集到的用戶共享對話上的LLaMA模型基礎上進行微調。Vicuna-13B模型已經達到了OpenAI ChatGPT和Google Bard的90%以上的質量。它還在90%的情況下超過了LLaMA和斯坦福大學Alpaca模型。訓練Vicuna的成本約為300美元。
圖片來自Vicuna
資源：
- 博客文章：“Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality” [https://vicuna.lmsys.org/]
- GitHub：lm-sys/FastChat [https://github.com/lm-sys/FastChat#fine-tuning]
- 演示：FastChat (lmsys.org) [https://chat.lmsys.org/]
4.OpenChatKit
OpenChatKit：開源的ChatGPT替代方案，是一個用于創建聊天機器人的完整工具包。它提供了用于訓練用戶自己的指令調整的大型語言模型、微調模型、用于更新機器人響應的可擴展檢索系統以及用于過濾問題的機器人審核的指令。
圖片來自TOGETHER
可以看到，GPT-NeoXT-Chat-Base-20B模型在問答、提取和分類任務上的表現優于基礎模式GPT-NoeX。
資源：
- 博客文章：“Announcing OpenChatKit”—TOGETHER [https://www.together.xyz/blog/openchatkit]
- GitHub: togethercomputer/OpenChatKit [https://github.com/togethercomputer/OpenChatKit]
- 演示：OpenChatKit [https://huggingface.co/spaces/togethercomputer/OpenChatKit]
- 模型卡：togethercomputer/GPT-NeoXT-Chat-Base-20B [https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B]
5.GPT4ALL
GPT4ALL是一個社區驅動的項目，并在一個大規模的輔助交互語料庫上進行訓練，包括代碼、故事、描述和多輪對話。該團隊提供了數據集、模型權重、數據管理過程和訓練代碼以促進開源。此外，他們還發布了模型的量化4位版本，可以在筆記本電腦上運行。甚至可以使用Python客戶端來運行模型推理。
圖片來自GPT4ALL
資源：
- 技術報告：GPT4All [https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf]
- GitHub: nomic-ai/gpt4al [https://github.com/nomic-ai/gpt4all]
- 演示：GPT4All（非官方）。[https://huggingface.co/spaces/rishiraj/GPT4All]
- 模型卡：nomic-ai/gpt4all-lora · Hugging Face [https://huggingface.co/nomic-ai/gpt4all-lora]
6.Raven RWKV
Raven RWKV 7B是一個開源的聊天機器人，它由RWKV語言模型驅動，生成的結果與ChatGPT相似。該模型使用RNN，可以在質量和伸縮性方面與transformer相匹配，同時速度更快，節省VRAM。Raven在斯坦福大學Alpaca、code-alpaca和更多的數據集上進行了微調。
圖片來自Raven RWKV 7B
資源：
- GitHub：BlinkDL/ChatRWKV [https://github.com/BlinkDL/ChatRWKV]
- 演示：Raven RWKV 7B [https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B]
- 模型卡：BlinkDL/rwkv-4-raven [https://huggingface.co/BlinkDL/rwkv-4-raven]
7.OPT
OPT：Open Pre-trained Transformer語言模型并不像ChatGPT那樣強大，但它在零樣本和少樣本學習以及刻板偏見分析方面表現出卓越的能力。還可以將它與Alpa、Colossal-AI、CTranslate2和FasterTransformer集成以獲得更好的結果。注意：它上榜的原因是它的受歡迎程度，因為它在文本生成類別中每月有624,710次下載。
圖片來自（arxiv.org）
資源：
- 研究論文：“OPT: Open Pre-trained Transformer Language Models (arxiv.org)” [https://arxiv.org/abs/2205.01068]
- GitHub: facebookresearch/metaseq [https://github.com/facebookresearch/metaseq]
- 演示：A Watermark for LLMs [https://huggingface.co/spaces/tomg-group-umd/lm-watermarking]
- 模型卡：facebook/opt-1.3b [https://huggingface.co/facebook/opt-1.3b]
8.Flan-T5-XXL
Flan-T5-XXL在以指令形式表述的數據集上微調了T5模型。指令的微調極大地提高了各種模型類別的性能，如PaLM、T5和U-PaLM。Flan-T5-XXL模型在1000多個額外的任務上進行了微調，涵蓋了更多語言。
圖片來自Flan-T5-XXL
資源：
- 研究論文：“Scaling Instruction-Fine Tuned Language Models” [https://arxiv.org/pdf/2210.11416.pdf]
- GitHub: google-research/t5x [https://github.com/google-research/t5x]
- 演示：Chat Llm Streaming [https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming]
- 模型卡：google/flan-t5-xxl [https://huggingface.co/google/flan-t5-xxl?text=Q%3A+%28+False+or+not+False+or+False+%29+is%3F+A%3A+Let%27s+think+step+by+step]
總結
現在有很多開源的可供選擇的大模型，本文涉及到其中比較流行的8個大模型。
