Open LLMs: 开放的LLMs

这些LLMs都可以用于商业目的（例如，Apache 2.0，MIT，OpenRAIL-M等）

ai

开放的LLMs

这些LLMs都可以用于商业目的（例如，Apache 2.0，MIT，OpenRAIL-M等）。欢迎贡献和修改！

语言模型 检查点 论文/博客 大小 上下文长度 协议
T5 T5 & Flan-T5，Flan-T5-xxl（HF） 探索基于一个统一的文本到文本变换器的转移学习极限 60M-11B 512 Apache 2.0
UL2 UL2 & Flan-UL2， Flan-UL2 (HF) UL2 20B：一个开源的统一语言学习器 20B 512，2048 Apache 2.0
Cerebras-GPT Cerebras-GPT Cerebras-GPT：一系列开放的、计算效率高的大型语言模型 (论文) 111M-13B 2048 Apache 2.0
Pythia pythia 70M-12B Pythia：一套用于跨训练和扩展分析大型语言模型的套件 70M-12B 2048 Apache 2.0
Dolly dolly-v2-12b 免费提供Dolly：介绍全球第一个真正的开源商业化调整指令的LLM 3B、7B、12B 2048 MIT
RWKV RWKV、ChatRWKV RWKV语言模型（以及我的LM技巧） 100M-14B 无限制（RNN） Apache 2.0
GPT-J-6B GPT-J-6B， GPT4All-J GPT-J-6B：6B基于JAX的变形器 6B 2048 Apache 2.0
GPT-NeoX-20B GPT-NEOX-20B GPT-NeoX-20B：一种开源的自回归语言模型 20B 2048 Apache 2.0
Bloom Bloom BLOOM：一个拥有176B参数的开放式多语言语言模型 176B 2048 OpenRAIL-M V1
StableLM-Alpha StableLM-Alpha Stability AI推出其稳定LM套件的第一个语言模型 3B-65B 4096 CC BY-SA-4.0
Replit Code replit-code-v1-3b 在一周内训练一个SOTA代码LLM和量化氛围——与Reza Shabani联合创始人Replit进行交流 2.7B 无限制？(ALiBi) CC BY-SA-4.0
StarCoder starcoder StarCoder：一个用于代码的SOTA LLM，StarCoder: May the source be with you! 15B 8192 OpenRAIL-M v1
SantaCoder santacoder SantaCoder: 不要伸手摘星星！ 1.1B ? OpenRAIL-M v1
MPT-7B MPT-7B, MPT-7B-Instruct 推出MPT-7B：用于商业的开源LLM的新标准 7B 84k (ALiBi) Apache 2.0
h2oGPT h2oGPT 构建世界上最好的开源大型语言模型：H2O.ai的旅程 12B - 20B 256 - 2048 Apache 2.0
RedPajama-INCITE RedPajama-INCITE 发布3B和7B的RedPajama-INCITE模型系列，包括基础、指令调整和聊天模型 3B - 7B ? Apache 2.0
OpenLLaMA OpenLLaMA-7b-preview-300bt OpenLLaMA：LLaMA的开源复现 7B 2048 Apache 2.0

原文地址 https://raw.githubusercontent.com/eugeneyan/open-llms/main/README.md