前段时间，谷歌泄露的内部文件表达了这样一个观点，虽然表面看起来 OpenAI 和谷歌在 AI 大模型上你追我赶，但真正的赢家未必会从这两家中产生，因为有一个第三方力量正在悄然崛起。这个力量就是「开源」。
围绕 Meta 的 LLaMA 开源模型，整个社区正在迅速构建与 OpenAI、谷歌大模型能力类似的模型，而且开源模型的迭代速度更快，可定制性更强，更有私密性。
近日，前威斯康星大学麦迪逊分校助理教授、初创公司 Lightning AI 首席 AI 教育官 Sebastian Raschka 表示，对于开源而言，过去一个月很伟大。
不过，那么多大语言模型（LLM）纷纷出现，要紧紧把握住所有模型并不容易。所以，Sebastian 在本文中分享了关于最新开源 LLM 和数据集的资源和研究洞见。
论文与趋势
过去一个月出现了很多研究论文，因此很难从中挑选出最中意的几篇进行深入的探讨。Sebastian 更喜欢提供额外洞见而非简单展示更强大模型的论文。鉴于此，引起他注意力的首先是 Eleuther AI 和耶鲁大学等机构研究者共同撰写的 Pythia 论文。
论文地址：https://arxiv.org/pdf/2304.01373.pdf
Pythia：从大规模训练中得到洞见
开源 Pythia 系列大模型真的是其他自回归解码器风格模型（即类 GPT 模型）的有趣平替。论文中揭示了关于训练机制的一些有趣洞见，并介绍了从 70M 到 12B 参数不等的相应模型。
Pythia 模型架构与 GPT-3 相似，但包含一些改进，比如 Flash 注意力（像 LLaMA）和旋转位置嵌入（像 PaLM）。同时 Pythia 在 800GB 的多样化文本数据集 Pile 上接受了 300B token 的训练（其中在常规 Pile 上训练 1 个 epoch，在去重 Pile 上训练 1.5 个 epoch ）。
下面为一些从 Pythia 论文中得到的洞见和思考：
在重复数据上的训练（即训练 epoch>1）会不会有什么影响？结果表明，数据去重不会改善或损害性能；
训练命令会影响记忆吗？遗憾的是，结果表明并不会。之所以说遗憾，是因为如果影响的话，则可以通过训练数据的重新排序来减轻讨厌的逐字记忆问题；
batch 大小加倍可以将训练时间减半但不损害收敛。
开源数据
对于开源 AI，过去一个月特别令人兴奋，出现了几个 LLM 的开源实现和一大波开源数据集。这些数据集包括 Databricks Dolly 15k、用于指令微调的 OpenAssistant Conversations (OASST1)、用于预训练的 RedPajama。这些数据集工作尤其值得称赞，因为数据收集和清理占了真实世界机器学习项目的 90％，但很少有人喜欢这项工作。
Databricks-Dolly-15 数据集
Databricks-Dolly-15 是一个用于 LLM 微调的数据集，它由数千名 DataBricks 员工编写了超过 15,000 个指令对（与训练 InstructGPT 和 ChatGPT 等系统类似）。
OASST1 数据集
OASST1 数据集用于在由人类创建和标注的类 ChatGPT 助手的对话集合上微调预训练 LLM，包含了 35 种语言编写的 161,443 条消息以及 461,292 个质量评估。这些是在超过 10,000 个完全标注的对话树中组织起来。
用于预训练的 RedPajama 数据集
RedPajama 是一个用于 LLM 预训练的开源数据集，类似于 Meta 的 SOTA LLaMA 模型。该数据集旨在创建一个媲美大多数流行 LLM 的开源竞争者，目前这些 LLM 要么是闭源商业模型要么仅部分开源。
RedPajama 的大部分由 CommonCrawl 组成，它对英文网站进行了过滤，但维基百科的文章涵盖了 20 种不同的语言。
LongForm 数据集
论文《The LongForm: Optimizing Instruction Tuning for Long Text Generation with Corpus Extraction》介绍了基于 C4 和 Wikipedia 等已有语料库的人工创作文档集合以及这些文档的指令，从而创建了一个适合长文本生成的指令调优数据集。
论文地址：https://arxiv.org/abs/2304.08460
Alpaca Libre 项目
Alpaca Libre 项目旨在通过将来自 Anthropics HH-RLHF 存储库的 100k + 个 MIT 许可演示转换为 Alpaca 兼容格式，以重现 Alpaca 项目。
扩展开源数据集
指令微调是我们从类 GPT-3 预训练基础模型演化到更强大类 ChatGPT 大语言模型的关键方式。Databricks-Dolly-15 等开源人工生成指令数据集有助于实现这一点。但我们如何进一步扩展呢？是否可以不收集额外数据呢？一种方法是从自身的迭代中bootstrap 一个 LLM。虽然 Self-Instruct 方法在 5 个月前提出（以如今标准来看过时了），但它仍是一种非常有趣的方法。值得强调的是，由于 Self-Instruct 一种几乎不需要注释的方法，因而可以将预训练 LLM 与指令对齐。
如何运作呢？简而言之可以分为以下四个步骤：
首先是具有一组人工编写指令（本例中为 175）和样本指令的种子任务池；
其次使用一个预训练 LLM（如 GPT-3）来确定任务类别；
接着给定新指令，使预训练 LLM 生成响应；
最后在将指令添加到任务池之前收集、修剪和过滤响应。
在实践中，基于 ROUGE 分数的工作会比较有效、例如 Self-Instruct 微调的 LLM 优于 GPT-3 基础 LLM，并可以在大型人工编写指令集上预训练的 LLM 竞争。同时 self-instruct 也可以使在人工指令上微调过的 LLM 收益。
但是当然，评估 LLM 的黄金标准是询问人类评分员。基于人类评估，Self-Instruct 优于基础 LLM、以及以监督方式在人类指令数据集上训练的 LLM（比如 SuperNI, T0 Trainer）。不过有趣的是，Self-Instruct 的表现并不优于通过人类反馈强化学习（RLHF）训练的方法。
人工生成 vs 合成训练数据集
人工生成指令数据集和 self-instruct 数据集，它们两个哪个更有前途呢？Sebastian 认为两者皆有前途。为什么不从人工生成指令数据集（例如 15k 指令的 databricks-dolly-15k）开始，然后使用 self-instruct 对它进行扩展呢？论文《Synthetic Data from Diffusion Models Improves ImageNet Classification》表明，真实图像训练集与 AI 生成图像相结合可以提升模型性能。探究对于文本数据是否也是这样是一件有趣的事情。
论文地址：https://arxiv.org/abs/2304.08466
最近的论文《Better Language Models of Code through Self-Improvement》就是关于这一方向的研究。研究者发现如果一个预训练 LLM 使用它自己生成的数据，则可以改进代码生成任务。
论文地址：https://arxiv.org/abs/2304.01228
少即是多（Less is more）?
此外，除了在越来越大的数据集上预训练和微调模型之外，又如何提高在更小数据集上的效率呢？论文《Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes》中提出使用一种蒸馏机制来管理任务特定的更小模型，它们使用更少的训练数据却超越了标准微调的性能。
论文地址：https://arxiv.org/abs/2305.02301
追踪开源 LLM
开源 LLM 的数量呈爆炸式增长，一方面是非常好的发展趋势（相较于通过付费 API 控制模型），但另一方面追踪这一切可能很麻烦。以下四种资源提供了大多数相关模型的不同摘要，包括它们的关系、底层数据集和各种许可信息。
第一种资源是基于论文《Ecosystem Graphs: The Social Footprint of Foundation Models》的生态系统图网站，提供如下表格和交互式依赖图（这里未展示）。
这个生态系统图是 Sebastian 迄今为止见过的最全面的列表，但由于包含了很多不太流行的 LLM，因而可能显得有点混乱。检查相应的 GitHub 库发现，它已经更新了至少一个月。此外尚不清楚它会不会添加更新的模型。
论文地址：https://arxiv.org/abs/2303.15772
生态系统图网站地址：https://crfm.stanford.edu/ecosystem-graphs/index.html?mode=table
第二种资源是最近论文《Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond》中绘制精美的进化树，该论文侧重于最流行的 LLM 和它们的关系。
虽然读者看到了非常美观和清晰的可视化 LLM 进化树，但也有一些小的疑惑。例如不清楚为什么底部没有从原始 transformer 架构开始。此外开源标签并不是非常的准确，例如 LLaMA 被列为开源，但权重在开源许可下不可用（只有推理代码是这样的）。
论文地址：https://arxiv.org/abs/2304.13712
第三种资源是 Sebastian 同事 Daniela Dapena 绘制的表格，出自于博客《The Ultimate Battle of Language Models: Lit-LLaMA vs GPT3.5 vs Bloom vs …》。
虽然下述表格比其他资源要小，但其优点在于包含了模型尺寸和许可信息。如果你计划在任何项目中采用这些模型，则该表格会非常有实用性。
博客地址：https://lightning.ai/pages/community/community-discussions/the-ultimate-battle-of-language-models-lit-llama-vs-gpt3.5-vs-bloom-vs/
第四种资源是 LLaMA-Cult-and-More 总览表，它提供了有关微调方法和硬件成本的额外信息。
总览表地址：https://github.com/shm007g/LLaMA-Cult-and-More/blob/main/chart.md
利用 LLaMA-Adapter V2 微调多模态 LLM
Sebastian 预测本月会看到更多的多模态 LLM 模型，因此不得不谈到不久前发布的论文《LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model》。先来回顾一下什么是 LLaMA-Adapter？它是一种参数高效的 LLM 微调技术，修改了前面几个 transformer 块并引入一种门控机制来稳定训练。
论文地址：https://arxiv.org/abs/2304.15010
使用 LLaMA-Adapter 方法，研究人员能够在 52k 个指令对上仅用 1 小时（8 块 A100 GPU）来微调一个 7B 参数的 LLaMA 模型。虽然仅对新添加的 1.2M 参数（adapter 层）进行了微调，但 7B LLaMA 模型仍处于冻结（frozen）状态。
LLaMA-Adapter V2 的重点在多模态，即构建一个可以接收图像输入的视觉指令模型。最初的 V1 虽然可以接收文本 token 和图像 token，但在图像方面没有得到充分探索。
LLaMA-Adapter 从 V1 到 V2，研究人员通过以下三个主要技巧来改进 adapter 方法。
早期视觉知识融合：不再在每个 adapted 层融合视觉和 adapted 提示，而是在第一个 transformer 块中将视觉 token 与单词 token 连接起来；
使用更多参数：解冻（unfreeze）所有归一化层，并将偏置单元和缩放因子添加到 transformer 块中每个线性层；
具有不相交参数的联合训练：对于图文字幕数据，仅训练视觉投影层；针对指令遵循的数据仅训练 adaption 层（以及上述新添加的参数）。
LLaMA V2（14M）比 LLaMA V1 (1.2 M) 的参数多了很多，但它仍是轻量级，仅占 65B LLaMA 总参数的 0.02%。特别令人印象深刻的是，通过仅对 65B LLaMA 模型的 14M 参数进行微调，得到的 LLaMA-Adapter V2 在性能上媲美 ChatGPT（当使用 GPT-4 模型进行评估）。LLaMA-Adapter V2 还优于使用全微调方法的 13B Vicuna 模型。
遗憾的是，LLaMA-Adapter V2 论文省略了 V1 论文中包含的计算性能基准，但我们可以假设 V2 仍然比全微调方法快得多。
其他开源 LLM
大模型的发展速度奇快，我们无法一一列举，本月推出的一些著名的开源 LLM 和聊天机器人包括 Open-Assistant、Baize、StableVicuna、ColossalChat、Mosaic 的 MPT 等。此外，下面是两个特别有趣的多模态 LLM。
OpenFlamingo
OpenFlamingo 是 Google DeepMind 去年发布的 Flamingo 模型的开源复制版。OpenFlamingo 旨在为 LLM 提供多模式图像推理功能，让人们能够交错输入文本和图像。
MiniGPT-4
MiniGPT-4 是另一种具有视觉语言功能的开源模型。它基于 BLIP-27 的冻结视觉编码器和冻结的 Vicuna LLM。
NeMo Guardrails
随着这些大语言模型的出现，许多公司都在思考如何以及是否应该部署它们，安全方面的担忧尤为突出。目前还没有好的解决方案，但至少有一个更有前途的方法：英伟达开源了一个工具包来解决 LLM 的幻觉问题。
简而言之，它的工作原理是此方法使用数据库链接到硬编码的 prompt，这些 prompt 必须手动管理。然后，如果用户输入 prompt，该内容将首先与该数据库中最相似的条目相匹配。然后数据库返回一个硬编码的 prompt，然后传递给 LLM。因此，如果有人仔细测试硬编码 prompt，就可以确保交互不会偏离允许的主题等。
这是一种有趣但不是开创性的方法，因为它没有为 LLM 提供更好的或新的能力，它只是限制了用户可以与 LLM 交互的程度。尽管如此，在研究人员找到减轻 LLM 中的幻觉问题和负面行为的替代方法之前，这可能是一种可行的方法。
guardrails 方法还可以与其他对齐技术相结合，例如作者在上一期 Ahead of AI 中介绍的流行的人类反馈强化学习训练范例。
一致性模型
谈论 LLM 以外的有趣模型是一个不错的尝试，OpenAI 终于开源了他们一致性模型的代码：https://github.com/openai/consistency_models。
一致性模型被认为是扩散模型的可行、有效的替代方案。你可以在一致性模型的论文中获得更多信息。
