Llama 2开源可商用，更Open的AI

起猛了，家人们，一觉醒来Llama 2 就出来了，而且还开源可商用。

当我还在蒙头大睡的时候，世界另一边的大佬们悄悄发布了他们的新产品，一夜之间格局巨变啊！

Llama想必大家都不陌生啦， Llama可以说在目前的AI社区里面是一人之下，万人之上。但由于开源协议的问题，第一代产品是无法商用的了。

就在7月14日，智谱AI&清华KEG开发的ChatGLM2-6B 发出公告宣布其大模型开源可商用。

仅一周不到的时间，Meta 也陆续宣布了大家期待已久的免费可商用的 Llama 2。

真是在开源社区引领了一波浪潮啊。

相对于自诩为Open AI 的某公司，谁才是Open 的AI，这里就不好评价了。

Meta这次推出的 Llama 2 模型系列包含 70 亿、130 亿和 700 亿三种参数变体。另外还训练了一个340亿参数的变体，只是在报告中提到，但尚未发布。

目前，已经可以通过官方网站https://ai.meta.com/resources/models-and-libraries/llama-downloads/去申请开源模型的使用。

根具官方网站的介绍，Llama 2 预训练模型采用 2 万亿的 token 上训练，精调 Chat 模型使用 100 万人类标记数据上训练。相比之下呢，Llama 2比Llama 1 多了 40%的训练数据，上下文长度也是翻倍，而且采用了分组查询注意力机制。

在官网公布的测评统计数据中显示，Llama 2 在包括推理、编码、精通性和知识测试等许多外部基准测试中都优于其他开源语言模型。

此外，Llama-2-chat使用来自人类反馈的强化学习来确保安全和有用性，Llama 2 是使用公开可用的在线数据进行预训练的。然后通过使用监督微调来创建Llama-2-chat的初始版本。接下来，使用来自人类反馈的强化学习（RLHF）迭代优化Llama-2-chat，其中包括拒绝抽样和近端策略优化（PPO）

Meta 还宣布，将与微软 Azure 进行合作，向其全球开发者提供基于Llama 2模型的云服务，Azure 客户可以在 Azure 平台上更轻松、更安全地微调和部署 7B、13B 和 70B 参数的 Llama 2 模型，此外通过优化可以在 Windows 本地运行。同时 Meta 还将联手高通，让Llama 2能够在高通芯片上运行。

开源大模型不断推出，从Chat-GPT爆火之后，各大科技公司也逐渐展露拳脚，不断的技术升级降低使用成本和门槛，照这个速度发展下去，想象一下距离人手一个大模型的时代还需要多久呢？

好了，今天的内容就到这里了，关注我，学习AI快人一步。记得三连哦！

论文地址：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/

项目地址：https://github.com/facebookresearch/llama