LLaMA2开源7/13/70B模型,含基础、对话;FreeWilly、Chinese-Llama2-7b等LLaMA系模型



本周带来的 5 个模型项目分别用于聊天对话、文档摘要、问答、心理问答等;6 个工具项目用于AI角色创建、智能体创建、模型训练、LLM部署等。
Meta开源商用大语言模型LLaMA 2,包含基础和对话模型版本,参数为7B、13B、70B
近日,Meta 发布 LLaMA 2,开源可商用,包含基础预训练和微调对话版本,参数为 7B、13B、70B。预训练版本 LLaMA 2 是在 2 万亿 token 上训练的,微调版本 LLaMA2-chat 是在 100 万人类标记的数据上训练的,针对对话用例进行了专门优化。相比于 Llama 1,Llama 2 的训练数据多了 40%,上下文长度也翻倍,并采用了分组查询注意力机制。测评结果显示,Llama 2 在包括推理、编码、精通性和知识测试等许多外部基准测试中都优于其他开源语言模型。当前 LLaMA 2 开放权重下载,可通过官方开源仓库发送邮箱进行申请,在收到邮箱后参考官方步骤进行获取。
获取资源:
https://sota.jiqizhixin.com/project/llama-2

Stability AI发布全新开源语言模型FreeWilly,基于LLaMA 2微调,性能媲美GPT-3.5
FreeWilly 是 Stability AI 开源的 LLaMA 2 微调模型,其性能与 ChatGPT 不相上下。此次开源中,发布了基于 LLaMA 2 70B 模型的微调模型 FreeWilly2,以及基于 LLaMA 65B 原始模型微调的 FreeWilly1。FreeWilly 使用基于标准 Alpaca 格式的全新合成数据集,并经过监督微调(SFT)的训练。在各项基准测试中,FreeWilly2 展现了卓越的推理能力,甚至在某些任务上超越了 GPT-3.5。当前,虽然 FreeWilly1 和 FreeWilly2 都是开放获取的,但与 LLaMA 2 不同,它们是以非商业许可的形式发布的,仅可用于研究目的。
获取资源:
https://sota.jiqizhixin.com/project/freewilly

MosaicML发布的高性能开源大型语言模型MPT-7B-8K,专为文档摘要和问答设计,支持商业用途
MPT-7B-8K 是由 MosaicML 发布的一个 7B 参数开源 LLM,具有 8k 上下文长度,专门从事文档摘要和问答,可用于商业用途。模型在 1.5Ttokens 上训练得到,能够通过 FlashAttention 和 FasterTransformer 进行快速训练和推理,通过 llm-foundry 存储库配备高效的开源训练代码。与 MPT 基础系列中的所有其他模型一样,MPT-7B-8k 针对更快的训练和推理进行了优化,并且可以在 MosaicML 平台上对特定领域的数据进行微调。官方提供 MPT-7B-8k、MPT-7B-8k-Instruct、MPT-7B-8k-Chat 三种模型权重,分别对应预训练版本、指令微调版本和聊天微调版本。
获取资源:
https://sota.jiqizhixin.com/project/mpt-7b-8k

基于Llama 2的开源可商用中文语言模型,适配SFT数据集,并提供在线Demo和模型权重
Chinese-Llama-2-7b 是由 LinkSoul.AI 基于 Llama 2 发布的开源可商用的中文大语言模型,在数据量 1000 万的中英文 SFT 数据集上训练得到,输入格式严格遵循 llama-2-chat 格式,兼容适配所有针对原版 llama-2-chat 模型的优化。项目提供在线 Demo(可在线试玩)、Chinese Llama2 Chat Model 模型权重,以及中英文 SFT 数据集下载链接。
获取资源:
https://sota.jiqizhixin.com/project/chinese-llama-2-7b

用于创建个性化AI角色的工具RealChar,支持移动端、网页和终端,提供在线Demo和多种AI技术选项
RealChar 是自定义、实时 AI 角色/伴侣创建工具,支持在移动端、网页和终端上进行自然无缝对话,提供一体化代码库,可自定义角色个性、背景和声音,无需编写代码即可创建 AI 角色。使用最新的 AI 技术,包括 OpenAI,Anthropic Claude 2,Chroma,Whisper,ElevenLabs 等。该工具模块化设计,允许用户轻松交换不同模块以自定义流程,非常灵活。项目包含在线 Demo,可访问官方网站在线试玩,提供技术方案、API 设置方法、安装方法,支持 Docker 安装和 LangSmith 集成。
获取资源:
https://sota.jiqizhixin.com/project/realchar

轻量、可扩展的智能体框架AutoChain,快速生成和评估自定义智能体
AutoChain 是轻量、可扩展的智能体框架,灵感来源于 LangChain 和 AutoGPT,让开发人员用 LLM 和自定义工具构建自己的智能体,通过模拟对话自动评估不同的用户场景,旨在通过简化智能体定制和评估来实现生成智能体的快速迭代。可以使用不同自定义工具,并支持 OpenAI 函数调用,支持对话历史记录和工具输出的简单内存跟踪,能够通过模拟对话进行自动座席多轮对话评估。项目提供了设置安装代码、示例用法,以及评估代码示例。
获取资源:
https://sota.jiqizhixin.com/project/autochain

基于ChatGLM-6B的开源中文心理健康对话模型SoulChat,提供共情能力和合理建议
SoulChat(灵心)是由华南理工大学未来技术学院-广东省数字孪生人重点实验室开源的中文领域心理健康对话大模型。基于主动健康的主动性、预防性、精确性、个性化、共建共享、自律性六大特征,构造并使用超过 120 万个样本的单轮与多轮混合共情对话数据集,对 ChatGLM-6B 模型进行全量参数的指令微调,提升了模型的共情能力、引导用户倾诉能力以及提供合理建议的能力。项目包含模型环境部署及安装代码、模型调用代码示例,以及模型应用示例。
获取资源:
https://sota.jiqizhixin.com/project/soulchat

简洁高效的pytorch模型训练工具torchkeras,支持进阶应用和扩展功能
torchkeras 是通用的 pytorch 模型训练模版工具,旨在提供优雅、易用且易于修改的训练工具,支持进度条、评估指标、early stopping 等功能,同时还支持 tensorboard 和 wandb 回调函数等扩展功能,核心代码模块化,仅约 200 行。项目提供使用方法、主要功能特性、基本范例(notebook 和 kaggle),以及 RL、CV、NLP 等进阶范例(notebook)。
获取资源:
https://sota.jiqizhixin.com/project/torchkeras

自动化内容创作框架ShortGPT,简化视频编辑和素材获取任务
ShortGPT 是一个自动化内容创作框架,采用 LLM 方向的视频编辑语言,简化了视频创建、编辑、语音合成和素材获取等任务。ShortGPT 还提供了现成的脚本和提示,支持多种语言。同时,ShortGPT 可以自动化生成视频字幕并从互联网和 Pexels API 中获取图像和视频素材。使用 TinyDB 确保了自动化编辑变量的长期持久性。项目包含安装步骤、Web 界面运行,以及 API 密钥添加方法等。
获取资源:
https://sota.jiqizhixin.com/project/shortgpt

开源本地部署LLM的高效框架MLC LLM,支持多种语言模型和硬件后端
陈天奇团队开源的可在任何设备上编译运行大语言模型的项目 MLC LLM,允许将任何语言模型本地部署在各种硬件后端和本机应用程序上,并为每个人提供一个高效的框架,以进一步优化自己用例的模型性能。目的是使每个人都能在每个人的设备上本地开发、优化和部署 AI 模型。项目可在本地运行,无需服务器支持,并通过手机和笔记本电脑上的本地 GPU 加速,目前支持 7B / 13B / 70B Llama-2。
获取资源:
https://sota.jiqizhixin.com/project/mlc-llm

开源模型引擎LLM Engine,高效部署、微调和集成大型语言模型
LLM Engine 是用于微调和提供大型语言模型服务的开源引擎,可以通过 Scale 的托管版本访问模型,也可以使用该存储库中的 Helm 图表在自己的基础架构中运行模型推断和微调。具有现成的模型 API,开源基础模型包括 LLaMA、MPT 和 Falcon;能够根据自己的数据进行建模与调优;提供推理 API 用于流式响应和动态批处理输入,以提高吞吐量并降低延迟;开源集成,可以使用单个命令部署模型。
获取资源:
https://sota.jiqizhixin.com/project/llm-engine


网页端访问: 在浏览器地址栏输入新版站点地址 sota.jiqizhixin.com ,即可前往「SOTA!模型」平台,查看关注的模型是否有新资源收录。
移动端访问:在微信移动端中搜索服务号名称「机器之心SOTA模型」或 ID 「sotaai」,关注 SOTA!模型服务号,即可通过服务号底部菜单栏使用平台功能,更有最新AI技术、开发资源及社区动态定期推送。
