百川13B、书生浦语7B商用开源；MOSS-RLHF、雅意等多个LLM项目开源
本周带来的 6 个模型项目分别用于中英双语对话、图文对话、医疗对话、图像分割等；2 个工具项目用于知识问答、LLM应用开发。
百川智能发布Baichuan-13B，开源可商用支持中英双语，提供量化版本供开发者部署
Baichuan-13B 是百川智能推出的开源可商用大型语言模型，是其之前 Baichuan-7B 的升级版本。该模型在中文和英文的权威 benchmark 上都取得了同等尺寸的最佳效果。Baichuan-13B 包含预训练和对齐模型两个版本。预训练模型是适用于开发者的基座模型，而对齐模型则具有很强的对话能力，可直接进行部署。该模型使用高质量的 1.4 万亿 tokens 语料进行训练，并支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为 4096。此外，Baichuan-13B 还支持 int8 和 int4 的量化版本，可以在几乎没有效果损失的情况下大大降低部署的机器资源门槛。当前，Baichuan-13B 对学术研究完全开放，开发者在申请并获得官方商用许可后，即可免费商用。
获取资源：
https://sota.jiqizhixin.com/project/baichuan-13b
书生·浦语开源轻量级版模型InternLM-7B，免费可商用，支持8k上下文长度
近日上海人工智能实验室书生・浦语的 7B 轻量级版 InternLM-7B 正式开源，还免费提供商用。InternLM-7B 为实用场景量身定制，使用上万亿高质量语料来训练，建立起了超强知识体系。与其他在单项或数项基准上达到高水平的模型不同，InternLM-7B 强调各方面能力的均衡，为了实现均衡且强大的能力，该模型使用了创新的动态调整模式，保证了数据配比的合理性。此外，InternLM-7B 还具备可编程的通用工具调用能力，使模型能够在需要工具的时候自动编写一段 Python 程序，以综合调用多种能力，从而大幅拓展模型的能力。
获取资源：
https://sota.jiqizhixin.com/project/internlm
复旦NLP团队基于稳定训练算法PPO-max发布MOSS-RLHF模型，提供中英文奖励模型
复旦大学深入剖析了 RLHF 中的强化学习 PPO 算法，进一步提出了 PPO-max 算法以确保模型训练的稳定性。并将 PPO-max 算法后续将接入此前开源的 MOSS 模型，作为 “MOSS-RLHF” 模型发布，并提供中英文奖励模型、开源代码和训练步骤。在项目开源仓库中开发者可在仓库中获取基于 openChineseLlama 的 7B 中文奖励模型、基于 Llama-7B 的 7B 英语奖励模型，以及用于大型语言模型中的强化学习训练的开源代码。
获取资源：
https://sota.jiqizhixin.com/project/moss-rlhf
大型语言模型LongLLaMA将上下文长度扩展到256k，基于OpenLLaMA和Focused Transformer微调得到
大型语言模型 LongLLaMA 将支持处理上下文长度扩展到 256k ，该模型基于 OpenLLaMA 模型和 Focused Transformer （FoT）方法微调得到。LongLLaMA 提供了经过训练的 3B 版本模型和支持更长上下文的推理代码。相比于现有实现中 LLaMA 的替代品（适用于长度不超过 2048 个标记的短上下文），LongLLaMA 的模型权重可以作为更好的选择。此外，LongLLaMA 提供了性能评估结果和与原始 OpenLLaMA 模型的比较。在关键词检索任务中， LongLLaMA 可以处理长度为 256k 的输入，从而将有效上下文长度推广到训练中所见的远远之外。
获取资源：
https://sota.jiqizhixin.com/project/longllama
开源PDF文档对话工具ChatPDF，帮助开发者快速对PDF文档进行摘要和分析
ChatPDF 是一个开源的 PDF 对话工具，它可以帮助开发者快速地对 PDF 文档进行摘要和分析，并提供回答问题的功能。该工具使用 React、Antd、tailwindCSS、Python、FastAPI、langchain 和 llama_index 等技术栈实现，具有流式传输、注册和登录、对话数量限制和国际化支持等特点。开发者可以使用自己的私人 OpenAI 密钥轻松部署该工具，并自由地与 PDF 进行对话。然而，由于该项目最初并非为开源目的而设计，因此需要一些相关技术栈经验才能进行部署。未来该项目的代码和部署过程将进行优化，并提供详细的部署指南。
获取资源：
https://sota.jiqizhixin.com/project/chatpdf
基于中文LLaMA和Alpaca的多模态中文大模型VisualCLA，支持视觉信息输入和多模态理解
VisualCLA 是一个基于中文 LLaMA&Alpaca 大模型项目开发的多模态中文大模型。它增加了图像编码等模块，使中文 LLaMA/Alpaca 模型可以接收视觉信息，并使用中文图文对数据进行多模态预训练，赋予其基本的多模态理解能力。同时，使用多模态指令数据集进行微调，增强其对多模态指令的理解、执行和对话能力。VisualCLA 提供了推理代码和基于 Gradio/Text-Generation-WebUI 的部署脚本，并在多模态指令理解任务上展示了模型的效果。
获取资源：
https://sota.jiqizhixin.com/project/visualcla
基于高质量领域数据微调的开源中文语言模型雅意，支持上百种自然语言指令任务
雅意大模型是一款在百万级人工构造的高质量领域数据上进行指令微调得到的中文语言模型，训练数据覆盖媒体宣传、舆情分析、公共安全、金融风控、城市治理等五大领域，支持上百种自然语言指令任务。雅意大模型从预训练初始化权重到领域模型的迭代过程中不断增强了中文基础能力和领域分析能力，并增加了部分插件能力。经过数百名用户内测过程中持续不断的人工反馈优化，模型性能和安全性得到了进一步提升。
获取资源：
https://sota.jiqizhixin.com/project/ya-yi
通用高精度图像分割模型Semantic-SAM，可根据任何所需的粒度分割和识别任何内容
Semantic-SAM 是一个通用的图像分割模型，可在任何所需的粒度上对任何物体进行分割和识别。该模型基于 DETR-based 模型实现通用和交互式分割，并在 SA-1B 数据集上进行了训练，可以复现 SAM 及其更多功能。该项目提供了从实例到部分级别的语义意识和粒度丰富的属性，以及高质量的掩码。这些特点使得该模型在许多应用场景中都非常有用，例如计算机视觉、自动驾驶、机器人以及其他需要图像分割和识别的领域。
获取资源：
https://sota.jiqizhixin.com/project/semantic-sam
中文医疗大语言模型PULSE开源，基于OpenChineseLLaMA 13B和约四百万个医学SFT数据微调得到
PULSE 是一个中文医疗大语言模型，它基于 OpenChineseLLaMA 13B 模型进行大规模训练，并使用约四百万个医学领域和通用领域的 SFT 数据进行进一步微调。该模型支持医学领域的各种自然语言处理任务，包括健康教育、医师考试问题、报告解读、医疗记录结构化以及模拟诊断和治疗。PULSE 模型提供了下载地址，供开发者使用。然而，需要注意的是，该模型仅供医疗领域研究使用，不能代替线下职业医生的建议和治疗方案。同时，模型的参数量较小，虽然它提供了有关疾病诊断和治疗的推理结果，但这些结果仅供参考。
获取资源：
https://sota.jiqizhixin.com/project/pulse-2
轻量级LLMs应用程序构建替代工具LiteChain，助力开发者快速构建应用
LiteChain 可帮助开发者快速构建 LLMs 应用程序。相比于 LangChain，LiteChain 专注于拥有单个小核心，易于学习、易于适应、文档齐全、完全类型化和真正可组合。这些特点使得该工具在许多应用场景中都非常有用，例如自然语言处理、机器翻译、语音识别等领域。此外，LiteChain 强调“明确胜于隐式”，意味着更多的手工操作，但能够使应用程序易于维护和定制。开发者可以通过使用 LiteChain 来构建自己的 LLMs 应用程序，并且由于其轻量级和易用性，也可以很容易地进行二次开发和改进。
获取资源：
https://sota.jiqizhixin.com/project/litechain
网页端访问： 在浏览器地址栏输入新版站点地址 sota.jiqizhixin.com ，即可前往「SOTA！模型」平台，查看关注的模型是否有新资源收录。
移动端访问：在微信移动端中搜索服务号名称「机器之心SOTA模型」或 ID 「sotaai」，关注 SOTA！模型服务号，即可通过服务号底部菜单栏使用平台功能，更有最新AI技术、开发资源及社区动态定期推送。
