欢迎光临散文网 会员登陆 & 注册

RWKV-Runner近期主要更新汇总,服务器部署说明,及后续更新计划

2023-06-09 23:47 作者:国服第一海豹  | 我要投稿

用户相关的主要更新内容

  1. macOS, linux支持

  2. 包含写作,翻译,猫娘,情景冒险,狼人杀,指令功能的补全页面

  3. 程序嵌入所有核心依赖,避免下载缓慢问题(体积增加到8MB)

  4. 对所有主流N卡的内置算子加速支持

  5. 模型内部状态缓存支持,使对话和补全的准备速度获得 5 - 50 倍的提速,现在对话和补全几乎总是立即响应,状态缓存对API调用同样有效

  6. 对小说模型和World模型支持(强烈推荐体验World模型,100+语言,效果极佳)

  7. API对外访问支持

  8. API并发性能和兼容性改善

  9. API日志

  10. 内置下载功能改善,现在比较耐用,就算你中途拔网线,换环境,或者狂点暂停继续,也不会破坏下载文件的完整性,并能够正常断点续传

  11. 支持自定义模型路径,自定义python解释器,自定义strategy

  12. 诸多问题修复和用户交互改善,增强用户引导

服务器部署说明

  1. 先前的QQ机器人与AI绘画结合项目,目前已支持由RWKV离线驱动,并支持QQ频道: https://github.com/josStorer/mix-chatgpt-and-ai-painting

  2. 目前提供了Next-Web的部署示例脚本,支持windows和linux,你可以轻松自己搭建一个RWKV驱动的对外服务

    • 部署完成效果:

RWKV驱动的网站服务


    • 链接:https://github.com/josStorer/RWKV-Runner/tree/master/deploy-examples

    • 截图速览:

windows部署示例脚本
linux部署示例脚本

后续主要计划更新内容(不分先后)

  1. 模型训练(全量,lora)

  2. 外挂知识库

  3. 状态缓存数据库

  4. embeddings API

  5. 自由角色设定和分享

  6. 将内部聊天,补全功能独立出网站部署服务


RWKV-Runner近期主要更新汇总,服务器部署说明,及后续更新计划的评论 (共 条)

分享到微博请遵守国家法律