RWKV-Runner近期主要更新汇总,服务器部署说明,及后续更新计划
用户相关的主要更新内容
macOS, linux支持
包含写作,翻译,猫娘,情景冒险,狼人杀,指令功能的补全页面
程序嵌入所有核心依赖,避免下载缓慢问题(体积增加到8MB)
对所有主流N卡的内置算子加速支持
模型内部状态缓存支持,使对话和补全的准备速度获得 5 - 50 倍的提速,现在对话和补全几乎总是立即响应,状态缓存对API调用同样有效
对小说模型和World模型支持(强烈推荐体验World模型,100+语言,效果极佳)
API对外访问支持
API并发性能和兼容性改善
API日志
内置下载功能改善,现在比较耐用,就算你中途拔网线,换环境,或者狂点暂停继续,也不会破坏下载文件的完整性,并能够正常断点续传
支持自定义模型路径,自定义python解释器,自定义strategy
诸多问题修复和用户交互改善,增强用户引导
服务器部署说明
先前的QQ机器人与AI绘画结合项目,目前已支持由RWKV离线驱动,并支持QQ频道: https://github.com/josStorer/mix-chatgpt-and-ai-painting
目前提供了Next-Web的部署示例脚本,支持windows和linux,你可以轻松自己搭建一个RWKV驱动的对外服务
部署完成效果:

链接:https://github.com/josStorer/RWKV-Runner/tree/master/deploy-examples
截图速览:


后续主要计划更新内容(不分先后)
模型训练(全量,lora)
外挂知识库
状态缓存数据库
embeddings API
自由角色设定和分享
将内部聊天,补全功能独立出网站部署服务