欢迎光临散文网 会员登陆 & 注册

【教程】百度智能云千帆大模型平台使用指南-V1.0版本(上)

2023-09-14 21:32 作者:小航78533046  | 我要投稿

本篇内容为您提供了千帆大模型平台数据服务、大模型调优、大模型管理等功能具体实操步骤。 目录百度智能云千帆大模型平台使用指南—V1.0版本(上) 一、个人账号申请 二、数据服务实践 三、大模型调优 四、大模型管理 百度智能云千帆大模型平台使用指南—V1.0版本(下) 五、大模型服务 六、插件应用 七、Prompt工程 八、RLHF训练 一、个人账号申请 用户可进入千帆大模型平台产品页开通并使用,进入百度智能云千帆大模型平台产品页。 二、数据服务实践 在数据服务当中,你可以完成prompt数据创建、数据标准、批量数据导入、批量数据处理(清洗/增强)等工作。 2.1 数据集管理与数据标注

数据标注方法有两种: 在线标注

导入已标注数据

2.1.1导入未标注数据 创建

文本对话

类型的

非排序

数据集

导入未标注数据,直接导入如下压缩包

导入完毕如下图所示

2.1.2数据标注 对导入数据进行标注,在此处输入问题答案,填写完毕以后点击右上角保存标注填写标注如下所示: 2.1.3导入已标注数据 手动标注800条数据需要比较多时间,此处直接将已标注好的数据导入,代替手动标注 创建2个数据集,分别是训练数据集和评估数据集

解压素材 点击下载压缩包 将解压后得到的2个文件分别导入上面的2个数据集 发布数据集 2.2数据处理 2.2.1数据清洗 创建文本对话类型的非排序、未标注 测试数据集 导入测试数据集,1596条,这个数据集当中有emoji。 点击下载压缩包 导入完成以后查看数据集如下:

创建数据处理任务 选择处理后数据集,以及清洗配置 注意:处理后数据集是必选,可以使用原有数据集,新建一个版本。 执行数据清洗任务

对比清洗前后数据,可以看到emoji 😄都去掉了 清洗前 清洗后 2.2.2数据增强 三、大模型调优 产品文档参考参考:SFT调优快速手册 3.1Bloom-全量参数 RD建议训练参数如下

大概需要20分钟 查看评估报告,可以看到loss收敛 发布模型 3.2ERNIE-Bot-turbo-全量参数 使用默认训练参数即可,不需要修改

四、大模型管理 在模型管理当中找到大模型调优发布过来的模型

支持模型的评估、压缩、部署 4.1模型评估 在模型部署之前,建议可以提前做一次模型评估,在模型评估报告当中,可以批量看到模型推断结果。 注意: 一个账号最多支持5个评估任务并行执行。 评估任务所只用的数据集必须为已发布状态。 当前只支持Bloom模型评估,ERNIE-Bot模型评估功能待开放

4.2模型压缩 当前主要支持INT8量化压缩,压缩以后生成新的模型版本。 可以对压缩以后的模型再次进行部署。 部署量化压缩以后的模型,算力单元从原来的4降低为2。 注意:以下截图有问题,展示的还是4算力单元,其实只需要2算力单元 4.3模型部署 点击模型部署 填写服务接口地址 选择算力单元时长 计费billing 注意:如果模型的一个版本已经部署,则不能再重复部署。会提示如下。但是1个模型的不同版本可以进行在线更新。在大模型服务章节,会介绍多版本服务切换。

【教程】百度智能云千帆大模型平台使用指南-V1.0版本(上)的评论 (共 条)

分享到微博请遵守国家法律