可在线运行的notebook示例:在kaggle网站搜索 XVERSE-13B
首先需要安装模型量化的工具包:(模型量化主要是用于性能较低的电脑)
接着使用4比特量化加载模型:
然后这里使用one-shot方式提问深圳的景区有哪些。使用这种方式提问是因为该模型是一个预训练模型,而非对话模型。官方只发布了预训练模型,后续可能会发布对话模型,大家可以期待一下。