【花师小哲】当代炼金术（神经网络）前沿（43）——去中心化大模型已经在画饼了？

今天找论文的时候发现了这么一篇论文：

什么？去中心化大模型已经在画饼了吗？

1.去中心化、区块链与比特币

有经验的人看到标题应该就知道这篇文章构建的系统主要是参考区块链技术，具体来说就是比特币

当然，虽然我是上过区块链专业课的，但实际上并不是很懂比特币这个东西，所以就挑一些有用的知识说一下

我们知道，区块链要做的是一个去中心化的系统，也就是说，没有一个强大的第三方机构把持和维护某个系统，而是大家共同在维护一个系统

在大模型这里就很清楚了，OpenAI只是让你使用ChatGPT，而没有把模型参数、甚至是数据给你，或者说，ChatGPT是掌握在OpenAI手上的，OpenAI出故障那ChatGPT就要封闭维护。而去中心化实际上就是一种分布式技术，是由参与者共同维护的，某个节点的暂时故障不会影响到整个系统。当然，去中心化还有其他优缺点，这里不一一说明了

2.去中心化大模型

本文的思想也是这样，我们也许可以去中心化地训练大模型，这样参与者都可以上传自己的数据（准确来说是梯度信息）。由于上传信息是需要梯度币的，相对来说上传质量会更高一些（物以稀为贵），这样就可以训练出一个“可能”更好的大模型

想法效仿比特币，每个用户要使用梯度币才可以提交自己的梯度信息。对于一般“比特币矿工”来说，最早挖出节点会得到比特币作为激励，梯度币矿工也需要最早完成一次模型训练以获得梯度币激励，或者说上传自己数据的机会。

其他很多东西也都和比特币那套系统大差不差，简单来说，就是每个人都要工作才能获得好处。

3.问题

好处直接不谈了，我个人直接来谈谈这种做法存在的很严重的问题吧：

（1）依然是算力游戏。训练大模型这种事可不是能随便说说的，现在之所以很多基座大模型都是大公司的，还不是因为只有它们才有足够的算力资源，让一般用户参与训练大模型本身就很困难了。

（2）训练将会及其缓慢。毕竟梯度币这个系统是不和真正的金钱挂钩的，用户所能获得的全部好处也不过是让自己的训练数据占比更大一些，让模型“稍稍”更适合自己而已，缺少足够的激励，最终用户估计只有一个小圈子。而且这套系统在有用户完成模型训练后同步全部人的“本地模型”，通讯本身就是一大问题

（3）如何使用。训练好这个大模型后该怎么办呢？估计仍然是小圈子内使用，开源可能面临一连串问题

论文中作者也提到这只是一个设想罢了，目前来看仍然是一个大饼