贪心CV Transformer研修方向
2023-03-03 22:43 作者:elyseedome | 我要投稿
这里的数据计算由worker node来进行。服务器会下发parameters来使worker node有一个初始参数。worker node将自己的数据计算后将梯度发送给服务器。由服务器来进行梯度下降。在数据的传输过程中，空间复杂度为：参数的数量。
worker node的工作内容：
receive parameters from sever；
using paramters and local data to compute gradients
send gradients to server
