katago的60blocks发展方向也许是错误的
正如katago推出的TRT引擎一样,成为了一个鸡肋产物。虽然可以使用更高的线程来实现更快的访问速度,其强度在同等线程同样访问量却更弱。其所占用内存却更高。启动虽然有多次优化,但还是迟缓。
60blocks模型比40blocks大许多,而强度并没有,如同体积一样成倍增长甚至更弱。同一引擎同一计算量强度就输给了40blocks。按理说60blocks的一次访问量所吞吐的数据应该是40blocks的数倍。而产生的结果却不尽人意。目前分布训练在消耗大量资源训练60blocks是我不感兴趣的,也就不参与分布训练了。
而目前的模型所产生的强度已经远超人类,再高的强度也意义不大了。
最新推出的18blocks也是考虑新的发展方向。更小的模型,更少的资源占有。我认为才是正确的发展方向。18blocks的强度略弱于60blocks,而模型大小却只有三分之一。访问速度接近40blocks。
我认为深度计算或者超高数值的访问量不是发展的方向。第一选的最强才是发展方向。更小的模型,更小的计算量,更高的强度才是好方向。