【hsxz】【水专栏】大语言模型日常胡思乱想

这周已经读了16篇论文了，在肝第17篇，突然有了一些想法，说一下：

1. 细看了Meta的LLaMA论文，可以说Meta这次的开源真的彻底，脸训练数据的组成、训练多少轮、网络细节等都讲的很明白了。什么时候RM的开源也像这样。当然，这很可能是在反讽OpenAI是CloseAI

2. 我最近想到了一个问题，即很多外行人把AI看做是“一个东西”，甚至把AI看成了一种线性发展的东西（且不谈我非常讨厌的把人类认为的AI会有的危险想法当成AI会有的危险想法），然而AI内部是有很多分支的，有非常复杂的组成的。就像这次的ChatGPT，有很多人说这东西不就是小冰plus、ChatGPT在某某方面还比不过某某模型。

   但是，ChatGPT之所以惊艳，是因为它的底层架构和之前的对话系统是有根本的不同的，用雕刻刀做雕刻和用橡皮泥做雕刻是不一样的，用雕刻刀做雕刻看上去是很平常的行为而用橡皮泥做雕刻当然会让人感到惊艳。只是看到“做雕刻”的结果没看到做雕刻的工具是不对的。更关键的是，这个橡皮泥还不只能做雕刻，烧饭打猎样样能干。