GPT-4论文精读【论文精读·53】

开头大事件3月梳理

pytorch lining 创始人

instragram 律师考试视频

如果是在大模型大数据集上才能看出结果，那个开销太大了，一般我们还是在小模型，小数据集上看work不work。

大模型上涌现导致这个是困难的。

只是为了align，甚至还会降低准确率

预测scaling

在gpt-4刚开始的时候就能预测最后的loss，

多几多卡会断很多次，训练大模型很不容易。scaling也是noverty一个方面。

这里台大的李宏毅也讲过这个例子，好巧还是老师也看过那个课呢，原来是twwiter上很火的例子

对于编程题的争议

NLP一些任务测试都是超过之前的，只是对于时间和数学理解不好

多语言能处理；

李永乐测试chatgpt；对于文本还是需要人来校验，对于纯语言还是不行。

视觉输入

跑分：NLP是大比分领先，多模态还没有超过sota

这里李宏毅也是讲过的，但是还没抬理解还是比较新的。校准性，要不要做post-tring？新的研究题目

risk做产品甚至比模型还重要。

不能避免生成，但是可以生成之后做判别。

AGI元年

更多的例子，又放出了一个论文spark。。。

视觉图像生成，生成代码，gpt4自己能不断refine。

对劳动力市场的影响：

science 和critical thinking的能力不会替代，但是programming和writing的能力会极大受到影响--哪些会受到影响，部分工作会被替代--陶哲轩数学家

paradig shif

推荐twitter：关于最近的焦虑解答 在如此魔幻的2023年的真情流露，科学家视角