实时追踪科研动态丨7.10精选新论文，附ChatPaper综述

2023-07-11 11:26 作者:AMiner科技 0人读过 | 我要投稿

作为科研人员，每天需要检索和浏览大量的学术文献，以获取最新的科技进展和研究成果。

然而，传统的检索和阅读方式已经无法满足科研人的需求。

ChatPaper，一款集检索、阅读、知识问答于一体的文献知识工具。帮助你快提高检索、阅读论文效率，获取最新领域研究动态，让科研工作更加游刃有余。

结合前沿动态订阅功能，精选arXiv当日热门新论文，形成论文综述，让大家更加快速了解前沿动态。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达ChatPaper页面：https://www.aminer.cn/chat/g/

2023年7月10日精选新论文列表：

1.Frontier AI Regulation: Managing Emerging Risks to Public Safety

链接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f788b6/

ChatPaper综述：文章说明了前沿人工智能（Frontier AI）模型所带来的潜在风险对公共安全的影响，并提出了需要采取的一些措施来管理这些风险。前沿AI模型具有高度智能的基本模型，可能具备足以对公共安全构成严重威胁的危险能力。这些模型带来了独特的监管挑战，包括危险能力的不可预知性、难以防止部署模型被误用以及难以控制模型能力的广泛传播。为了应对这些挑战，需要至少三个构建模块来规范前沿AI模型的开发和部署：（1）建立标准制定流程，以确定对前沿AI开发者的适当要求；（2）注册和报告要求，提供给监管机构前沿AI开发过程的可见性；（3）确保遵守前沿AI模型的安全标准的机制。行业自律是重要的第一步，但需要更广泛的社会讨论和政府干预来制定标准并确保其合规性。作者提出了一些选择，包括赋予监管机构执法权力和前沿AI模型的许可制度。最后，作者提出了一系列初步的安全标准，包括进行部署前的风险评估、对模型行为进行外部审查、使用风险评估来指导部署决策以及监测和回应模型能力和用途的新信息。作者希望这些讨论能够为如何平衡前沿AI发展的创新利益和公共安全风险的广泛讨论做出贡献。

2.Decomposing the Generalization Gap in Imitation Learning for Visual Robotic Manipulation

链接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f7887b/

ChatPaper综述：论文旨在解决在视觉机器人操纵中模仿学习的泛化问题。作者认为，泛化困难的原因在于机器人从环境的角度看，可以分解为多个可枚举的变化因素，例如光照条件或相机的位置。已有的研究工作对每个因素对泛化差距的贡献了解甚少。为了解答这个问题，作者在仿真环境和真实机器人任务上研究了模仿学习策略，并量化了对不同因素（组合）的泛化困难程度。他们还设计了一个包含了11个变化因素的19个任务的仿真基准，以便更加精确地评估泛化性能。从研究结果中，作者确定了基于泛化困难程度的因素排序，这个排序在仿真和真实机器人环境中是一致的。

3.One Step of Gradient Descent is Provably the Optimal In-Context Learner with One Layer of Linear Self-Attention

链接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f78824/

ChatPaper综述：在转换器中使用一层线性自注意力和无MLP层时，训练到的最小化预训练损失的模型会实现最小二乘线性回归目标上的一步梯度下降（GD）。该研究探究了不同条件下的学习算法，并发现当输入变量和权重向量的分布改变时，模型学习到的算法也会相应变化。然而，如果只改变响应的分布，则对于最小化预训练损失的全局最小化器仍然实现最小二乘线性回归目标上的一步梯度下降。

4.Becoming self-instruct: introducing early stopping criteria for minimal instruct tuning

链接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f7889c/

ChatPaper综述：论文介绍了一种衡量语言模型遵循指令能力的度量标准，即Instruction Following Score (IFS)。该度量标准具有双重目的：一方面，可以区分基础模型和指令模型；另一方面，可以作为指令调优的早停准则。通过对7B和13B LLaMA模型的监督微调，计算IFS，并展示了模型在训练过程中相对早期就学会了遵循指令，并且进一步微调可能会导致基础模型语义的变化。作者还通过辅助度量标准ObjecQA来展示语义变化的客观性。作者希望通过将指令调优分解为IFS和语义因素，开启更好的可控指令调优趋势，并为设计查询基础模型的最小指令接口提供可能性。

5.GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest

链接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f78840/

ChatPaper综述：论文指出了在图像-文本对上调节大型语言模型（LLM）的指令调整方法取得了前所未有的视觉-语言多模态能力。然而，它们的视觉-语言对齐仅建立在图像层面上，缺乏区域层面的对齐限制了它们在细粒度的多模态理解方面的进展。因此，论文提出了在感兴趣区域上进行指令调整的方法。关键设计是将边界框重新定义为空间指令的格式。由空间指令和语言嵌入提取的交织序列的视觉特征输入到LLM中，并在转换后的区域-文本数据上进行指令调整格式的训练。该论文提出的基于区域级的视觉-语言模型GPT4RoI实现了超越图像级理解的全新的对话和交互体验。具体来说，该模型具有以下特点：（1）可控性：用户可以通过语言和空间指令与模型进行交互，灵活调整问题的细节级别。（2）能力：该模型不仅支持单区域空间指令，还支持多区域指令。这解锁了更多的区域级多模态能力，如详细的区域标题和复杂的区域推理。（3）组合性：任何现成的物体检测器都可以成为空间指令提供者，从而从我们的模型中挖掘有关物体的信息属性，如颜色、形状、材质、动作、与其他物体的关系等。

6.BiPhone: Modeling Inter Language Phonetic Influences in Text

链接：https://www.aminer.cn/pub/64ab82833fda6d7f06f77db1/

ChatPaper综述：论文说明了在技术不对称的情况下，许多人被迫使用自己识字水平较低的语言浏览网络。这些人以第二语言（L2）书写的文本通常包含许多受到其母语（L1）影响的错误。为了解决这个问题，作者提出了一种方法来挖掘L1和L2语言对中的音素混淆（L1说话者可能混淆的L2的音素）。然后，将这些混淆插入一个生成模型（Bi-Phone）中，以合成带有错误的L2文本。通过人类评估，作者表明Bi-Phone生成了合理的错误，这些错误在各种L1语言之间存在差异，并且在网络上被广泛覆盖。作者还利用这种技术在流行的语言理解基准SuperGLUE上引入了错误（称为FunGLUE for Phonetically Noised GLUE），并显示了目前最先进的语言理解模型在此基准上表现较差。此外，作者还引入了一项新的音素预测预训练任务，帮助字节模型恢复接近SuperGLUE的性能。最后，作者还发布了FunGLUE基准，以促进在音素完整的语言模型中进行进一步的研究。据我们所知，FunGLUE是首个引入文本中L1-L2交互的基准。

7.Teaching Arithmetic to Small Transformers

链接：https://www.aminer.cn/pub/64ab82833fda6d7f06f77dee/

ChatPaper综述：研究探讨了如何将小型变压器训练成能够有效学习基本算术、乘法和平方根等元素函数的能力。研究发现，传统的训练数据对于算术学习并不是最有效的，通过对训练数据进行简单的格式更改可以显著提高准确性。此外，研究还发现，在没有预训练的情况下，通过在训练数据中包含中间步骤的结果进行训练，可以显著提高算术学习的准确性、样本复杂度和收敛速度。研究还探讨了训练过程中算术和文本数据之间的相互作用，以及少量示例提示、预训练和模型规模对结果的影响。该研究强调了高质量、具有指导性的数据对于快速激发算术能力的重要性，并且需要考虑下一个单词预测目标的特定特征。