实时追踪科研动态丨7.17精选新论文，附ChatPaper综述

2023-07-18 11:00 作者:AMiner科技 0人读过 | 我要投稿

作为科研人员，每天需要检索和浏览大量的学术文献，以获取最新的科技进展和研究成果。然而，传统的检索和阅读方式已经无法满足科研人的需求。

ChatPaper，一款集检索、阅读、知识问答于一体的文献知识工具。帮助你快提高检索、阅读论文效率，获取最新领域研究动态，让科研工作更加游刃有余。

结合前沿动态订阅功能，精选arXiv当日热门新论文，形成论文综述，让大家更加快速了解前沿动态。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达ChatPaper页面：https://www.aminer.cn/chat/g/

2023年7月17日精选新论文列表：

1.NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

链接：https://www.aminer.cn/pub/64b4bd0d3fda6d7f0654fbb3/

ChatPaper综述：论文解决了在场景中生成与对象进行交互的真实3D人体动作的问题。作者提出的关键思想是在特定对象上创建一个神经交互场，该场根据输入的人体姿势输出到有效交互流形的距离。这个交互场引导了一个以对象为条件的人体动作扩散模型的采样，以鼓励合理的接触和能力语义。为了支持与稀少数据的交互，作者提出了一个自动化的合成数据流水线。为此，他们在具有人体基本动作先验的预训练动作模型中，加入从有限动作捕捉数据中提取的特定交互锚定姿势。使用在生成的合成数据上训练的指导扩散模型，他们综合了几种对象的坐下和举起动作，其动作质量和成功完成的动作方面优于其他方法。作者将他们的框架称为NIFTY：神经交互场的轨迹合成。

2.DreamTeacher: Pretraining Image Backbones with Deep Generative Models

链接：https://www.aminer.cn/pub/64b4bd0d3fda6d7f0654fb9a/

ChatPaper综述：这项工作介绍了一个自我监督的特征表示学习框架DreamTeacher，利用生成网络对下游图像骨干进行预训练。研究人员提出从训练好的生成模型中提取知识，融入特定感知任务的标准图像骨干中。他们研究了两种知识蒸馏方法：1)将生成模型学到的特征融入目标图像骨干，作为大型标记数据集（如ImageNet）预训练的替代方法；2)将生成网络的标签通过任务头蒸馏到目标骨干的逻辑层。研究人员对多个生成模型、密集预测基准和多种预训练方案进行了详细分析。实验证明，DreamTeacher在各方面都显著优于现有的自我监督表示学习方法。使用DreamTeacher进行无监督的ImageNet预训练，在下游数据集上相比于ImageNet分类预训练有显著改进，展示了生成模型特别是扩散生成模型作为在大规模多样数据集上进行表示学习的有前景的方法，而不需要手动注释。

3.Mega-TTS 2: Zero-Shot Text-to-Speech with Arbitrary Length Speech Prompts

链接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f518/

ChatPaper综述：先前的大规模多说话人TTS模型已成功实现了这一目标，但只在10秒内进行了录制。然而，大多数模型只能利用短语音提示中的有限信息，这在进行精细的身份模仿时严重影响了性能。本文介绍了Mega-TTS 2，一种通用的零-shot多说话人TTS模型，能够使用任意长度的提示合成未见过说话人的语音。具体而言，作者设计了一个多参考音色编码器来从多个参考演讲中提取音色信息；并训练了一个可以处理任意长度语音提示的韵律语言模型。通过这些设计，作者的模型适用于不同长度的提示，扩展了零-shot文本到语音的语音质量上限。此外，作者还引入了任意来源提示，在生成过程中利用从多个P-LLM输出中得出的概率来产生富有表现力和可控的韵律。此外，作者还提出了一个音素级自回归时长模型，以引入上下文学习能力到时长建模中。实验结果表明，这种方法不仅能够合成短提示的未见过说话人的保留身份的语音，还能够在使用更长的语音提示时获得改进的性能。

4.Learning to Retrieve In-Context Examples for Large Language Models

链接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f4de/

ChatPaper综述：论文说明了在大型语言模型中进行上下文学习的有效性依赖于所选示例的质量。然而，如何选择高质量的上下文示例是一个挑战。该论文提出了一种新的框架，通过迭代训练密集的检索器来解决这个问题。该框架首先基于语言模型的反馈训练一个奖励模型，以评估候选示例的质量，然后使用知识蒸馏训练一个基于双编码器的密集检索器。实验证明，该框架显著提高了上下文学习的性能，并且在训练过程中展示了对未见任务的泛化能力。深入分析表明，该模型通过检索具有相似模式的示例来提高性能，并且这种改进在不同规模的语言模型中都是一致的。

5.Copy Is All You Need

链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b6339/

ChatPaper综述：论文指出传统的文本生成模型通过从固定的词汇表中选择单词来生成输出，而它提出了一种新的方法，将文本生成视为逐步从现有文本集合中复制文本片段（例如单词或短语）。该方法通过计算有意义的文本片段的上下文化表示并使用高效的向量搜索工具进行索引，将文本生成的任务分解为一系列的复制和粘贴操作：在每个时间步骤中，我们从文本集合中寻找适当的文本片段，而不是从独立的词汇表中选择。实验结果表明，该方法通过从原始训练数据中复制获得更好的生成质量，并在标准的语言建模基准（WikiText-103）上得到了验证（0.758 vs. 0.691 MAUVE）。此外，该方法还显示通过扩大文本集合规模而无需额外训练可以获得额外的性能提升。此外，该方法还可以通过简单地切换到任何特定领域的文本集合实现有效的领域自适应，也无需进一步的训练。最后，该方法通过减少解码步骤提高了推理效率，相比传统的基于标记级别的自回归模型获得了更好的推理效率。

6.DIALGEN: Collaborative Human-LM Generated Dialogues for Improved Understanding of Human-Human Conversations

链接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f463/

ChatPaper综述：论文提出了一个名为DIALGEN的方法来解决自动理解人与人对话的挑战。这些挑战涉及到真实世界数据中的隐私信息，例如呼叫中心或临床对话中的数据。使用受保护的数据还会增加注释的成本，从而限制技术的发展。为了解决这些挑战，作者提出了DIALGEN，这是一个人在循环中半自动对话生成框架。DIALGEN使用一种语言模型（ChatGPT）来生成流畅的对话文本，通过迭代生成子对话并使用人类反馈来纠正不一致或重定向对话的流程。通过在对话状态跟踪的结构化总结代理人-客户信息收集呼叫的实验中，我们显示DIALGEN数据能够显著提高模型性能。

7.Exploiting Counter-Examples for Active Learning with Partial labels

链接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f5e7/

ChatPaper综述：论文研究了一种新的问题，即具有部分标签的主动学习（ALPL）。在这种设置中，一个Oracle用部分标签对查询样本进行注释，放宽了Oracle对准确标注过程的要求。为了解决ALPL问题，我们首先建立了一个直观的基准线，可以无缝地融入现有的AL框架中。尽管有效，但这个基准线仍然容易过拟合，并且在查询过程中缺乏代表性的基于部分标签的样本。受认知科学中人类推理的启发，其中可以明确从反例（CEs）中推导出准确的推理，我们的目标是利用这种类似人类的学习模式来解决过拟合问题，同时增强在ALPL中选择代表性样本的过程。具体而言，我们通过颠倒每个实例的部分标签来构建CEs，然后我们提出了一个简单但有效的WorseNet来直接从这种互补模式中学习。通过利用WorseNet和预测器之间的分布差异，这种对抗性评估方式可以增强预测器本身的性能和样本选择过程，使预测器能够捕捉到数据中更准确的模式。在五个真实数据集和四个基准数据集上的实验证明了我们提出的方法相对于十个代表性的AL框架的全面改进，凸显了WorseNet的优越性。

8.Generating Efficient Training Data via LLM-based Attribute Manipulation

链接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f49a/

ChatPaper综述：论文提出了一种新颖的方法——Chain-of-Thoughts Attribute Manipulation (CoTAM)，通过从大型语言模型 (LLMs) 中精心设计的数据来引导少样本学习。其主要思想是创建仅在任务目标属性中发生变化的数据。受到面部属性操作的启发，我们的方法利用LLMs来操作任务特定属性并以可控的方式重构新的句子，从而生成标签切换数据。与传统的潜在表示控制不同，我们采用了思维链条的分解和重构方法来适应LLMs的过程。对文本分类和其他任务进行了广泛的实验，验证了CoTAM相对于同样数量训练样本的其他基于LLMs的文本生成方法的优势。分析可视化了CoTAM的属性操作效果，并展示了LLM引导学习即使在更少的监督下也具有潜力。