作为科研人员，每天需要检索和浏览大量的学术文献，以获取最新的科技进展和研究成果。

然而，传统的检索和阅读方式已经无法满足科研人的需求。

ChatPaper，一款集检索、阅读、知识问答于一体的文献知识工具。帮助你快提高检索、阅读论文效率，获取最新领域研究动态，让科研工作更加游刃有余。

结合前沿动态订阅功能，精选arXiv当日热门新论文，形成论文综述，让大家更加快速了解前沿动态。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达ChatPaper页面：https://www.aminer.cn/chat/g/

2023年7月13日精选新论文列表：

1.Objaverse-XL: A Universe of 10M+ 3D Objects

链接：https://www.aminer.cn/pub/64ae8ecebb296d05669f83c9/

ChatPaper综述：说明了3D视觉任务在获取高质量3D数据方面面临的挑战，并指出现有的自然语言处理和2D视觉模型在许多任务上取得了显著的进展，主要是通过扩大训练数据的规模。然而，3D视觉任务没有同样的进展。为解决这个问题，研究人员提出了Objaverse-XL数据集，该数据集包含1000万多个3D对象，来自多种不同的来源，包括手动设计的对象、地标和日常物品的摄影测量扫描以及历史和古董工艺品的专业扫描。Objaverse-XL代表了3D数据集领域中最大规模和最多样化，为3D视觉提供了重大的新可能性。实验证明了Objaverse-XL所提供的规模带来的改进。通过利用超过1亿个多视图渲染图像对Zero123进行新视图合成训练，我们实现了强大的零样本泛化能力。希望发布Objaverse-XL能够在大规模的3D视觉领域促进进一步的创新。

2.DNAGPT: A Generalized Pretrained Tool for Multiple DNA Sequence Analysis Tasks

链接：https://www.aminer.cn/pub/64af76ed3fda6d7f064711a6/

ChatPaper综述：指出了DNA序列分析中存在的问题：DNA相关数据的要求复杂多样，包括序列和表达水平等不同类型的信息。然而，目前还没有针对这些特点专门设计的模型。因此，摘要提出了DNAGPT，一个经过预训练的通用基础模型，可以应用于任何DNA序列分析任务。该模型能够同时处理和输出DNA序列和数字。此外，独特的令牌设计使用户可以根据自己的任务需求设计提示，使其适用于任何类型的任务。研究者评估了该模型在分类、回归和生成任务上的性能，证明了DNAGPT可以从预训练中获益，并且可以为任何下游任务带来性能提升。该模型不仅是基因组分析领域的一次新尝试，也为生物学中基础模型的应用提供了新的方向。

3.Instruction Mining: High-Quality Instruction Data Selection for Large Language Models

链接：https://www.aminer.cn/pub/64af76f13fda6d7f06471852/

ChatPaper综述：论文讨论了大型语言模型在理解和回应人类指令时可能存在的问题。尽管大规模预训练赋予了模型生成自然语言响应的强大能力，但这些预训练模型仍有可能在理解人类指令方面失败。为了增强语言模型解释和回应指令的能力，指令微调成为该领域的一个关键方法。最近的研究发现，即使只有少量高质量的指令遵循数据，大型语言模型也可以经过微调而表现出色。然而，对于选择微调语言模型的高质量数据集，尚缺乏明确的指导原则。在本文中，我们提出了InstructMining，一种评估指令遵循数据质量的线性规则。我们使用具体的自然语言指标来构建InstructMining。为了研究数据质量与这些指标之间的关系，我们还进行了大量的微调实验。实验结果用于估计InstructMining中的参数。为了进一步研究其性能，我们使用InstructMining从未见过的数据集中选择高质量数据。结果表明，InstructMining可以帮助从各种指令遵循数据集中选择相对高质量的样本。与在未过滤数据集上进行微调的模型相比，在InstructMining选择的数据集上进行微调的模型在42.5%的案例中表现更好。

4.PolyLM: An Open Source Polyglot Large Language Model

链接：https://www.aminer.cn/pub/64af76ed3fda6d7f0647132f/

ChatPaper综述：文章介绍了一个开源的多语言大语言模型(PolyLM)，该模型能够在理解、推理和生成自然语言指令方面表现出显著的能力。然而，目前大语言模型的发展主要集中在英语等高资源语言上，因此限制了它们在其他语言上的适用性和研究。因此，研究人员提出了PolyLM，这是一个在6400亿(B)个标记上进行训练的多语言大语言模型，提供了两种模型大小可选：1.7B和13B。为了增强它的多语言能力，研究人员采用了以下方法：1)将双语数据集合并到训练数据中；2)采用课程学习策略，在预训练的第一阶段将非英语数据的比例从30%增加到最后阶段的60%。此外，研究人员还提出了一种多语言自我指导方法，可以自动生成132.7K个多样化的多语言指令用于模型的微调。通过收集多个现有的多语言任务，包括多语言理解、问题回答、生成和翻译，评估了模型的性能。广泛的实验证实，PolyLM在多语言任务上超过了其他开源模型（如LLaMA和BLOOM），同时在英语上保持可比较的性能。文章提供了该模型、指令数据和多语言基准测试的访问链接。

5.Towards Robust and Efficient Continual Language Learning

链接：https://www.aminer.cn/pub/64af76ed3fda6d7f06471218/

ChatPaper综述：说明了一个问题：如何在新任务中快速适应模型，以便能够从过去的任务中“转移”相关知识。同时，也指出这种策略存在负面迁移的风险，可能会对新任务的准确性产生不良影响。为了解决这个问题，作者提出了一个评估基准，其中包含了不同可能的迁移情景，包括高潜力的正向迁移、高潜力的负向迁移、没有预期效果以及混合迁移效果等。作者还提出了一个简单但有效的学习方法，通过选择性策略从过去任务的检查点初始化新模型，以最大程度地利用具有正向迁移潜力的任务信息，并避免可能对模型造成困惑的干扰任务的负面影响。然而，仍然存在一定的局限性，作者希望通过这个评估基准能够帮助学术界进一步构建和分析这样的学习方法。

6.Stack More Layers Differently: High-Rank Training Through Low-Rank Updates

链接：https://www.aminer.cn/pub/64af76ed3fda6d7f064711ea/

ChatPaper综述：论文主要研究了训练大型神经网络的替代方法。尽管通过扩展参数规模来提高网络性能的方法（scaling）非常占主导地位且有效，但训练过参数化模型的必要性仍然不太清楚，而替代方法并不一定能够降低训练高性能模型的成本。为了解决这个问题，论文作者探索了一种名为ReLoRA的新方法，该方法利用低秩更新（low-rank updates）来训练高秩网络。他们将ReLoRA应用于带有多达350M参数的Transformer语言模型的预训练，并证明其性能与常规神经网络训练相当。此外，他们观察到ReLoRA的效率随着模型规模的增加而增加，这使其成为高效训练数十亿参数网络的有希望的方法。这些研究结果揭示了低秩训练技术的潜力及其对扩展定律的影响。

7.Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations

链接：https://www.aminer.cn/pub/64af76ed3fda6d7f064712f4/

ChatPaper综述：研究解决了在机器人模仿中的一个问题，即在现实世界中，通过真实机器人进行专家演示的成本昂贵。相比之下，通过采集人类执行任务的视频可以更便宜地收集大量数据。因此，人类视频演示是学习可扩展机器人操作策略的有希望的数据来源。作者利用眼部-手部摄像机的局部可观测性和简单的固定图像屏蔽方案，无需使用任何显式的域适应方法来弥合人类和机器人数据之间的视觉差异。在8个涉及3自由度和6自由度机械臂控制的现实任务中，该方法平均提高了眼部-手部操作策略的成功率58％（绝对值），使机器人能够泛化到在机器人演示数据中未见过的新环境配置和新任务。

8.Transformers in Reinforcement Learning: A Survey

链接：https://www.aminer.cn/pub/64af76ed3fda6d7f06471308/

ChatPaper综述：文章主要探讨了在强化学习中使用transformer所面临的问题和挑战，以及它们如何被应用来解决这些问题。经典强化学习算法存在着不稳定的训练、信用分配、缺乏可解释性和局部不可观测性等挑战，而transformer及其变体具有一些特性使其适合应对这些挑战。该文章还讨论了transformer在强化学习各个方面的应用，包括表示学习、转换和奖励函数建模以及策略优化。文章还提到了最近的研究，旨在通过可视化技术和高效的训练策略来提高transformer在强化学习中的解释性和效率。此外，根据具体应用的需求，transformer架构通常需要进行相应的调整。文章还概述了transformer在机器人学、医学、语言建模、云计算和组合优化等领域的应用情况。最后，文章讨论了在强化学习中使用transformer的局限性，并评估了它们在推动该领域未来突破的潜力。

9.A Comprehensive Survey of Deep Transfer Learning for Anomaly Detection in Industrial Time Series: Methods, Applications, and Directions

链接：https://www.aminer.cn/pub/64af76ed3fda6d7f064711b0/

ChatPaper综述：说明了工业时间序列异常检测中存在的一个问题，即标准深度学习方法在每个轻微不同的情况下都需要大量的标记数据来进行训练，这在工业过程和环境的动态性下是不切实际的。为了解决这个问题，深度迁移学习提供了一种解决方案，它通过利用相关任务的知识并考虑数据分布的变化，在几乎没有额外标记数据的情况下解决新任务。这种方法不需要为每个新设置重新训练模型，并且大大减少了标记数据的需求量。该调查对深度迁移学习进行了深入的评估，研究了迁移学习的问题设置，并对当前主流的深度迁移学习方法进行了分类。此外，我们还深入探讨了在制造过程监控、预防性维护、能源管理和基础设施设施监测等主要工业领域中应用深度迁移学习的时间序列异常检测任务。最后，我们强调了工业环境下深度迁移学习的挑战和局限性，并提供了针对这些任务的解决方案设计和实施的实际指导，提供了具体的可操作建议。

10.Fairness and Diversity in Recommender Systems: A Survey

链接：https://www.aminer.cn/pub/64acd41c3fda6d7f06b3668a/

ChatPaper综述：主要说明了在推荐系统中，单一关注效用目标是不足以解决现实世界问题的，因此出现了越来越多关注公平性和多样性的推荐系统研究。虽然大多数现有研究独立地探讨了公平性和多样性，但我们发现这两个领域之间存在着强烈的联系。在这份调查中，我们首先分别讨论了公平性和多样性，然后深入探讨了它们之间的联系。此外，受用户级公平性和项目级公平性的概念启发，我们扩大了对多样性的理解，不仅包括项目级别，还包括用户级别。通过对用户和项目级别多样性的扩展视角，我们重新解释了公平性研究的观点。这种新颖的视角增强了我们对与公平相关的工作的理解，并为未来的研究方向铺平了道路。

如何使用ChatPaper？

使用ChatPaper的方法很简单，打开AMiner首页，从页面顶部导航栏或者右下角便可进入ChatPaper页面。

在ChatPaper页面中，可以选择基于单篇文献进行对话和基于全库（个人文献库）对话，可选择上传本地PDF或者直接在AMiner上检索文献。