GPT-4学透了？精选42篇大模型技术原理与应用论文分享给你！
在今年各大顶会的获奖论文中，大模型方向屡战头筹，这不难预料，自OpenAI发布ChatGPT至今，全球大模型热潮尚未停息，国内外已有相当多的大模型陆续出现，有些大模型的功能甚至不输ChatGPT。
在大模型“封神”的这段时间，相关的论文数量也十分可观，今天就精选了部分论文来和大家分享！
目前整理了42篇大模型论文，论文原文以及开源代码也都一并打包了，需要的同学看这里👇👇👇
扫码添加小享，回复“LLM精选”
免费获取全部论文+代码合集
通用、垂直领域大模型论文+项目
1、Financial News Analytics Using Fine-Tuned Llama 2 GPT Model（金融）
标题：用精调的Llama 2 GPT模型进行金融新闻分析
内容：该文探讨了通过精调Llama 2大语言模型来进行金融新闻多任务分析的可能性，使用了基于PEFT/LoRA的精调方法，使模型能够从金融市场角度分析文本、突出文本要点、文本摘要和提取带有情感的命名实体，结果显示精调后的模型可以进行指定响应结构的金融新闻多任务分析，响应的一部分可以是结构化文本 another part can have JSON格式用于进一步处理，命名实体的提取情感可以作为带定量目标变量的监督学习模型的预测特征。
2、BloombergGPT: A Large Language Model for Finance（金融）
标题：BloombergGPT:面向金融领域的大规模语言模型
内容：该工作提出了BloombergGPT，这是一个在大规模金融数据上预训练的包含500亿参数的金融领域语言模型，构建了3630亿字的金融领域数据集进行预训练，在标准语言模型基准测试、公开的金融基准测试集以及内部基准测试集上进行评估，结果显示该模型在金融任务上的表现显著优于现有模型，而且在通用语言模型任务上的表现也没有下降，提供了模型训练和评估方面的细节。
3、FinBERT: A Large Language Model for Extracting Information from Financial Text*（金融）
标题：FinBERT: 用于从金融文本中提取信息的大规模语言模型*
内容：FinBERT是一个针对金融领域进行预训练的先进语言模型，能够更好地总结金融文本的上下文信息，在情感分类任务上明显优于现有方法，特别是在训练样本少和包含金融专业词汇的文本上，还在ESG相关性识别和盈利电话会议的文本信息量评估任务上也优于其他模型，对学术研究、投资专业人员和监管机构都具有启发意义。
4、PMC-LLaMA: Towards Building Open-source Language Models for Medicine（医疗）
标题：PMC-LLaMA:构建开源的医学语言模型
内容：该工作构建了面向医学应用的开源语言模型PMC-LLaMA，通过整合480万篇生物医学论文和3万本医学教科书进行知识注入，并在大规模医学问答、推理和对话数据集上进行全面调优，在多个公开医学问答基准测试上优于ChatGPT等模型，为医学领域带来了转换器和预训练语言模型的强大能力。
5、Ngambay-French Neural Machine Translation (sba-Fr)（翻译）
标题：Ngambay语-法语神经机器翻译(sba-Fr)
内容：该工作通过构建首个Ngambay语-法语平行语料库，并在该数据集上微调三种预训练模型，实现了中非共和国少数语言Ngambay语到法语的首个端到端神经网络机器翻译系统，为非洲低资源语言的机器翻译研究提供了参考。
6、LLaMA: Open and Efficient Foundation Language Models（Meta）
标题：LLaMA:开放高效的基础语言模型
内容：作者提出了LLaMA系列开源语言模型，模型规模从7B到65B参数不等，在公开可访问的数据集上进行训练，无需使用专有数据集，取得了超越GPT-3在多数基准测试上的结果，LLaMA-65B与当前最优秀的模型Chinchilla-70B和PaLM-540B具有竞争力。
7、Alpaca: A Strong, Replicable Instruction-Following Model（Stanford）
标题：Alpaca:一个强大的、可复制的遵循指示的模型
内容：作者基于LLaMA 7B模型在5.2万个遵循指示示例上微调得到Alpaca 7B模型，在单轮遵循指示任务上，Alpaca质量类似于OpenAI的text-davinci-003模型，但模型规模远小于后者，复现成本也低得多(小于600美元)。
8、GLM: General Language Model Pretraining with Autoregressive Blank Infilling（清华）
标题：利用自回归空白填充进行通用语言模型预训练
内容：本文提出了一种基于自回归空白填充的通用语言模型(GLM)，通过在空白填充预训练中添加2D位置编码和任意顺序预测文本片段，GLM在自然语言理解任务上优于BERT和T5。同时，通过改变空白的数量和长度，GLM可以针对不同任务进行预训练。在各类自然语言理解、有条件和无条件生成任务上，GLM优于BERT、T5和GPT，并在单一预训练模型中实现了BERT-Large模型参数量1.25倍情况下在不同下游任务上的最佳性能，展示了其对各类任务的适用性。
9、GPT-4 Technical Report（OpenAI）
标题：GPT-4 技术报告
内容：这篇也不需要额外介绍了吧（doge）
扫码添加小享，回复“LLM精选”
免费获取全部论文+代码合集
精选论文（模型应用/评估、预训练、多模态、结构改进等）
1、Giraffe: Adventures in Expanding Context Lengths in LLMs
2、AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors in Agents
3、SeamlessM4T-Massively Multilingual & Multimodal Machine Translation
4、Instruction Tuning for Large Language Models: A Survey
5、SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientific Research
6、Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models
7、Assessing Keyness using Permutation Tests
8、SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts
9、Multivariate Time Series Anomaly Detection: Fancy Algorithms and Flawed Evaluation Methodology
10、VEIL: Vetting Extracted Image Labels from In-the-Wild Captions for Weakly-Supervised Object Detection
11、Open Gaze: An Open-Source Implementation Replicating Google's Eye Tracking Paper
12、Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for Knowledge-intensive Question Answering
13、Causal Parrots: Large Language Models May Talk Causality But Are Not Causal
14、A Survey of Diffusion Based Image Generation Models: Issues and Their Solutions
15、Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models
16、LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models
17、ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection
18、COCO: Testing Code Generation Systems via Concretized Instructions
19、ViewRefer: Grasp the Multi-view Knowledge for 3D Visual Grounding with GPT and Prototype Guidance
20、ZeroLeak: Using LLMs for Scalable and Cost Effective Side-Channel Patching
21、Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs
22、The Poison of Alignment
23、Code Llama: Open Foundation Models for Code
24、Approximating Online Human Evaluation of Social Chatbots with Prompting
25、Integrating LLMs and Decision Transformers for Language Grounded Generative Quality-Diversity
26、A Control Flow based Static Analysis of GRAFCET using Abstract Interpretation
27、To Spike or Not To Spike: A Digital Hardware Perspective on Deep Learning Acceleration
28、Bayesian low-rank adaptation for large language models
29、Domain-specific ChatBots for Science using Embeddings
30、ChatHaruhi: Reviving Anime Character in Reality via Large Language Model
31、ProAgent: Building Proactive Cooperative AI with Large Language Models
32、A Survey on Large Language Model based Autonomous Agents
33、Graph of Thoughts: Solving Elaborate Problems with Large Language Models
扫码添加小享，回复“LLM精选”
免费获取全部论文+代码合集
