链接：pan.baidu.com/s/1GjvWKrH5VrgYN8OkOuM3Hw?pwd=osfx 

提取码：osfx

√ 揭秘ChatGPT背后的核心技术：大规模预训练语言模型、GPT，详解预训练语言模型的基础知识、模型设计、代码实现和前沿进展

√ 涵盖常见预训练模型的详细分析包括：XLNet、RoBERTa、ALBERT、ELECTRA、MacBERT、Transformer-XL、Reformer、Longforme、BigBird、DistilBERT、TinyBERT、MobileBERT、TextBrewer、BART、UniLM、T5、GPT-3、VideoBERT、VL-BERT、DALL·E、ALIGN……

√ 本书得到欧洲科学院外籍院士、清华大学人工智能研究院常务副院长孙茂松教授作序。

√ 创新工场首席科学家、微软亚洲研究院原副院长、中国计算机学会副理事长、国际计算语言学会（ACL）（2019年）主席周明老师，字节跳动人工智能实验室总监李航教授，科大讯飞执行总裁胡郁老师倾力推荐。

√ 本书从基础知识、预训练词向量、预训练模型等几大方面全面系统地介绍了预训练语言模型技术。

√ 书中为代表性的模型提供了规范的示例代码及实践案例。

√ 本书采用全彩印刷，提供良好的阅读体验。

内容简介

自然语言处理被誉为“人工智能皇冠上的明珠”。深度学习等技术的引入为自然语言处理技术带来了一场革命，尤其是近年来出现的基于预训练模型的方法，已成为研究自然语言处理的新范式。本书在介绍自然语言处理、深度学习等基本概念的基础上，重点介绍新的基于预训练模型的自然语言处理技术。本书包括基础知识、预训练词向量和预训练模型三大部分：基础知识部分介绍自然语言处理和深度学习的基础知识和基本工具；预训练词向量部分介绍静态词向量和动态词向量的预训练方法及应用；预训练模型部分介绍几种典型的预训练语言模型及应用，包括BERT、GPT等，特别是近年来发展迅速的生成模型，包括BART、UniLM、T5、GPT-3等，以及预训练模型的新进展，包括多模态融合的预训练模型。除了理论知识，本书还有针对性地结合具体案例提供相应的PyTorch 代码实现，不仅能让读者对理论有更深刻的理解，还能快速地实现自然语言处理模型，达到理论和实践的统一。

本书既适合具有一定机器学习基础的高等院校学生、研究机构的研究者，以及希望深入研究自然语言处理算法的计算机工程师阅读，也适合对人工智能、深度学习和自然语言处理感兴趣的学生和希望进入人工智能应用领域的研究者参考。

作者简介

车万翔

博士，哈尔滨工业大学计算学部长聘教授、博士生导师，社会计算与信息检索研究中心副主任。教育部青年长江学者，黑龙江省“龙江学者”青年学者，斯坦福大学访问学者。现任中国中文信息学会计算语言学专业委员会副主任兼秘书长；国际计算语言学学会亚太分会（AACL）执委兼秘书长；中国计算机学会高级会员。在ACL、EMNLP、AAAI、IJCAI等国内外高水平期刊和会议上发表学术论文50余篇，其中AAAI 2013年的文章获得了最佳论文提名奖，论文累计被引用4,600余次（Google Scholar数据），H-index值为37。出版教材 2 部，译著 2 部。目前承担2030“新一代人工智能”重大项目课题、国家自然科学基金等多项科研项目。负责研发的语言技术平台（LTP）已被600余家单位共享，提供的在线“语言云”服务已有用户1万余人，并授权给百度、腾讯、华为等公司使用。2018、2019连续两年获CoNLL国际评测No.1。2020年获黑龙江省青年科技奖；2015、2016连续两年获Google Focused Research Award（谷歌专注研究奖）；2016年获黑龙江省科技进步一等奖（排名第2）；2012年获黑龙江省技术发明奖二等奖（排名第2）；2010年获中国中文信息学会“钱伟长”中文信息处理科学技术奖一等奖（排名第2）、首届汉王青年创新奖（个人）等多项奖励。2017年，所主讲的MOOC课程《高级语言程序设计（Python）》获国家精品在线开放课程。

郭江

麻省理工学院计算机科学与人工智能实验室，博士后研究员。毕业于哈尔滨工业大学社会计算与信息检索研究中心，约翰斯·霍普金斯大学联合培养博士，研究方向为自然语言处理与机器学习。在人工智能、自然语言处理领域国际重要会议及期刊（如ACL、EMNLP、AAAI等）发表论文20余篇。是被业界广泛应用的中文语言技术平台LTP的主要研发者之一。2015年，获百度奖学金；2018年，获中文信息学会“优秀博士学位论文”提名奖。

崔一鸣

科大讯飞北京研究院副院长、资深级主管研究员。毕业于哈尔滨工业大学，获工学学士和硕士学位，并继续攻读博士学位。主要从事阅读理解、预训练模型等自然语言处理相关领域的核心技术研究工作，致力于推动中文机器阅读理解和中文预训练模型的研究与发展。曾多次获得机器翻译、机器阅读理解、自然语言理解评测冠军，其中包括机器阅读理解权威评测SQuAD、自然语言理解权威评测GLUE等。所研制的中文阅读理解及预训练模型开源项目被业界广泛应用，在GitHub累计获得1万以上星标，HuggingFace平台月均调用量达到100万次。发表学术论文30余篇（包括ACL、EMNLP、AAAI等高水平论文），申请发明专利20余项。担任EMNLP 2021和NLPCC 2021领域主席，担任NLP和AI领域顶级国际会议和国际ESI期刊审稿人职务。