AI安全:技术与实战
链接:https://pan.baidu.com/s/1mAttQSf2xVJDvwtOsAn0EQ?pwd=ufhd
提取码:ufhd

● 本书首先介绍AI与AI安全的发展起源、世界主要经济体的AI发展战略规划,给出AI安全技术发展脉络和框架,并从AI安全实战出发,重点围绕对抗样本、数据投毒、模型后门等攻击技术进行案例剖析和技术讲解;然后对预训练模型中的风险和防御、AI数据隐私窃取攻击技术、AI应用失控的风险和防御进行详细分析,并佐以实战案例和数据;最后对AI安全的未来发展进行展望,探讨AI安全的风险、机遇、发展理念和产业构想。
● 本书适合AI和AI安全领域的研究人员、管理人员,以及需要实战案例辅助学习的广大爱好者阅读。
作者简介
腾讯安全朱雀实验室专注于AI安全技术研究及应用,围绕对抗机器学习、AI模型安全、深伪检测等方面取得了一系列研究成果,议题入选CVPR、ICLR、CanSecWest、HITB、POC、XCon等国内外顶级会议,面向行业发布了业内第一个AI安全威胁风险矩阵,持续聚焦AI在产业应用的安全问题,助力AI安全技术创新。
精彩书评
人工智能(AI)被认为是引领第四次工业革命进入智能化时代的核心驱动技术。AI理论和技术日益成熟,应用领域也被不断扩大,它改变了数字、物理和生物世界,形成了我称为的“虚实集成世界”(Integrated Physical-Digital World,IPhD)。毫无疑问,AI正在帮助各行各业实现智能化升级,并创造很多新的机会。
我相信AI将带给我们更美好的未来。但我们也清楚地认识到,这一波的AI技术主要是基于深度学习的系统,非常依赖于大模型、大数据和云服务。AI大模型参数多、可解释性差,比较容易遭到对抗样本攻击;大数据噪声大,质量难保证,可能引来攻击者数据投毒;云服务虽然给我们提供了便宜的算力和便捷的生活,但也给攻击者提供了便利,造成隐私窃取和应用失控。
我在腾讯的同事——朱雀实验室的小伙伴们,从2019年开始研究AI安全,涉及模型安全、AI滥用、AI伦理等,同时也在构建和完善AI安全蓝图,并将这些技术和应用落地。这本书凝聚了他们在AI安全技术的研究和实践中积累的多年经验。我相信他们踩过的“坑”和成功的案例将对AI安全领域的研究人员和管理人员带来极大的帮助。
——张正友 腾讯首席科学家、腾讯AI Lab和腾讯Robotics X实验室主任
由于硬件和算法的快速发展,以深度学习为代表的各类人工智能技术已经被广泛用于人脸识别、自动驾驶、物联网等各类重要应用中。由于其内生的脆弱性,人工智能技术的发展往往也会带来新的安全问题。然而,人工智能技术的内源安全性问题往往无法通过传统信息安全的技术来直接解决。因此,系统性地研究人工智能技术中可能存在的安全性问题和其对应的解决方案具有重要意义。
人工智能内源安全性问题的相关探索可以追溯到20世纪中叶对各类传统机器学习算法鲁棒性和稳定性的研究。近代人工智能内源安全性研究主要针对于以深度神经网络为代表的深度学习。这些相关研究主要围绕深度学习模型,从数据采集、模型训练、模型部署和模型预测等模型全生命周期展开,其目的主要是为了误导模型的预测导致出现安全性威胁或窃取用户隐私。误导模型输出的相关研究包括数据投毒、后门攻击、对抗攻击、深度伪造等。在用户隐私的窃取方面,相关研究包括成员推断、属性推断、深度梯度泄露等。这些新兴的安全威胁给使用人工智能技术的相关算法和系统带来了新的重要挑战。
目前,有关人工智能安全的专著国内并不是很多。此次腾讯安全朱雀实验室编著的《AI安全:技术与实战》从实际应用场景的视角出发,除了以简要的方式回顾了人工智能安全的各项重要技术,还提供了包括代码在内的多个具有代表性的实战案例。本书既可作为教材供高年级本科生和研究生学习,也可作为白皮书供从事与人工智能技术相关的研究人员、开发人员和管理人员,以及广大人工智能爱好者们查阅。相信本书提供的实战案例能够帮助读者更加快速、深入地了解人工智能安全的各项技术在实际应用场景下的具体部署和应用。
——江勇 清华大学教授
AI安全其实应该分成两个方面——用AI来解决安全问题,以及保证AI系统自身的安全性。用AI来解决安全问题是目前非常热的研究领域,近几年随着移动互联网及云计算的普及,产生了大量的数据。如何有效地从中挖掘信息来帮助企业的安全建设,现在有比较成熟的方式方法,比如垃圾邮件的分类就相当成功。在另外一些领域,比如在恶意代码的判别、恶意行为的识别上,目前还不是那么的成功,但也正在稳扎稳打地推进,相信再过一段时间,也会取得长足的进步。
朱雀实验室的这本书却论述的是另一个主题——AI系统本身的安全性。目前,市面上有关这方面的著作不多,这本书可谓及时填补了这一空白。AI系统的发展也分为几个阶段,最早是专家系统,即把专家的经验变成确定的规则,用这些规则来做一个判断,目前专家系统的模式在安全产品中得到了广泛的应用,比如AV、WAF、防火墙、IDS 等产品基本都是基于这样的系统,但专家的经验不足以解决全部问题。事实上,在大部分场景下都有办法可以绕过这样的检测,而“现实的攻防场景”正是当下的主旋律,在二进制攻防领域,各个大公司的专家花了20年时间想尽办法来防止对二进制漏洞的利用。但很遗憾的是,这是个无法完成的任务,每年依旧有大量成功利用的例子。
第二阶段是一些传统的基于数据处理的算法,比如SVM、贝叶斯分类,关于这些算法有非常多的成功的例子,比如上面提到的垃圾邮件分类,但使用这样的算法的前提也是对人工分类的数据加以训练,并通过专家的经验来提取特征,只要明白它背后的原理,也是有非常多的容易的方法可以绕过它、误导它。
第三个阶段就是当下最火的基于深度学习的AI系统,这种系统蕞大的问题是不可解释性,背后的原理无从得知,在绝大多数情况下都是非常正确的,但是一旦出问题,就不知道如何去修正,如何去解释它会出错,因为我们对其判断的依据无法通过简单的规则来修正。这样的系统很可怕,不知道什么时候就会出大问题,我们在2020年左右对多款电动车的自动驾驶系统做过安全性测试,结果是触目惊心的,大多数系统都存在非常严重的安全问题,可以很容易通过一些方法让这些系统产生误判,而导致严重的交通事故。
朱雀实验室的这本书对于AI本身的安全问题做了一个全面的阐述与总结,同时也系统化地对AI安全测试的方法做了细致的分类与讲解,具有很强的实用性。
无论你是研究AI,还是研究安全,这本书都有很高的价值。而且随着AI系统的推广,相信未来AI安全会成为安全研究的中心问题,相信这本书能够为大家进入这个领域做一个不错的向导,也期待朱雀实验室后续能够在这个领域有更多更好的著作出版,以飨读者。
此为序。
——吴石 腾讯安全科恩实验室负责人
随着AI技术的发展,AI已经在影响着我们的生活,甚至连安全产品检测攻击都在广泛地应用AI技术。
但是,AI本身是否安全呢?
本书并不是一本理论性的图书,作者团队在AI安全领域深耕多年,总结了针对数据、算法和模型的多种攻击技术,用实际、具体的案例证明了AI在安全上的脆弱性,当然也给出了防御上的解决方案。
攻与防永远是螺旋式上升的态势,“AI安全”仅仅才是开始,我推荐本书给每一位安全从业者。除此之外,我一直认为蕞优秀的程序员一定懂得如何写出安全的代码。因此,我也推荐本书给每一位AI从业人员,一起致力于打造出安全的AI。
——欧阳欣 阿里云安全负责人
目录
●第1章 AI安全发展概述●
1.1 AI与安全衍生
1.1.1 AI发展图谱
1.1.2 各国AI发展战略
1.1.3 AI行业标准
1.1.4 AI安全的衍生本质——科林格里奇困境
1.2 AI安全技术发展脉络
●第2章 对抗样本攻击●
2.1 对抗样本攻击的基本原理
2.1.1 形式化定义与理解
2.1.2 对抗样本攻击的分类
2.1.3 对抗样本攻击的常见衡量指标
2.2 对抗样本攻击技巧与攻击思路
2.2.1 白盒攻击算法
2.2.2 黑盒攻击算法
2.3 实战案例:语音、图像、文本识别引擎绕过
2.3.1 语音识别引擎绕过
2.3.2 图像识别引擎绕过
2.3.3 文本识别引擎绕过
2.4 实战案例:物理世界中的对抗样本攻击
2.4.1 目标检测原理
2.4.2 目标检测攻击原理
2.4.3 目标检测攻击实现
2.4.4 攻击效果展示
2.5 案例总结
●第3章 数据投毒攻击●
3.1 数据投毒攻击概念
3.2 数据投毒攻击的基本原理
3.2.1 形式化定义与理解
3.2.2 数据投毒攻击的范围与思路
3.3 数据投毒攻击技术发展
3.3.1 传统数据投毒攻击介绍
3.3.2 数据投毒攻击约束
3.3.3 数据投毒攻击效率优化
3.3.4 数据投毒攻击迁移能力提升
3.4 实战案例:利用数据投毒攻击图像分类模型
3.4.1 案例背景
3.4.2 深度图像分类模型
3.4.3 数据投毒攻击图像分类模型
3.4.4 实验结果
3.5 实战案例:利用投毒日志躲避异常检测系统
3.5.1 案例背景
3.5.2 RNN异常检测系统
3.5.3 投毒方法介绍
3.5.4 实验结果
3.6 案例总结
●第4章 模型后门攻击●
4.1 模型后门概念
4.2 后门攻击种类与原理
4.2.1 投毒式后门攻击
4.2.2 非投毒式后门攻击
4.2.3 其他数据类型的后门攻击
4.3 实战案例:基于数据投毒的模型后门攻击
4.3.1 案例背景
4.3.2 后门攻击案例
4.4 实战案例:供应链攻击
4.4.1 案例背景
4.4.2 解析APK
4.4.3 后门模型训练
4.5 实战案例:基于模型文件神经元修改的模型后门攻击
4.5.1 案例背景
4.5.2 模型文件神经元修改
4.5.3 触发器优化
4.6 案例总结
●第5章 预训练模型安全●
5.1 预训练范式介绍
5.1.1 预训练模型的发展历程
5.1.2 预训练模型的基本原理
5.2 典型风险分析和防御措施
5.2.1 数据风险
5.2.2 敏感内容生成风险
5.2.3 供应链风险
5.2.4 防御策略
5.3 实战案例:隐私数据泄露
5.3.1 实验概况
5.3.2 实验细节
5.3.3 结果分析
5.4 实战案例:敏感内容生成
5.4.1 实验概况
5.4.2 实验细节
5.4.3 结果分析
5.5 实战案例:基于自诊断和自去偏的防御
5.5.1 实验概况
5.5.2 实验细节
5.5.3 结果分析
5.6 案例总结
●第6 章 AI数据隐私窃取●
6.1 数据隐私窃取的基本原理
6.1.1 模型训练中数据隐私窃取
6.1.2 模型使用中数据隐私窃取
6.2 数据隐私窃取的种类与攻击思路
6.2.1 数据窃取攻击
6.2.2 成员推理攻击
6.2.3 属性推理攻击
6.3 实战案例:联邦学习中的梯度数据窃取攻击
6.3.1 案例背景
6.3.2 窃取原理介绍
6.3.3 窃取案例
6.3.4 结果分析
6.4 实战案例:利用AI水印对抗隐私泄露
6.4.1 案例背景
6.4.2 AI保护数据隐私案例
6.4.3 AI水印介绍
6.4.4 结果分析
6.5 案例总结
●第7 章 AI应用失控风险●
7.1 AI应用失控
7.1.1 深度伪造技术
7.1.2 深度伪造安全风险
7.2 AI应用失控防御方法
7.2.1 数据集
7.2.2 技术防御
7.2.3 内容溯源
7.2.4 行业实践
7.2.5 面临挑战
7.2.6 未来工作
7.3 实战案例:VoIP电话劫持+语音克隆攻击
7.3.1 案例背景
7.3.2 实验细节
7.4 实战案例:深度伪造鉴别
7.4.1 案例背景
7.4.2 实验细节
7.4.3 结果分析
7.5 案例总结
●后记 AI安全发展展望●
查看全部↓