测试工程师新的发展方向--AI测试
#01
概述
文章来源QAtestlab：Testing the Brains of Tomorrow’s Tech – AI and ML（可以在评论区获取链接）
关键词：AI测试的挑战，AI测试的应对方法、AI测试工具
人工智能和机器学习加速了科技行业的发展，这些技术不仅改变了我们的生活、工作和互动方式，还颠覆了传统行业规范，为全球企业创造了新机会。从自动驾驶汽车到个性化购物体验，人工智能和机器学习在各个领域都发挥着重要作用。然而，随着增长和高风险，对人工智能和机器学习应用程序测试的需求变得至关重要。因此，本文是关于测试人工智能和机器学习应用程序复杂性的综合指南。
#02
测试AI程序面临的挑战
文章指出测试AI应用程序面临的挑战：测试人工智能和机器学习系统就像穿越迷宫一样。 这是一项复杂的任务，具有与传统软件测试显着不同的独特挑战。主要挑战有：
（1）不可预测的结果。
人工智能和机器学习应用程序不断学习和适应新数据，导致结果不可预测。 这使得验证结果变得具有挑战性，因为没有预定义的“正确”答案可供比较。例如，当我们使用chatgpt来生成文章时，它经常会无中生有，创造一些错误的答案，对于chatgpt所创造的内容，我们并无法事先预测。
（2）过拟合和欠拟合
平衡模型中的偏差和方差至关重要但具有挑战性。 当模型过于复杂并且不能很好地概括时，就会发生过度拟合（高方差），而当模型太简单而无法捕捉趋势时，就会发生欠拟合（高偏差）。
（3）质量而不是数量
人工智能和机器学习应用程序的性能与它们接受训练的数据质量直接相关。 质量差或有偏差的数据会严重影响模型的性能和公平性。这一点旨在要求我们测试数据、测试场景的设计要符合真实场景，不能存在偏差 ，或者从训练数据测试入手。
（4）持续监控
由于其动态特性，人工智能和机器学习系统需要持续监控。 它们是不断发展的生物，需要持续的监控和维护，从而需要大量的时间和资源投资。
#03
测试AI的过程
针对上述挑战，文章给出了AI测试的过程：
测试人工智能应用程序并不是一项一刀切的任务。 相反，它需要了解底层的人工智能模型、仔细的规划和持续的监控。 让我们将其分解为关键步骤：
（1）了解人工智能模型
测试人工智能应用程序的第一步也是最重要的一步是彻底理解人工智能模型。 这需要深入研究模型的设计、输入和输出以及它使用的逻辑。 清楚地掌握这些因素可以揭示潜在的漏洞，并为模型在不同条件下的表现提供有价值的见解。
（2）制定真实的测试场景
测试人工智能应用程序类似于为表演进行多样化且全面的排练。 定义各种实际场景对于确保应用程序为多种情况做好充分准备至关重要。 条件和输入越多样化，应用程序就越稳健。
（3）持续监控和验证
测试人工智能应用程序并不是一次性的事件； 这是一场持续的马拉松。 持续监控和验证输出对于评估其准确性、可靠性和一致性至关重要。 定期检查可以揭示模型是否需要调整或使用不同数据进行训练。
（4）学习和提高
正如人工智能模型可以学习和改进一样，我们的测试方法也应该如此。 由于人工智能的迭代性质，不仅需要一轮测试。 随着模型的发展，测试过程也应该不断发展，重新评估模型的性能并根据需要完善测试策略。
#04
测试AI的工具
同时文章推荐以下AI测试工具
（1）TensorFlow 是一个开源平台，是用于构建和训练 ML 模型的库和资源的宝库。 它还提供可提供有价值的性能和准确性指标的测试工具。
（2）Lime 是一个 Python 库，充当 ML 模型的解释器。 它提供了对模型决策过程的洞察，这是完善和验证 AI/ML 模型的关键因素。
（3）Robustness Gym 由 Facebook 的 AI 团队精心打造，旨在测试 AI 模型的耐用性。 它有助于揭示模型的局限性并衡量不同场景下的性能。
（4）What-If 是 Google 的可视化工具，有助于说明 ML 模型的行为。 它对于理解不同特征对模型预测的影响特别有用。
（5）IBM 在该领域的贡献是 AI Fairness 360，这是一个开源库，有助于检测和减轻 ML 模型中的偏差。 它提供了测试模型公平性的指标，这是任何人工智能/机器学习系统的一个关键方面。
随着人工智能和机器学习应用程序继续成为我们数字生活不可或缺的一部分，对这些技术进行充分的测试至关重要。 软件测试的未来在于开发专门为人工智能和机器学习应用程序设计的创新方法和工具。
#05
个人观点
本人在研究生期间也从事神经网络相关应用的研究，从学生时期的经验来谈，像数据质量保证、过拟合、欠拟合的验证都是一人完成，而在公司中，这些似乎应该也是由对应的AI算法工程师来实现？还是配置了相应的测试团队？此外，文章谈到测试参与AI的过程，第一步就是理解AI模型，这一点对绝大部分软件测试工程师来说，应该是一个很高的门槛，想要参与其中很难。从普通软件测试工程师，转向AI测试工程师，可以期待后续的行业发展。
如果有相关小伙伴对这一方面熟悉的，也可以在评论区发表观点，一起学习一起进步。
