一图解读 ️LangSmith 平台功能

2023-08-30 18:43 作者:沧海九粟 0人读过 | 我要投稿

原推：https://twitter.com/zhanghaili0610/status/1696554153609253033?s=20

LangSmith 是一个用于调试、测试、评估和监控大语言模型（LLM）应用程序的统一平台，由 LangChain 公司推出。

LangChain 的使命是让构建基于 LLM 的应用变得更简单。尽管用几行代码就可以搭建原型，但把原型进化成产品仍然困难。LangSmith 正在解决这个问题。

LangSmith 通过 5 大核心功能帮助开发团队：

调试：LangSmith 可以查看事件链中的每个步骤的模型输入输出。这可以方便地试验新链和新提示，找到问题根源,如意外结果、错误或延迟。同时可以查看延迟和 Token 使用情况来定位调用性能问题。
测试：LangSmith 可以跟踪数据样本或上传自定义数据集。然后可以针对数据集运行链和提示，手动检查输入输出或者自动化测试。许多团队发现手工检查有助建立对 LLM 交互的直观感受，从而提出更好的优化思路。
评估：LangSmith 无缝集成开源评估模块，支持规则评估和 LLM 自评估。LLM 辅助评估有潜力大幅降低成本。
监控：LangSmith 可以主动跟踪性能指标、模型链性能、调试问题、用户交互体验等，从而持续优化产品。
统一平台：LangSmith 整合上述功能，让团队无需组装各种工具组合，可以集中在核心应用创造上。

LangSmith 代表了 LLM 应用开发进入成熟阶段，开发团队不再需要自行搭建调试、测试、部署基础设施，可以完全专注在创造独特的产品。LangSmith 有望大幅降低构建高质量 LLM 应用的门槛。