LangSmith

LangSmith 是一个用于构建生产级别的LLM应用的平台。它提供了强大的调试、测试和评估工具，帮助开发者监控和优化LangChain应用。

主要特性

• 追踪和调试：实时追踪LLM调用链的执行过程
• 评估框架：系统化的应用性能评估和对标
• 数据集管理：管理和版本控制测试数据集
• 反馈循环：收集用户反馈并用于优化模型
• 性能监控：监控生产环境中应用的性能指标

核心功能

• Tracing：详细的执行追踪和分析
• Evaluation：自动化的应用评估工具
• Feedback：用户反馈和标注系统
• Datasets：数据集版本管理
• Public Datasets：预构建的公开数据集库

应用场景

• 开发和调试LLM应用
• 性能基准测试和优化
• 用户反馈收集和模型改进
• 生产监控和告警