deepeval

DeepEval提供了不同方面的度量来评估LLM对问题的回答,以确保答案是相关的、一致的、无偏见的、非有毒的。这些可以很好地与CI/CD管道集成在一起,允许机器学习工程师快速评估并检查他们改进LLM应用程序时,LLM应用程序的性能是否良好。DeepEval提供了一种Python友好的离线评估方法,确保您的管道准备好投入生产。它就像是“针对您的管道的Pytest”,使生产和评估管道的过程与通过所有测试一样简单直接。

需求人群：

["评估语言模型应用的不同方面","与CI/CD集成进行自动化测试","快速迭代改进语言模型"]

使用场景示例：

使用简单的单元测试方式针对ChatGPT回答进行相关性、一致性测试

基于语言链的应用,通过DeepEval进行自动化测试

使用合成查询功能快速发现模型的问题

产品特色：

针对答案相关性、事实一致性、有毒性、偏见的测试

查看测试、实现和比较的Web UI

通过合成查询-答案自动评估

与LangChain等常见框架集成

合成查询生成

仪表板