项目官网 • 核心功能 • 使用方法 • 基准数据集 • 社区支持 • 贡献 • 使命 • 许可证

项目官网

请访问我们的官方页面，获取用户文档和示例：langtest.org

核心功能

• 仅需一行代码即可生成并执行超过60种不同类型的测试
• 测试模型质量的各个方面：鲁棒性、偏差、表征能力、公平性和准确性。
• 根据测试结果自动扩充训练数据（适用于部分模型）
• 支持用于命名实体识别、翻译和文本分类的主流 NLP 框架：Spark NLP、Hugging Face 和 Transformers。
• 支持对大型语言模型（OpenAI、Cohere、AI21、Hugging Face 推理 API 以及 Azure-OpenAI LLM）进行问答、毒性检测、临床测试、法律支持、事实性、阿谀奉承、摘要生成等常见测试。

基准数据集

LangTest 提供多种数据集来测试您的模型，覆盖了广泛的用例和评估场景。您可以在 这里 查看所有可用的基准数据集，每一份数据集都经过精心策划，旨在挑战并提升您的语言模型性能。 无论您关注的是问答任务、文本摘要等，LangTest 都能为您提供合适的数据，帮助您将模型推向极限，在各种语言任务中实现最佳表现。

使用方法

# 安装 langtest
!pip install langtest[transformers]

# 导入并创建 Harness 对象
from langtest import Harness
h = Harness(task='ner', model={"model":'dslim/bert-base-NER', "hub":'huggingface'})

# 生成测试用例、运行并查看报告
h.generate().run().report()

注意 如需更多详细的使用示例和文档，请访问 langtest.org

负责任的人工智能博客

您可以查看以下 LangTest 相关文章：

博客	描述
自动检测大型语言模型生成的临床治疗方案中的人口统计学偏见	帮助理解和测试由大型语言模型生成的临床治疗方案中的人口统计学偏见。
LangTest：通过端到端NLP流水线揭示并修复偏见	LangTest中的端到端语言流水线使NLP从业者能够以全面、数据驱动和迭代的方式应对语言模型中的偏见。
超越准确率：使用LangTest对命名实体识别模型进行鲁棒性测试	虽然准确率无疑至关重要，但鲁棒性测试将自然语言处理（NLP）模型的评估提升到了一个新的水平，确保模型在各种现实条件下都能可靠且一致地运行。
通过自动化数据增强提升NLP模型性能	在本文中，我们讨论了自动化数据增强如何为您的NLP模型提供强大助力并提升其性能，以及我们如何利用LangTest实现这一点。
缓解AI中的性别与职业刻板印象：通过LangTest库使用Wino偏见测试评估模型	在本文中，我们探讨了如何使用LangTest测试“Wino偏见”。这特指测试源于性别与职业刻板印象的偏见。
自动化负责任的AI：将Hugging Face与LangTest集成以构建更稳健的模型	在本文中，我们探讨了Hugging Face——您获取最先进NLP模型和数据集的首选来源——与LangTest——您NLP流水线用于测试和优化的秘密武器——之间的集成。
检测和评估溜须拍马偏见：对LLM和AI解决方案的分析	在这篇博客文章中，我们讨论了溜须拍马式AI行为这一普遍存在的问题及其在人工智能领域带来的挑战。我们探讨了语言模型有时会优先考虑附和而非真实性，从而阻碍有意义且无偏见的对话。此外，我们还揭示了一种可能改变游戏规则的解决方案——合成数据，它有望彻底改变AI伴侣参与讨论的方式，使其在各种现实条件下更加可靠和准确。
揭示语言模型在否定和毒性评估中的敏感性	在这篇博客文章中，我们深入探讨了语言模型的敏感性，考察模型如何处理语言中的否定和毒性。通过这些测试，我们得以深入了解模型的适应性和响应能力，强调NLP模型持续改进的必要性。
揭示语言模型中的偏见：性别、种族、残疾及社会经济视角	在这篇博客文章中，我们探讨了语言模型中的偏见，重点关注性别、种族、残疾和社会经济因素。我们使用专为衡量刻板印象偏见而设计的CrowS-Pairs数据集来评估这些偏见。为了解决这些偏见，我们讨论了像LangTest这样的工具在促进NLP系统公平性方面的重要性。
揭露AI内部的偏见：性别、种族、宗教和经济如何塑造NLP及其他领域	在这篇博客文章中，我们探讨了AI中的偏见，特别是性别、种族、宗教和经济因素如何影响NLP系统。我们讨论了减少偏见、促进AI系统公平性的策略。
使用Wino偏见测试评估大型语言模型在性别与职业刻板印象方面的表现	在这篇博客文章中，我们深入研究了在LLM上测试WinoBias数据集的情况，考察语言模型对性别和职业角色的处理方式、评估指标以及更广泛的影响。让我们借助LangTest在WinoBias数据集上评估语言模型，并直面解决AI中偏见的挑战。
简化机器学习工作流：将MLFlow跟踪与LangTest集成以增强模型评估	在这篇博客文章中，我们深入探讨了对模型进行透明、系统化和全面跟踪日益增长的需求。这时，MLFlow和LangTest便派上了用场：这两款工具结合使用，为机器学习开发开创了一种革命性的方法。
测试大型语言模型的问题回答能力	在这篇博客文章中，我们深入探讨了如何利用LangTest库提升QA评估能力。探索LangTest提供的不同评估方法，以应对评估问答（QA）任务时的复杂性。
使用LangTest评估刻板印象偏见	在这篇博客文章中，我们重点介绍了如何使用StereoSet数据集来评估与性别、职业和种族相关的偏见。
测试基于LSTM的情感分析模型的鲁棒性	使用LangTest Insights探索自定义模型的鲁棒性。
LangTest Insights：深入探究LLM在OpenBookQA上的鲁棒性	使用LangTest Insights探索语言模型（LLM）在OpenBookQA数据集上的鲁棒性。
LangTest：提升您的Transformer语言模型鲁棒性的秘密武器	使用LangTest Insights探索Transformer语言模型的鲁棒性。
掌握模型评估：推出LangTest中的综合排名与排行榜系统	John Snow Labs的LangTest推出的模型排名与排行榜系统，提供了一种系统化的AI模型评估方法，包含全面的排名、历史对比以及特定数据集的洞察，从而帮助研究人员和数据科学家基于数据做出关于模型性能的明智决策。
使用Prometheus-Eval和LangTest评估长篇回复	Prometheus-Eval和LangTest联手，为评估长篇回复提供了一个开源、可靠且经济高效的解决方案。该方案结合了Prometheus的GPT-4级性能和LangTest的稳健测试框架，能够提供详细、可解释的反馈，并在评估中达到高精度。
确保LLM在医疗领域的精确性：药物名称混淆的挑战	准确识别药物名称对于患者安全至关重要。使用LangTest的**drug_generic_to_brand**转换测试对GPT-4o进行测试后发现，在用成分替代商品名时，模型在预测药物名称方面可能存在误差，这凸显了持续优化和严格测试的必要性，以确保医疗领域LLM的准确性和可靠性。

注意 若要查看所有博客，请前往 博客

社区支持

• Slack 如需与 LangTest 社区进行实时讨论，请加入 #langtest 频道。
• GitHub 如有错误报告、功能请求或贡献需求，请访问此仓库。
• Discussions 您可以在此与其他社区成员互动、分享想法，并展示您如何使用 LangTest！

使命

尽管关于训练安全、稳健且公平的人工智能模型的需求讨论颇多，但目前可供数据科学家实现这些目标的工具却寥寥无几。因此，在生产系统中部署的自然语言处理模型现状令人堪忧。

我们在此提出一个处于早期阶段的开源社区项目，旨在填补这一空白，并诚挚邀请您加入我们的行列。我们将以先前的研究成果为基础，例如 Ribeiro 等人 (2020)、Song 等人 (2020)、Parrish 等人 (2021)、van Aken 等人 (2021) 等众多研究。

John Snow Labs 已为该项目配备了完整的开发团队，并承诺像对待其他开源库一样，长期致力于该库的改进。未来我们将定期发布新版本，不断增加新的测试类型、任务、语言和平台。我们期待与您携手合作，共同推动安全、可靠、负责任的自然语言处理技术成为日常现实。

注意 如需了解使用方法及文档，请访问 langtest.org

参与 LangTest 的贡献

我们欢迎各种形式的贡献：

• 创意
• 讨论
• 反馈
• 文档
• 错误报告

有关贡献的详细说明，请参阅 贡献指南。

如果您希望开始参与 LangTest 代码库的工作，可以前往 GitHub 的“问题”标签页，浏览一些有趣的议题。那里列出了许多您可以着手解决的问题。或者，您在使用 LangTest 时可能有了自己的想法，又或是发现文档中有需要改进之处……那么，您完全可以通过实际行动来推动改进！

如有任何疑问，欢迎在 问答 讨论区提出。

作为本项目的贡献者和维护者，您应遵守 LangTest 的行为准则。更多信息请参见：贡献者行为准则。

引用

我们已发表了一篇关于 LangTest 库的论文，您可以将其引用如下：

@article{nazir2024langtest,
  title={LangTest: A comprehensive evaluation library for custom LLM and NLP models},
  author={Arshaan Nazir, Thadaka Kalyan Chakravarthy, David Amore Cecchini, Rakshit Khajuria, Prikshit Sharma, Ali Tarik Mirik, Veysel Kocaman and David Talby},
  journal={Software Impacts},
  pages={100619},
  year={2024},
  publisher={Elsevier}
}

贡献者

我们谨向本开源社区项目的全体贡献者致以诚挚的感谢。

许可证

LangTest 采用 Apache License 2.0 许可证发布，该许可证保障了商业使用、修改、分发、专利使用、私人使用等权利，并对商标使用、责任和担保作出了限制。

LangTest 快速上手指南

LangTest 是一款专为语言模型（LLM）和传统 NLP 模型设计的开源测试框架，旨在通过一行代码生成并执行超过 60 种测试用例，全面评估模型的鲁棒性、偏见、公平性及准确性。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.8 及以上版本
• 前置依赖：
  • 若测试 Hugging Face 模型，需安装 transformers 相关库。
  • 若测试 Spark NLP 模型，需配置 Spark 环境。
  • 若测试云端 LLM（如 OpenAI, Azure），需准备好相应的 API Key。

安装步骤

推荐使用 pip 进行安装。根据您的使用场景，可以选择安装基础版或包含特定框架支持的版本。

安装支持 Transformers 的版本（推荐）：

pip install langtest[transformers]

安装完整功能版（包含所有依赖）：

pip install langtest[all]

提示：国内用户若遇到下载速度慢的问题，可使用清华源或阿里源加速安装：

pip install langtest[transformers] -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

LangTest 的核心设计理念是“一行代码完成测试”。以下是一个针对命名实体识别（NER）模型的最简使用示例：

1. 导入并创建 Harness 对象：指定任务类型（如 ner）和模型来源。
2. 执行测试流程：链式调用 generate()（生成测试用例）、run()（运行测试）和 report()（查看报告）。

# 导入 Harness 类
from langtest import Harness

# 创建 Harness 对象
# task: 任务类型 (例如: 'ner', 'question-answering', 'text-classification')
# model: 模型配置 (支持 huggingface, spark-nlp 等)
h = Harness(task='ner', model={"model": 'dslim/bert-base-NER', "hub": 'huggingface'})

# 生成测试用例、运行测试并输出报告
h.generate().run().report()

执行上述代码后，LangTest 将自动：

• 生成涵盖鲁棒性、偏见等维度的测试数据集。
• 对指定模型进行推理测试。
• 输出详细的评估报告，展示模型在不同场景下的表现。

更多高级用法（如自定义测试类型、连接商业大模型 API、数据增强等），请访问官方文档 langtest.org。