LangKit

LangKit 是一个用于监控语言模型的开源文本指标工具包。它提供了一系列从输入和/或输出文本中提取相关信号的方法，这些方法与开源数据日志记录库 whylogs 兼容。

💡 想体验 LangKit 吗？请访问这个 notebook！

目录 📖

• 动机
• 特性
• 安装
• 使用
• 模块

动机 🎯

将包括大语言模型在内的语言模型投入生产环境，会面临一系列风险，这是因为输入组合的可能性是无限的，从而可能导致无限种输出。文本的非结构化特性给机器学习可观测性领域带来了挑战——这一挑战值得解决，因为缺乏对模型行为的可见性可能会带来严重后果。

特性 🛠️

开箱即用的指标包括：

• 文本质量
  • 可读性评分
  • 复杂度和年级评分
• 文本相关性
  • 提示词与响应之间的相似度评分
  • 与用户自定义主题的相似度评分
• 安全与隐私
  • 模式匹配——符合用户自定义正则表达式模式组的字符串数量
  • 越狱检测——与已知越狱尝试的相似度评分
  • 提示注入检测——与已知提示注入攻击的相似度评分
  • 幻觉检测——响应之间的一致性检查
  • 拒绝服务检测——与已知大语言模型拒绝服务响应的相似度评分
• 情感与毒性
  • 情感分析
  • 毒性分析

安装 💻

要安装 LangKit，请使用 Python 包索引 (PyPI)，命令如下：

pip install langkit[all]

使用 🚀

LangKit 的模块包含 UDF，这些 UDF 会自动接入 whylogs 默认提供的字符串特征 UDF 集合中。我们只需导入 LangKit 模块，然后按照下面的示例实例化一个自定义 schema 即可。

import whylogs as why
from langkit import llm_metrics

results = why.log({"prompt": "Hello!", "response": "World!"}, schema=llm_metrics.init())

上述代码将生成一组指标，其中包括 whylogs 对于文本特征的默认指标，以及所有在导入模块中定义的指标。该分析结果可以在 WhyLabs 平台 上进行可视化和监控，也可以由用户自行进一步分析。

更多示例请参见 这里。

模块 📦

您可以在此处了解有关不同模块及其指标的更多信息：这里。

基准测试

AWS 实例类型	指标模块	吞吐量
c5.xlarge	轻量级指标	2335 次对话/秒
	LLM 指标	8.2 次对话/秒
	所有指标	0.28 次对话/秒
g4dn.xlarge	轻量级指标	2492 次对话/秒
	LLM 指标	23.3 次对话/秒
	所有指标	1.79 次对话/秒

常见问题解答

您可以在我们的 FAQs 部分 查看一些常见问题的答案。

LangKit 快速上手指南

LangKit 是一个开源的文本指标工具包，专为监控语言模型（LLM）设计。它能从输入和输出文本中提取关键信号，并与开源数据日志库 whylogs 无缝集成，帮助开发者解决非结构化文本在可观测性方面的挑战。

环境准备

• 系统要求：支持 Linux、macOS 和 Windows。
• 前置依赖：
  • Python 3.8 或更高版本。
  • 建议在使用前安装 whylogs（安装 LangKit 时会自动处理依赖，但了解其生态有助于后续使用）。
• 网络提示：部分预训练模型或嵌入服务可能需要访问外部资源。若在国内网络环境下遇到下载缓慢问题，建议配置全局代理或寻找相关的国内镜像源加速 Python 包下载。

安装步骤

通过 PyPI 安装 LangKit 及其所有可选依赖（推荐安装 all 以启用全部功能模块）：

pip install langkit[all]

提示：如果下载速度较慢，可以使用国内镜像源加速安装：

pip install langkit[all] -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

LangKit 的模块包含用户定义函数（UDF），会自动挂载到 whylogs 默认的字符串特征收集流程中。只需导入相应模块并初始化自定义 Schema 即可开始监控。

以下是最简单的使用示例，用于记录提示词（prompt）和响应（response）的各项指标：

import whylogs as why
from langkit import llm_metrics

# 记录单次对话数据
results = why.log({"prompt": "Hello!", "response": "World!"}, schema=llm_metrics.init())

# results 包含默认文本指标及 LangKit 扩展指标（如安全性、情感分析、相关性等）
# 生成的 Profile 可上传至 WhyLabs 平台可视化，或在本地进一步分析

功能说明： 上述代码将自动计算包括文本质量（可读性、复杂度）、相关性（提示词与响应相似度）、安全隐私（越狱检测、注入攻击检测、幻觉检查）以及情感毒性分析在内的多项指标。

更多高级用法和模块组合请参考官方 示例仓库。