⚡️ 快速入门

pip install meerkat-ml

下一步。 请访问我们的入门页面和文档，开始使用 Meerkat 构建您的项目。

为什么选择 Meerkat？

Meerkat 是一个开源的 Python 库，旨在帮助用户可视化、探索和标注任何类型的数据集。它在处理非结构化数据（如自由文本、PDF、图像、视频等）并将其用于机器学习模型时尤为有用。

✏️ 特性与设计原则

以下是指导 Meerkat 设计的四个核心原则。

(1) 低开销。 仅需四行 Python 代码，即可开始与任何数据集进行交互。

• 与您常用的数据抽象层零拷贝集成：Pandas、Arrow、HF Datasets、Ibis、SQL。
• 数据移动最小化。使用 Meerkat，您可以直接在数据存储位置与其交互，无需上传到外部数据库或重新格式化数据。

import meerkat as mk
df = mk.from_csv("paintings.csv")
df["image"] = mk.files("image_url")
df

(2) 多样化的数据类型。 在 Meerkat 的界面中，几乎可以可视化和标注任何类型的数据：文本、图像、音频、视频、MRI 扫描、PDF、HTML、JSON 等。

(3) “智能”用户界面。 Meerkat 能够轻松地将机器学习模型（如 LLM）嵌入到用户界面中，从而实现智能功能，例如搜索、分组和自动补全。

df["embedding"] = mk.embed(df["img"], engine="clip")
match = mk.gui.Match(df,
	against="embedding",
	engine="clip"
)
sorted_df = mk.sort(df,
	by=match.criterion.name,
	ascending=False
)
gallery = mk.gui.Gallery(sorted_df)
mk.gui.html.div([match, gallery])

(4) 声明式（类似 Seaborn），同时无限可定制且可组合。 Meerkat 的可视化组件可以组合和定制，以创建全新的界面。

plot = mk.gui.plotly.Scatter(df=plot_df, x="umap_1", y="umap_2",)

@mk.gui.reactive
def filter(selected: list, df: mk.DataFrame):
    return df[df.primary_key.isin(selected)]

filtered_df = filter(plot.selected, plot_df)
table = mk.gui.Table(filtered_df, classes="h-full")

mk.gui.html.flex([plot, table], classes="h-[600px]") 

✨ Meerkat 的典型应用场景

• 对非结构化数据进行探索性分析。 演示
• 快速检查大型语言模型（如 GPT-3）的行为。 演示
• 识别机器学习模型产生的系统性错误。 演示
• 快速标注验证数据。

🤔 Meerkat 可能不适用的场景

• 您是否只处理结构化数据（如数值和分类变量）？ 常用的数据可视化库（如 Seaborn 和 Matplotlib）通常已经足够。如果您需要交互功能，Plotly 和 Streamlit 对结构化数据的支持也非常出色。Meerkat 的独特之处在于其对非结构化数据类型的可视化能力：长文本、PDF、HTML、图像、视频、音频等。
• 您是否正在构建一个简单的机器学习模型演示（单输入单输出、聊天机器人）并与公众分享？ Gradio 可能更适合！不过，如果您的演示涉及大量数据的可视化，Meerkat 仍然会很有用。
• 您是否需要手动标注数万条数据？ 如果您正在寻找一款适合标注团队使用的开源标注工具，那么像 LabelStudio 这样的工具是更好的选择。相比之下，Meerkat 更适合那些没有大规模标注团队资源、但又需要利用预训练模型（如 GPT-3）来标注验证数据或上下文示例的团队或个人。

✉️ 关于我们

Meerkat 由斯坦福大学 Hazy Research 实验室的机器学习博士生团队开发。我们致力于构建一个未来，在这个未来中，模型将使团队能够更轻松地筛选和推理海量的非结构化数据。

如果您希望在项目或公司中使用 Meerkat，或者有任何问题，请联系 kgoel [at] cs [dot] stanford [dot] edu, eyuboglu [at] stanford [dot] edu, and arjundd [at] stanford [dot] edu。

Meerkat 快速上手指南

Meerkat 是一个开源 Python 库，专为可视化、探索和标注非结构化数据（如文本、图像、视频、PDF 等）而设计。它支持与机器学习模型（包括大语言模型）深度集成，帮助开发者轻松构建交互式数据视图。

环境准备

• 操作系统：支持 Linux、macOS 和 Windows。
• Python 版本：建议 Python 3.8 或更高版本。
• 前置依赖：
  • 基础安装仅需 pip。
  • GPU 支持（可选）：若需使用 GPU 加速（例如运行深度学习模型），请预先安装支持 CUDA 的 PyTorch。详见 PyTorch 官方安装指南。
  • 可选依赖：处理音频等特定格式时，可能需要 torchaudio 等额外库。

安装步骤

使用 pip 直接安装核心包：

pip install meerkat-ml

提示：国内用户若下载缓慢，可指定清华或阿里镜像源加速安装：

pip install meerkat-ml -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Meerkat 的核心优势在于低代码开销地加载数据并创建交互式界面。以下是加载 CSV 文件并渲染图像列的最简示例：

1. 加载数据与创建视图

只需几行代码即可将本地文件路径转换为可交互的图像列，并查看数据框：

import meerkat as mk

# 从 CSV 文件加载数据
df = mk.from_csv("paintings.csv")

# 将包含图片 URL 或路径的列转换为可交互的图像列
df["image"] = mk.files("image_url")

# 在 Jupyter Notebook 或支持的 IDE 中直接显示交互式表格
df

执行上述代码后，你将看到一个包含缩略图的交互式表格，可以直接在界面中浏览图像、排序和过滤数据。

2. 进阶：结合机器学习模型

Meerkat 允许嵌入模型进行智能搜索或聚类。例如，使用 CLIP 模型生成图像嵌入并进行相似度匹配：

# 生成图像嵌入向量
df["embedding"] = mk.embed(df["img"], engine="clip")

# 创建基于嵌入的匹配组件
match = mk.gui.Match(df, against="embedding", engine="clip")

# 根据匹配结果排序
sorted_df = mk.sort(df, by=match.criterion.name, ascending=False)

# 构建画廊视图
gallery = mk.gui.Gallery(sorted_df)

# 组合组件并渲染
mk.gui.html.div([match, gallery])

更多详细用法、组件组合技巧及演示项目，请访问 Meerkat 官方文档。