---

概述 • 安装 • 论文 • 示例 • 文档 • 引用

概述

OpenICL 提供了一个简单易用的上下文学习接口，内置了多种最先进的检索和推理方法，便于系统地比较大型语言模型，并快速进行研究原型开发。用户可以轻松地将不同的检索和推理方法以及不同的提示指令整合到自己的工作流中。

最新动态

• v0.1.8 支持 LLaMA 和自洽性

安装

注意：OpenICL 需要 Python 3.8+

使用 Pip

pip install openicl

本地开发安装：

git clone https://github.com/Shark-NLP/OpenICL
cd OpenICL
pip install -e .

快速入门

以下示例展示了如何在情感分类数据集上执行 ICL。更多示例和教程请参见 examples。

第一步：加载并准备数据

from datasets import load_dataset
from openicl import DatasetReader

# 从 Hugging Face 加载数据集
dataset = load_dataset('gpt3mix/sst2')

# 定义一个 DatasetReader，指定存储输入和输出的列名。
data = DatasetReader(dataset, input_columns=['text'], output_column='label')

第二步：定义提示模板（可选）

from openicl import PromptTemplate
tp_dict = {
    0: "</E>积极电影评论： </text>",
    1: "</E>消极电影评论： </text>" 
}

template = PromptTemplate(tp_dict, {'text': '</text>'}, ice_token='</E>')

占位符 </E> 和 </text> 将分别被上下文示例和测试输入替换。有关 PromptTemplate 的更详细信息（例如字符串类型的模板），请参阅 tutorial1。

第三步：初始化检索器

from openicl import TopkRetriever
# 使用之前的 DataLoader 定义一个检索器。
# `ice_num` 表示上下文示例中的数据数量。
retriever = TopkRetriever(data, ice_num=8)

这里我们使用流行的 TopK 方法来构建检索器。

第四步：初始化推理器

from openicl import PPLInferencer
inferencer = PPLInferencer(model_name='distilgpt2')

第五步：推理与评分

from openicl import AccEvaluator
# 推理器需要检索器来收集上下文示例，以及一个模板来封装这些示例。
predictions = inferencer.inference(retriever, ice_template=template)
# 计算预测的准确率
score = AccEvaluator().score(predictions=predictions, references=data.references)
print(score)

文档

(正在更新中…)

OpenICL 文档

引用

如果您觉得本仓库对您有帮助，请随时引用我们的论文：

@article{wu2023openicl,
  title={OpenICL：一个用于上下文学习的开源框架},
  author={吴振宇、王耀翔、叶嘉诚、冯江涛、徐晶晶、乔宇、吴志勇},
  journal={arXiv 预印本 arXiv:2303.02913},
  year={2023}
}

OpenICL 快速上手指南

OpenICL 是一个开源的上下文学习（In-Context Learning, ICL）框架，内置了多种先进的检索和推理方法，旨在帮助用户轻松构建工作流，进行大语言模型（LLM）的系统性对比研究和快速原型开发。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.8 或更高版本
• 依赖管理：建议使用 pip 或虚拟环境（如 venv, conda）

安装步骤

您可以通过 PyPI 直接安装稳定版，或者克隆源码进行本地开发。

方式一：使用 Pip 安装（推荐）

pip install openicl

提示：国内用户若下载速度较慢，可使用清华或阿里镜像源加速：

pip install openicl -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：本地开发安装

如果您需要修改源码或运行最新示例：

git clone https://github.com/Shark-NLP/OpenICL
cd OpenICL
pip install -e .

基本使用

以下示例演示如何使用 OpenICL 在情感分类数据集（SST-2）上执行上下文学习任务。整个流程分为五个简单步骤。

第一步：加载并准备数据

使用 Hugging Face datasets 加载数据，并通过 DatasetReader 指定输入和输出列。

from datasets import load_dataset
from openicl import DatasetReader

# 从 Hugging Face 加载数据集
dataset = load_dataset('gpt3mix/sst2')

# 定义 DatasetReader，指定输入列 ('text') 和输出列 ('label')
data = DatasetReader(dataset, input_columns=['text'], output_column='label')

第二步：定义提示词模板（可选）

自定义提示词格式。占位符 </E> 将被上下文示例替换，</text> 将被测试输入替换。

from openicl import PromptTemplate

tp_dict = {
    0: "</E>Positive Movie Review: </text>",
    1: "</E>Negative Movie Review: </text>" 
}

# ice_token 用于标识上下文示例的插入位置
template = PromptTemplate(tp_dict, {'text': '</text>'}, ice_token='</E>')

第三步：初始化检索器 (Retriever)

选择检索策略来获取上下文示例。此处使用经典的 TopK 方法，选取 8 个示例。

from openicl import TopkRetriever

# ice_num 表示上下文中包含的示例数量
retriever = TopkRetriever(data, ice_num=8)

第四步：初始化推理器 (Inferencer)

选择推理方法和基础模型。此处使用基于困惑度（PPL）的推理器和 distilgpt2 模型。

from openicl import PPLInferencer

inferencer = PPLInferencer(model_name='distilgpt2')

第五步：执行推理与评估

结合检索器和模板进行推理，并计算准确率。

from openicl import AccEvaluator

# 执行推理：需要传入检索器以获取示例，以及模板来格式化内容
predictions = inferencer.inference(retriever, ice_template=template)

# 计算预测准确率
score = AccEvaluator().score(predictions=predictions, references=data.references)
print(score)

完成以上步骤后，您将看到模型在该任务上的准确率评分。更多高级用法（如不同的检索策略、自一致性解码等）请参考官方 Examples 仓库。