切换到中文 | Online: Chat and Role-playing | QQ: QQ Group

最新更新 :star2:

1. 开源32K长上下文模型Index-1.9B-32K。详情：📖 Index-1.9B-32K_Long_Context_Technical_Report.md
2. 适配llamacpp和Ollama，详见Index-1.9B-Chat-GGUF
3. 开放衰减前的检查点供研究使用，详见Index-1.9B-Constant-LR

模型介绍

Index-1.9B系列是Index系列模型的轻量级版本，包含以下模型：

• Index-1.9B base：基础模型，拥有19亿非嵌入参数，在主要由中文和英文组成的2.8T语料上预训练而成，在多个评测基准上表现优于同级别模型。
• Index-1.9B pure：与基础模型参数和训练策略相同，但严格过滤掉了所有指令相关数据的对照版本，用于验证指令对基准测试的影响。
• Index-1.9B chat：基于Index-1.9B base，通过SFT和DPO对齐得到的对话模型。我们发现，由于在预训练中引入了大量互联网社区语料，该模型相比同级别模型具有更有趣的聊天能力以及强大的多语言（尤其是东亚语言）翻译能力。
• Index-1.9B character：在SFT和DPO的基础上引入RAG，实现少样本角色扮演定制。
• Index-1.9B-32K：Index-1.9B-32K是一款仅有19亿参数的语言模型，却支持32K的上下文长度（这意味着这个极其、极其小型的模型可以一次性读取超过35,000字的文档）。

评估结果

模型	平均分	英语平均分	MMLU	CEVAL	CMMLU	HellaSwag	Arc-C	Arc-E
Google Gemma 2B	41.58	46.77	41.81	31.36	31.02	66.82	36.39	42.07
Phi-2 (2.7B)	58.89	72.54	57.61	31.12	32.05	70.94	74.51	87.1
Qwen1.5-1.8B	58.96	59.28	47.05	59.48	57.12	58.33	56.82	74.93
Qwen2-1.5B(报告)	65.17	62.52	56.5	70.6	70.3	66.6	43.9	83.09
MiniCPM-2.4B-SFT	62.53	68.75	53.8	49.19	50.97	67.29	69.44	84.48
Index-1.9B-Pure	50.61	52.99	46.24	46.53	45.19	62.63	41.97	61.1
Index-1.9B	64.92	69.93	52.53	57.01	52.79	80.69	65.15	81.35
Llama2-7B	50.79	60.31	44.32	32.42	31.11	76	46.3	74.6
Mistral-7B(报告)	/	69.23	60.1	/	/	81.3	55.5	80
Baichuan2-7B	54.53	53.51	54.64	56.19	56.95	25.04	57.25	77.12
Llama2-13B	57.51	66.61	55.78	39.93	38.7	76.22	58.88	75.56
Baichuan2-13B	68.90	71.69	59.63	59.21	61.27	72.61	70.04	84.48
MPT-30B(报告)	/	63.48	46.9	/	/	79.9	50.6	76.5
Falcon-40B(报告)	/	68.18	55.4	/	/	83.6	54.5	79.2

评估代码基于OpenCompass，并进行了兼容性修改。详细信息请参阅evaluate文件夹。

模型下载

HuggingFace	ModelScope
🤗 Index-1.9B-Chat	Index-1.9B-Chat
🤗 Index-1.9B-Character (角色扮演)	Index-1.9B-Character (角色扮演)
🤗 Index-1.9B-Base	Index-1.9B-Base
🤗 Index-1.9B-Base-Pure	Index-1.9B-Base-Pure
🤗 Index-1.9B-32K (32K长上下文)	Index-1.9B-32K (32K长上下文)

使用说明

• 注意：Index-1.9B-32K只能使用此工具启动：demo/cli_long_text_demo.py!!!

环境搭建

1. 克隆本仓库：

git clone https://github.com/bilibili/Index-1.9B
cd Index-1.9B

2. 使用pip安装依赖：

pip install -r requirements.txt

使用Transformers加载

您可以通过以下代码加载Index-1.9B-Chat模型进行对话：

import argparse
from transformers import AutoTokenizer, pipeline

# 注意！目录名不能包含“.”，可替换为“_”。
parser = argparse.ArgumentParser()
parser.add_argument('--model_path', default="./IndexTeam/Index-1.9B-Chat/", type=str, help="")
parser.add_argument('--device', default="cpu", type=str, help="") # 也可以是“cuda”或“mps”（适用于Apple芯片）
args = parser.parse_args()

tokenizer = AutoTokenizer.from_pretrained(args.model_path, trust_remote_code=True)
generator = pipeline("text-generation",
                    model=args.model_path,
                    tokenizer=tokenizer, trust_remote_code=True, 
                    device=args.device)


system_message = "你是由哔哩哔哩自主研发的大语言模型，名为“Index”。你能够根据用户传入的信息，帮助用户完成指定的任务，并生成恰当的、符合要求的回复。"
query = "续写 天不生我金坷垃"
model_input = []
model_input.append({"role": "system", "content": system_message})
model_input.append({"role": "user", "content": query})

model_output = generator(model_input, max_new_tokens=300, top_k=5, top_p=0.8, temperature=0.3, repetition_penalty=1.1, do_sample=True)

print('User:', query)
print('Model:', model_output)

Web演示

依赖Gradio，安装命令如下：

pip install gradio==4.29.0

使用以下代码启动Web服务器。在浏览器中输入访问地址后，即可使用Index-1.9B-Chat模型进行对话：

python demo/web_demo.py --port='端口' --model_path='/模型路径/'

终端演示

注意：Index-1.9B-32K只能使用此工具启动：demo/cli_long_text_demo.py!!!

使用以下代码启动终端演示，以使用Index-1.9B-Chat模型进行对话：

python demo/cli_demo.py  --model_path='/模型路径/'

OpenAI API 示例

依赖 Flask，安装命令如下：

pip install flask==2.2.5

使用以下代码启动一个 Flask API：

python demo/openai_demo.py --model_path='/path/to/model/'

你可以通过命令行进行对话：

curl http://127.0.0.1:8010/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "messages": [
    {"role": "system", "content": "你是由哔哩哔哩自主研发的大语言模型，名为“Index”。你能够根据用户传入的信息，帮助用户完成指定的任务，并生成恰当的、符合要求的回复。"},
    {"role": "user", "content": "花儿为什么这么红？"}
    ]
    }'

Index-1.9B-32K 长上下文模型介绍

模型概述

Index-1.9B-32K 是一款仅有 19 亿参数的语言模型，却支持 32K 的上下文长度（这意味着这个极小的模型可以一次性读取超过 3.5 万字的文档）。该模型基于精心筛选的长文本训练数据和自建的长文本指令集，针对超过 32K 个 token 的文本进行了持续预训练和监督微调（SFT）。目前，该模型已在 Hugging Face 和 ModelScope 上开源。

尽管规模较小（约为 GPT-4 等模型的 2%），Index-1.9B-32K 却展现出卓越的长文本处理能力。 如图所示，我们的 19 亿参数模型得分甚至超过了 70 亿参数的模型。以下是与 GPT-4、Qwen2 等模型的对比：

Index-1.9B-32K 与 GPT-4、Qwen2 等模型在长上下文能力上的对比

在 32K 长度的“大海捞针”测试中，Index-1.9B-32K 取得了优异的成绩，如下图所示。唯一的例外是在 (32K 长度, 10% 深度) 区域出现了一个小小的黄色区域（91.08 分），其他大部分区域都表现良好，呈现绿色。

NeedleBench 评估

Index-1.9B-32K 模型下载、使用及技术报告：

有关 Index-1.9B-32K 的下载、使用方法和技术报告的详细信息，请参阅：

📖 Index-1.9B-32K 长上下文技术报告

---

---

Index 系列模型的详细信息及免责声明

Index-1.9B-Chat 输出示例

• 下面是一些使用 web_demo.py 获取 Index-1.9B-Chat 输出的示例。
• 将 System Message 改为扮演哔哩哔哩用户的刻板印象！
• 中文翻译成日语
• 日语翻译成中文

角色扮演

我们同时开源了角色扮演模型及其配套框架。

• 目前内置了角色 三三。
• 如果你需要创建自己的角色，请准备一份类似于 roleplay/character/三三.csv 的对话语料库（注意文件名应与你要创建的角色名称一致）以及相应的角色描述。点击 生成角色 即可成功创建。
• 如果对应的角色已经创建完毕，请直接在 Role name 栏中输入你想对话的角色，输入你的 query，然后点击 submit 开始对话。

详细使用方法请参考 roleplay 文件夹。

长文本翻译与摘要（Index-1.9B-32K）

• 运行长文本交互工具：demo/cli_long_text_demo.py
• 模型默认会读取此文件：data/user_long_text.txt，并用中文对文本进行摘要。
• 你可以打开一个新的窗口实时修改文件内容，模型会读取更新后的文件并重新摘要。

cd demo/
CUDA_VISIBLE_DEVICES=0 python cli_long_text_demo.py --model_path '/path/to/model/' --input_file_path data/user_long_text.txt

• 运行与互动示例（将 2024 年 8 月 22 日发布的哔哩哔哩财报翻译成英文并摘要 --- 原始英文报告在此)：

翻译与摘要（2024 年 8 月 22 日发布的哔哩哔哩财报）

量化

依赖 bitsandbytes，安装命令如下：

pip install bitsandbytes==0.43.0

你可以使用以下脚本进行 int4 量化，这样性能损失更小，同时还能进一步节省显存。

import torch
import argparse
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    TextIteratorStreamer,
    GenerationConfig,
    BitsAndBytesConfig
)

parser = argparse.ArgumentParser()
parser.add_argument('--model_path', default="", type=str, help="")
parser.add_argument('--save_model_path', default="", type=str, help="")
args = parser.parse_args()

tokenizer = AutoTokenizer.from_pretrained(args.model_path, trust_remote_code=True)
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    llm_int8_threshold=6.0,
    llm_int8_has_fp16_weight=False,
)
model = AutoModelForCausalLM.from_pretrained(args.model_path, 
                                             device_map="auto",
                                             torch_dtype=torch.float16,
                                             quantization_config=quantization_config,
                                             trust_remote_code=True)
model.save_pretrained(args.save_model_path)
tokenizer.save_pretrained(args.save_model_path)

微调

按照 微调教程 中的步骤，快速微调 Index-1.9B-Chat 模型。快来试试吧，定制属于你的专属 Index 模型！

限制与免责声明

Index-1.9B 在某些情况下可能会生成不准确、有偏见或令人反感的内容。该模型无法理解语境、表达个人观点或做出价值判断。其输出并不代表模型开发者的观点和立场。因此，请谨慎使用生成的内容。用户应自行评估和验证模型生成的内容，并避免传播有害信息。开发者在部署任何相关应用之前，应根据具体应用场景进行安全测试和微调。

我们强烈建议不要使用这些模型来创建或传播有害信息，或从事可能危害公共、国家和社会安全、违反法律法规的活动。未经适当的安全审查和备案，不得将这些模型用于互联网服务。尽管我们已尽最大努力确保训练数据的合规性，但由于模型和数据本身的复杂性，仍可能存在未预见的问题。对于因使用这些模型而产生的任何问题，无论是数据安全、舆论风险，还是因误解、误用、传播或不合规使用所引发的风险和问题，我们概不承担任何责任。

模型开源许可

使用本仓库中的源代码需遵守 Apache-2.0 许可协议。使用 Index-1.9B 模型权重则需遵守 INDEX_MODEL_LICENSE 许可协议。

Index-1.9B 模型权重对学术研究 完全开放，并支持 免费商业使用。

引用

如果您认为我们的工作对您有所帮助，请随时引用！

@article{Index,
  title={Index1.9B 技术报告},
  year={2024}
}

扩展工作

libllm：https://github.com/ling0322/libllm/blob/main/examples/python/run_bilibili_index.py

chatllm.cpp：https://github.com/foldl/chatllm.cpp/blob/master/docs/rag.md#role-play-with-rag

ollama：https://ollama.com/milkey/bilibili-index

self llm：https://github.com/datawhalechina/self-llm/blob/master/bilibili_Index-1.9B/04-Index-1.9B-Chat%20Lora%20微调.md

Index-1.9B 快速上手指南

Index-1.9B 是由哔哩哔哩开源的轻量级大语言模型系列，包含基座、对话、角色扮演及支持 32K 长上下文的版本。该模型在同等参数量下表现优异，尤其在中文语境、多语言翻译及长文本处理方面具有显著优势。

环境准备

• 系统要求：Linux / macOS / Windows (推荐 Linux)
• Python 版本：建议 Python 3.8+
• 硬件要求：
  • 常规推理：支持 CPU 或 NVIDIA GPU (CUDA)。Apple Silicon 可使用 MPS 加速。
  • 长文本模型 (32K)：建议使用显存较大的 GPU 以获得更佳体验。
• 前置依赖：Git, pip

安装步骤

1. 克隆项目仓库

   git clone https://github.com/bilibili/Index-1.9B
   cd Index-1.9B
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   

3. 可选：安装 Web 演示依赖 (Gradio) 如需使用网页版交互界面：

   pip install gradio==4.29.0
   

4. 可选：安装 API 服务依赖 (Flask) 如需部署 OpenAI 兼容接口：

   pip install flask==2.2.5
   

提示：国内用户若下载模型权重较慢，推荐使用 ModelScope (魔搭) 镜像源。

• HuggingFace 地址：IndexTeam/Index-1.9B-Chat
• ModelScope 地址：IndexTeam/Index-1.9B-Chat (可在代码中将路径替换为本地 ModelScope 缓存路径)

基本使用

1. Python 代码调用 (Transformers)

以下示例展示如何加载 Index-1.9B-Chat 模型进行对话。请确保已下载模型权重至本地目录。

import argparse
from transformers import AutoTokenizer, pipeline

# 注意：模型目录名称中不要包含"."，如有需要可用"_"替换
parser = argparse.ArgumentParser()
parser.add_argument('--model_path', default="./IndexTeam/Index-1.9B-Chat/", type=str, help="")
parser.add_argument('--device', default="cpu", type=str, help="") # 也可设置为 "cuda" 或 "mps" (Apple Silicon)
args = parser.parse_args()

tokenizer = AutoTokenizer.from_pretrained(args.model_path, trust_remote_code=True)
generator = pipeline("text-generation",
                    model=args.model_path,
                    tokenizer=tokenizer, trust_remote_code=True, 
                    device=args.device)


system_message = "你是由哔哩哔哩自主研发的大语言模型，名为"Index"。你能够根据用户传入的信息，帮助用户完成指定的任务，并生成恰当的、符合要求的回复。"
query = "续写 天不生我金坷垃"
model_input = []
model_input.append({"role": "system", "content": system_message})
model_input.append({"role": "user", "content": query})

model_output = generator(model_input, max_new_tokens=300, top_k=5, top_p=0.8, temperature=0.3, repetition_penalty=1.1, do_sample=True)

print('User:', query)
print('Model:', model_output)

2. 命令行终端对话 (CLI Demo)

运行以下命令启动终端交互式对话：

python demo/cli_demo.py --model_path='/path/to/model/'

特别注意：如果您使用的是 Index-1.9B-32K (长上下文版本)，必须使用专用脚本启动：

python demo/cli_long_text_demo.py --model_path='/path/to/model/' --input_file_path data/user_long_text.txt

3. Web 网页演示

启动本地 Web 服务器，通过浏览器访问进行对话：

python demo/web_demo.py --port='8080' --model_path='/path/to/model/'

启动后在浏览器输入 http://127.0.0.1:8080 即可使用。

4. OpenAI 兼容 API

启动 Flask 服务以提供兼容 OpenAI 格式的 API：

python demo/openai_demo.py --model_path='/path/to/model/'

调用示例 (curl)：

curl http://127.0.0.1:8010/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "messages": [
    {"role": "system", "content": "你是由哔哩哔哩自主研发的大语言模型，名为"Index"。"},
    {"role": "user", "content": "花儿为什么这么红？"}
    ]
    }'