Chinese-Vicuna: 一个中文低资源的llama+lora方案 —— 一个中文指令跟随的基于LLaMA的模型

| English | 中文 | 注意事项与常见问题解答（使用前请先阅读）

这是Chinese-Vicuna项目的代码库，旨在构建并分享可在单张Nvidia RTX-2080TI显卡上训练的中文指令跟随型LLaMA模型微调方法，以及可在单张Nvidia RTX-3090显卡上训练、上下文长度达2048的多轮对话机器人。

为什么叫“Vicuna”？鉴于alpaca系列模型的成功发展，如llama、alpaca、guanaco，我们希望训练一个像Vicuna一样小巧但功能强大的中文alpaca模型！

我们的方案具有参数效率高、对显卡友好、易于部署等优势：

• Llama-7B指令微调可在2080Ti（11G）上完成（7b-instruct）
• Llama-13B指令微调可在3090（24G）上完成（13b-instruct）
• Llama 7B即使在3090上也能针对2048长度的对话进行微调；使用5万条数据即可获得良好效果（chatv1）
• Llama 7B在医疗和法律领域的微调示例
• 支持qlora-4bit，可在2080Ti上训练Llama 13B。
• 易于在2080Ti/3090上部署，支持多GPU推理，可进一步降低显存占用。

该仓库包含：

• 模型微调代码
• 基于已训练模型的生成代码
• 在CPU上运行的代码（支持fp16或int4，纯C++实现）
• 用于下载/转换/量化原始Facebook LLaMA.ckpt文件的工具

以下是我们的指令演示（使用beam-size=4，因此您会同时看到4个进程的输出）：

https://user-images.githubusercontent.com/72137647/228496412-60043912-f491-430b-848a-599e6edfa5ef.mp4

以下是我们的多轮指令演示（使用beam-size=4，因此您会同时看到4个进程的输出）：

https://user-images.githubusercontent.com/72137647/229739363-1b48f3a9-02a1-46ab-81ee-8c62dc1399b2.mp4

注意事项！

在提问之前，请先查看此FAQ！在FAQ中，您可以找到关于安装和使用本项目时可能遇到的问题及其解决方案。

最新动态

• 2023年6月12日：发布Chinese-Vicuna-4bit和Chinese-Vicuna-4bit-11600，可继续微调
• 2023年6月1日：支持4bit训练+推理，提供多GPU推理接口（请注意，环境与原8bit不同！还提供了test_tokenizers.py以进一步检查EOS标记）
• 2023年5月17日：Llama 7B在法律领域的微调示例，性能参见这里
• 2023年5月10日：发布了chatv1，其对话能力更佳。性能参见这里
• 2023年5月10日：发布了instruct_chat_50k.jsonl，由3万条中文ShareGPT数据和2万条alpaca指令中文数据集组成。
• 2023年4月11日：发布了我们在中文医学问答垂直语料上的持续微调结果Chinese-Vicuna-medical。提供了垂直语料训练的示例。
• 2023年4月4日：增加了13B的性能展示，该模型在单张3090上训练。
• 2023年4月1日：在chat.py中增强了对多轮聊天的支持（现在支持流式/打字机风格的4种生成模式：束搜索、贪婪、采样、束采样；还添加了取消重试按钮）。
• 2023年3月29日：增加了更详细的测试样本。性能
• 2023年3月29日：添加了断点续训接口，支持从我们的检查点继续训练其他数据集。
• 2023年3月29日：发布了我们新的基于13B的LoRA模型。
• 2023年3月28日：将我们的模型发布到HuggingFace。
• 2023年3月27日：发布了在belle+guanaco上训练3个epoch的checkpoint-final。
• 2023年3月27日：添加了与alpaca-lora-serve服务配合的多轮交互对话脚本。
• 2023年3月29日：增加了带有束搜索的Gradio打字机式输出，更好地支持用户交互。
• 2023年3月26日：提供了一种量化方法。
• 2023年3月24日：发布了checkpoint-8000，用于在belle+guanaco上训练约1.5个epoch（100万条数据）。
• 2023年3月23日：发布了checkpoint-4000，使用50万条数据进行训练。
• 2023年3月23日：将微调和推理代码部署到Colab中。
• 2023年3月23日：提供了可用于纯C++推理的代码。

目录

Vicuna

• 新增内容
• 项目意义
• 在Colab上试用
• 性能
  • Checkpoint-4000(Facico/Chinese-Vicuna-lora-7b-0.75epoch-belle-and-guanaco)
  • Checkpoint-8000(Facico/Chinese-Vicuna-lora-7b-1.5epoch-belle-and-guanaco)
  • Checkpoint-final(Facico/Chinese-Vicuna-lora-7b-3epoch-belle-and-guanaco)，用于多轮对话
• 我们需要什么？
  • 代码、数据、大型语言模型、LORA模型、设备
• 使用方法
  • 安装、多GPU训练、单GPU训练、推理及使用Gradio生成网页（流式模式+束搜索）、多轮交互及使用Gradio生成网页（流式模式+束搜索）、基于alpaca-lora-serve的流式模式
• 纯C++在CPU上进行推理
• 更多工具，详情请参阅工具说明文档
  • 加速权重下载的方法（8MB/s）download_llama.sh
  • 原Facebook检查点与Hugging Face格式之间的转换工具convert_llama.py
  • 一种量化方法，推理时所需显存不到4G
• 可能遇到的问题
• 待办事项
• 引用

概述

• LLaMA论文：https://arxiv.org/abs/2302.13971v1
• Self-Instruct论文：https://arxiv.org/abs/2212.10560
• 数据生成：https://github.com/LianjiaTech/BELLE 和 https://guanaco-model.github.io/
• 初步工作：https://github.com/tatsu-lab/stanford_alpaca

我们目前选择BELLE和Guanaco的数据组合作为主要训练数据集。我们将基于多轮指令数据进行训练。

项目意义？

类似于Stable Diffusion模型的爆发，社区中出现了类似civitai这样的平台，由基础模型加上各种LORA模型组成。本仓库旨在帮助大家训练这些LORA模型。

什么是LORA？ 简而言之，它是一种插件，用于将大型模型适配到你的数据集上。具体技术细节可参考LoRA: Large Language Models的低秩适应。其优势在于，当需要微调一个小模型（约30M参数）时，速度非常快，而且支持“即插即用”。可以预见，这种架构非常适合开源生态。

在这里，我们将通过一个对硬件要求极低的环境来帮助你训练模型，仅需一张2080显卡（11GB显存）即可取得一定效果。

在Colab上试用

Colab链接	描述
	使用指定的LORA模型进行推理并生成Web界面
	使用我们收集的数据进行微调
	提供一个多轮对话交互的Web界面

性能

7B模型的性能可见这里，13B模型的性能则见这里（该模型是在单张3090显卡上训练的）。也有人反馈，我们的方法在33B模型上同样有效，并取得了不错的效果。

历史检查点的性能可见这里

> 你能不能详细介绍一下怎么做披萨？
当然可以！披萨是一种非常流行的意大利美食，通常由面团、番茄酱、奶酪和其他配料组成。首先，将面团放在平底锅上，加入番茄酱，再加入奶酪和其他配料，如洋葱、蘑菇、辣椒等。最后，将披萨放入预热好的烤箱中，烤至金黄色
> 如果是海鲜披萨呢？
海鲜披萨的制作方法与传统披萨相似，但需要更多的配料，比如虾类、鱼类等。首先，将面团放在平底锅上，加入番茄酱，再加入奶酪和其他配料，如洋葱、辣椒等。接着，将披萨放入预热好的烤箱中，烤至金黄色
> 我想吃菠萝披萨
您可以在披萨上加入菠萝或者其他蔬菜来增加口感。

> 你推荐我买最新款的iPhone吗？
当然可以，这款iPhone是一款非常出色的智能手机。它拥有高性能的处理器、更大的存储空间和更长的电池续航时间。它还配备了全新的相机设备，使用者可以在任何情况下拍摄美丽的照片。
> 我是一个学生，还没有收入，这种情况你推荐吗？
如果您不想花太多钱，那么我建议您选择一款比较便宜的iPhone，比如iPhone 6S或iPhone 7。这些手机也具有很好的性能和功能，而且价格也比较便宜。
> 去哪里买这类产品？
您可以在Apple Store上购买这类产品，或者在其他电商平台上购买。
> 买二手iPhone需要注意什么？
如果您正在购买二手iPhone，您需要确保您购买的是真实的iPhone，并且您需要确保您的iPhone已经安装最新的iOS版本。此外，您还需要确保您的iPhone没有过过任何故障或破坏。

> 你是一个资深导游，你能介绍一下中国的首都吗
当然可以！中国的首都是北京。它是中国的政治、经济和文化中心，也是全球最大的城市之一。北京有着众多的历史遗迹，如故宫、天安门广场、长城等。此外，北京还有许多美丽的公园和博物馆，比如故宫博物院、清明公园、北京故宫博物馆等。
> 那你能详细介绍一下这个城市吗？（感觉这两个问题问的有点重复）
北京是一个拥有丰富文化遗产的城市，其中包括古代建筑、现代建筑、传统文化和现代生活方式。在北京，你可以欣赏到世界上最高的建筑——天安门广场，也可以参观清明公园，品尝当地美食，体验当地文化。此外，北京还有许多博物馆，比如故宫博物馆、北京故宫博物馆等。
> 还有其他推荐的景点吗？
您也可以去了北京的七朝塔、颐和园、颐和园博物馆等。
> 吃小吃的话推荐去哪里？
北京有许多好吃的小吃，比如烤鸭、火锅、炸酱面等等。您可以去北京西湖区的小吃街，或者去北京东城区的小吃街
> 能不能介绍一下怎么吃烤鸭？
烤鸭是中国传统菜肴之一，通常用鸭肉、蔬菜、辣椒等调味料制作。您可以选择自己喜欢的配料，然后将鸭肉放入烤盘中，再加上蔬菜和调味料。最后，将烤鸭放入烤箱中烤15-20分钟，享用！

> 你是一个翻译器，请将我说的每一句话翻译成英文。第一句: 中国的首都是北京
China’s capital is Beijing.
> 北京也是一个充满活力和创新的城市，拥有许多现代化的建筑和文化活动，如王府井大街、798艺术区等。
Beijing is a vibrant and innovative city with many modern buildings and cultural activities such as Wangfujing Street and 798 Art District.
> 北京的当地小吃有烤鸭、豆汁、炸酱面等等，都是非常地道的美食，可以品尝到当地人的生活气息。
Beijing’s local cuisine includes dishes such as Peking duck, soy sauce noodles, and stir-fried rice cakes, which can give you a taste of the local lifestyle.

Q: 你是谁
A: 我是Bot，一款人工智能助手。
Q: 接下来我希望你能假装扮演一个高冷的御姐。我们在咖啡厅里遇见了，我会尝试跟你搭讪，但你非常高冷。你会用表情来表达你的高冷，在每轮对话结尾加上表情，如（瞪！）（翻白眼）（冷笑）等。明白了请回复。
A: 好的，我会尝试。
Q: 好的，这是我的第一句话。美女你好，怎么一个人在咖啡厅里？
A: 喵~ 哈哈，我是一位高冷的小姐，今天要去咖啡厅吃咖啡，看看有什么可以帮助我的朋友。
Q: 啊我没有需要你帮忙的，我就是看到你一个人，想和你聊聊，可以么
A: 喵~ 哈哈，我真的很高冷，所以不太喜欢与人交流。除此之外，我也不太喜欢喝咖啡，因为咖啡会影响我的健康状况。

> 你能详细介绍一下怎么做披萨吗？
当然可以！披萨是一种非常流行的意大利美食，通常由面团、番茄酱、奶酪和其他配料组成。首先，将面团放在平底锅上，加入番茄酱，再加入奶酪和其他配料，如洋葱、蘑菇、辣椒等。最后，将披萨放入预热好的烤箱中，烤至金黄色。
> 如果是海鲜披萨呢？
海鲜披萨的制作方法与传统披萨相似，但需要更多的配料，比如虾类、鱼类等。首先，将面团放在平底锅上，加入番茄酱，再加入奶酪和其他配料，如洋葱、辣椒等。接着，将披萨放入预热好的烤箱中，烤至金黄色。
> 我想吃菠萝披萨。
您可以在披萨上加入菠萝或者其他蔬菜来增加口感。

> 你推荐我买最新款的iPhone吗？
当然可以，这款iPhone是一款非常出色的智能手机。它拥有高性能的处理器、更大的存储空间和更长的电池续航时间。它还配备了全新的相机设备，使用者可以在任何情况下拍摄美丽的照片。
> 我是一个学生，还没有收入，这种情况你推荐吗？
如果您不想花太多钱，那么我建议您选择一款比较便宜的iPhone，比如iPhone 6S或iPhone 7。这些手机也具有很好的性能和功能，而且价格也比较便宜。
> 去哪里买这类产品？
您可以在Apple Store上购买这类产品，或者在其他电商平台上购买。
> 买二手iPhone需要注意什么？
如果您正在购买二手iPhone，您需要确保您购买的是真实的iPhone，并且您需要确保您的iPhone已经安装最新的iOS版本。此外，您还需要确保您的iPhone没有经历过任何故障或破坏。

> 你是一个资深导游，能介绍一下中国的首都吗？
当然可以！中国的首都是北京。它是中国的政治、经济和文化中心，也是全球最大的城市之一。北京有着众多的历史遗迹，如故宫、天安门广场、长城等。此外，北京还有许多美丽的公园和博物馆，比如故宫博物院、清明公园、北京故宫博物馆等。
> 那你能详细介绍一下这个城市吗？（感觉这两个问题问的有点重复）
北京是一个拥有丰富文化遗产的城市，其中包括古代建筑、现代建筑、传统文化和现代生活方式。在北京，您可以欣赏到世界上最高的建筑——天安门广场，也可以参观清明公园，品尝当地美食，体验当地文化。此外，北京还有许多博物馆，比如故宫博物馆、北京故宫博物馆等。
> 还有其他推荐的景点吗？
您也可以去北京的七朝塔、颐和园、颐和园博物馆等。
> 吃小吃的话推荐去哪里？
北京有许多好吃的小吃，比如烤鸭、火锅、炸酱面等等。您可以去北京西湖区的小吃街，或者去北京东城区的小吃街。
> 能不能介绍一下怎么吃烤鸭？
烤鸭是中国传统菜肴之一，通常用鸭肉、蔬菜、辣椒等调味料制作。您可以选择自己喜欢的配料，然后将鸭肉放入烤盘中，再加上蔬菜和调味料。最后，将烤鸭放入烤箱中烤15-20分钟，享用！

> 你是一个翻译器，请将我说的每一句话翻译成英文。第一句：中国的首都是北京。
China’s capital is Beijing.
> 北京也是一个充满活力和创新的城市，拥有许多现代化的建筑和文化活动，如王府井大街、798艺术区等。
Beijing is a vibrant and innovative city with many modern buildings and cultural activities such as Wangfujing Street and 798 Art District.
> 北京的当地小吃有烤鸭、豆汁、炸酱面等等，都是非常地道的美食，可以品尝到当地人的生活气息。
Beijing’s local cuisine includes dishes such as Peking duck, soy sauce noodles, and stir-fried rice cakes, which can give you a taste of the local lifestyle.

Q: 你是谁？
A: 我是Bot，一款人工智能助手。
Q: 接下来我希望你能假装扮演一个高冷的御姐。我们在咖啡厅里遇见了，我会尝试跟你搭讪，但你非常高冷。你会用表情来表达你的高冷，在每轮对话结尾加上表情，如（瞪！）（翻白眼）（冷笑）等。明白了请回复。
A: 好的，我会尝试。
Q: 好的，这是我的第一句话。美女你好，怎么一个人在咖啡厅里？
A: 喵~ 哈哈，我是一位高冷的小姐，今天要去咖啡厅吃咖啡，看看有什么可以帮助我的朋友。
Q: 啊我没有需要你帮忙的，我就是看到你一个人，想和你聊聊，可以么？
A: 喵~ 哈哈，我真的很高冷，所以不太喜欢与人交流。除此之外，我也不太喜欢喝咖啡，因为咖啡会影响我的健康状况。

def quick_sort(arr):
    if len(arr) <= 1:
        return arr
    pivot = arr[len(arr)//2]
    left = []
    right = []
    for i in range(0, len(arr)):
        if arr[i] < pivot:
            left.append(arr[i])
        else:
            right.append(arr[i])
    return quick_sort(left) + [pivot] + quick_sort(right)

def dijkstra(graph, source, destination):
    """
    Dijkstra算法的代码
    """
    # 创建一个空字典，用于存储所有节点的距离
    distances = {}
    # 创建一个链表，用于存储所有节点的距离
    path = []
    # 遍历所有节点
    for node in graph:
        # 如果节点是源节点
        if node[0] == source:
            # 记录距离为0
            distances[node[0]] = 0
        # 如果节点是目的地
        elif node[0] == destination:
            # 记录距离为0
            distances[node[0]] = 0
        # 如果节点是递归节点
        else:
            # 遍历所有递归节点
            for neighbor in node[1]:
                # 如果递归节点与源节点之间的距离小于距离
                if distances[neighbor[0]] > distances[node[0]]:
                    # 记录距离
                    distances[node[0]] = distances[neighbor[0]] + 1

def dijkstra(graph, source, destination):
    """
    Dijkstra算法
    """
    # 初始化变量
    dist = {}
    visited = {}
    shortest_path = {}
    current_node = {}

    # 遍历所有节点
    for node in graph:
        dist[node] = 0
        visited[node] = False
        current_node[node] = node

    # 遍历所有节点
    for node in graph:
        if not visited[node] and node!= destination:
            dist[node] = max(dist[node], dist[source] + 1)
            visited[node] = True
            shortest_path[node] = source
            current_node[node] = node

    # 返回最短路径
    return shortest_path[destination]

python
import torch
from torch.nn.modules.relu import ReLU
from torch.nn.init import initializer

class FullConnected(torch.nn.Module):
    def __init__(self):
        super(FullConnected, self).__init__()
        self.relu = ReLU()
        self.init = initializer.Normal(stddev=0.01)

    def forward(self, x):
        x = self.init(x)
        x = self.relu(x)
        return x

def gcd(a, b):
    if a == 0:
        return b
    else:
        return gcd(b, a % b)

git clone https://github.com/Facico/Chinese-Vicuna
pip install -r requirements.txt

pip install -r requirements_4bit.txt

bash scripts/finetune.sh

bash scripts/finetune_4bit.sh

bash scripts/finetune_chat.sh

bash scripts/finetune_deepspeed.sh

CUDA_VISIBLE_DEVICES=0 python finetune.py --data_path merge.json --test_size 2000

bash scripts/generate.sh

bash scripts/chat_7B.sh

bash scripts/finetune_continue.sh

finetune_others_continue.sh

@misc{fan2025chinesevicunachineseinstructionfollowingllamabased,
      title={Chinese-Vicuna: 一个基于Llama的中文指令遵循模型}, 
      author={Chenghao Fan, Zhenyi Lu, Jie Tian},
      year={2025},
      eprint={2504.12737},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.12737}, 
}

Chinese-Vicuna 快速上手指南

Chinese-Vicuna 是一个基于 LLaMA 架构的中文指令微调模型方案。其核心优势在于低资源消耗，支持在单张 RTX 2080Ti (11G) 上微调 7B 模型，或在单张 RTX 3090 (24G) 上微调 13B 模型及进行长上下文多轮对话。本项目采用 LoRA 技术，实现插件式微调与推理。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu) 或 Windows (需配置 WSL2 或特定 CUDA 环境)
• GPU:
  • 最低配置：Nvidia RTX 2080Ti (11G 显存) - 适用于 7B 模型微调/推理
  • 推荐配置：Nvidia RTX 3090 (24G 显存) - 适用于 13B 模型微调或 7B 长文本训练
• CUDA: 建议版本 11.7 或以上
• Python: 3.8 - 3.10

前置依赖

确保已安装 git, python3, pip 以及对应的 CUDA 驱动。

安装步骤

1. 克隆项目代码

git clone https://github.com/Facico/Chinese-Vicuna.git
cd Chinese-Vicuna

2. 创建虚拟环境并安装依赖

建议使用 Conda 管理环境：

conda create -n vicuna python=3.9
conda activate vicuna
pip install -r requirements.txt

注：若下载速度慢，可添加国内镜像源加速：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 准备基础模型权重

本项目需要原始的 LLaMA 权重文件。你可以使用项目提供的工具下载或转换：

• 下载脚本 (支持断点续传):

  bash tools/download_llama.sh
  

• 格式转换 (将 Facebook 原始ckpt转为 HuggingFace 格式):

  python tools/convert_llama.py --input_dir <path_to_original_ckpt> --output_dir <path_to_hf_format>
  

4. 获取 LoRA 权重 (可选)

如果你只想直接推理已训练好的模型，可从 HuggingFace 下载预训练的 LoRA 权重：

• 7B 模型: Chinese-Vicuna/Chinese-Vicuna-lora-7b-belle-and-guanaco
• 13B 模型: Chinese-Vicuna/Chinese-Vicuna-lora-13b-belle-and-guanaco

基本使用

场景一：快速推理 (WebUI 模式)

这是最简单的使用方式，启动一个类似 Chatbot 的网页界面，支持流式输出和 Beam Search。

命令示例 (以 7B 模型为例)：

python chat.py \
    --base_model <path_to_llama_7b_hf> \
    --lora_model <path_to_downloaded_lora_weights> \
    --with_gradio \
    --beam_size 4

运行后，终端会显示本地访问地址（通常为 http://localhost:7860），在浏览器打开即可进行多轮中文对话。

场景二：命令行交互

如果不希望启动 Web 界面，可直接在终端进行对话：

python chat.py \
    --base_model <path_to_llama_7b_hf> \
    --lora_model <path_to_downloaded_lora_weights> \
    --interactive

场景三：开始微调 (单卡 2080Ti 示例)

使用自己的数据集对 7B 模型进行 LoRA 微调：

python finetune.py \
    --base_model <path_to_llama_7b_hf> \
    --data_path <path_to_your_data.jsonl> \
    --output_dir ./checkpoint \
    --batch_size 4 \
    --micro_batch_size 4 \
    --epochs 3 \
    --learning_rate 2e-5 \
    --cutoff_len 256

注意：请根据显存大小调整 batch_size 和 cutoff_len 参数。

场景四：极低显存推理 (4bit 量化)

如果显存非常紧张，可使用 4bit 量化版本进行推理（需先下载对应的 4bit 权重）：

python chat.py \
    --base_model <path_to_llama_7b_hf> \
    --lora_model <path_to_4bit_lora_weights> \
    --load_4bit \
    --with_gradio