English  |   中文

🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel

👩‍🚀 在 GitHub 上提问或讨论想法

👋 加入我们的 👾 Discord 或 💬 微信

📝 查看 Yi 技术报告

📚 在 Yi 学习中心 不断成长

💪 在 Yi 技术博客 学习更多知识

什么是 Yi？

简介

• 🤖 Yi 系列模型是由 01.AI 从零开始训练的下一代开源大型语言模型。

• 🙌 作为一款双语语言模型，Yi 系列模型基于 3T 多语言语料库进行训练，已成为全球最强大的 LLM 之一，在语言理解、常识推理、阅读理解等方面表现出色。例如：

  • Yi-34B-Chat 模型在 AlpacaEval 排行榜上位居第二（仅次于 GPT-4 Turbo），超越了 GPT-4、Mixtral、Claude 等其他 LLM（数据截至 2024 年 1 月）。

  • Yi-34B 模型在多个基准测试中，包括 Hugging Face Open LLM Leaderboard（预训练）和 C-Eval（数据截至 2023 年 11 月），在英语和中文两个语种中均排名第一，领先于 Falcon-180B、Llama-70B、Claude 等现有开源模型。

  • 🙏 （感谢 Llama）得益于 Transformer 和 Llama 开源社区的努力，它们大大减少了从零构建模型所需的工作量，并使得 AI 生态系统中的工具得以共享使用。

  如果你对 Yi 如何采用 Llama 架构以及其许可使用政策感兴趣，请参阅 Yi 与 Llama 的关系。 ⬇️

  
  

  💡 TL;DR

  Yi 系列模型采用了与 Llama 相同的模型架构，但并非 Llama 的衍生品。

  • Yi 和 Llama 都基于 Transformer 结构，自 2018 年以来，Transformer 已成为大型语言模型的标准架构。

  • 基于 Transformer 架构，Llama 凭借其出色的稳定性、可靠的收敛性和强大的兼容性，已成为大多数先进开源模型的新基石，也因此被公认为包括 Yi 在内的诸多模型的基础框架。

  • 正是由于 Transformer 和 Llama 架构的存在，其他模型能够充分利用其优势，从而减少从零构建模型所需的努力，并在各自的生态系统中共享使用相同的工具。

  • 然而，Yi 系列模型并非 Llama 的衍生品，因为它们并未使用 Llama 的权重。

    • 由于大多数开源模型都采用了 Llama 的结构，决定模型性能的关键因素在于训练数据集、训练流程以及训练基础设施。

    • Yi 以独特且自主的方式，完全从头开始构建了高质量的训练数据集、高效的训练流程以及稳健的训练基础设施。正是这些努力使 Yi 系列模型取得了优异的成绩，其性能紧随 GPT4 之后，并在 2023 年 12 月的 [Alpaca 排行榜] 上超越了 Llama。

[ 返回顶部 ⬆️ ]

新闻

[ 返回顶部 ⬆️ ]

模型

Yi 模型拥有多种尺寸，可满足不同应用场景的需求。您还可以对 Yi 模型进行微调，以更好地适配您的具体要求。

如果您希望部署 Yi 模型，请确保满足软硬件要求。

聊天模型

<sub><sup>- 4 位系列模型采用 AWQ 量化。
- 8 位系列模型采用 GPTQ 量化。
- 所有量化后的模型使用门槛较低，可在消费级 GPU 上部署（如 3090、4090）。</sup></sub>

基础模型

<sub><sup>- 200k 大致相当于 40 万汉字。
- 如果您想使用 Yi-34B-200K 的旧版本（于 2023 年 11 月 5 日发布），请运行 git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf 来下载权重。</sup></sub>

模型信息

• 对于聊天和基础模型

• 对于聊天模型

  关于聊天模型的局限性，请参阅下方说明。⬇️

  
  发布的聊天模型经过了监督微调（SFT）的专属训练。与其他标准聊天模型相比，我们的模型能够产生更多样化的回复，因此适用于各种下游任务，例如创意场景。此外，这种多样性有望提高生成更高质量回复的可能性，这将有利于后续的强化学习（RL）训练。

  
  然而，这种更高的多样性可能会放大某些现有问题，包括：

  • 幻觉：指模型生成事实不正确或不合逻辑的信息。随着模型回复变得更加多样化，出现基于不准确数据或缺乏逻辑推理的幻觉的可能性也会增加。
  • 重新生成时的非确定性：在尝试重新生成或采样回复时，可能会出现结果不一致的情况。多样性的增加可能导致即使在相似的输入条件下，也会产生不同的结果。
  • 累积误差：当模型回复中的错误随着时间推移而不断累积时就会发生这种情况。随着模型生成更多样化的回复，小的不准确性逐渐积累成较大误差的可能性会增加，尤其是在复杂的任务中，如长篇推理、数学问题求解等。
  • 为了获得更加连贯和一致的回复，建议调整生成配置参数，例如温度、top_p 或 top_k。这些调整有助于在模型输出的创造性和连贯性之间取得平衡。

[ 返回顶部 ⬆️ ]

如何使用 Yi？

• 快速入门
  • 选择你的路径
  • pip
  • docker
  • conda-lock
  • llama.cpp
  • Web 演示
• 微调
• 量化
• 部署
• 常见问题
• 学习中心

快速入门

💡 提示: 如果您想开始使用 Yi 模型并探索不同的推理方法，请查看 Yi 烹饪书。

选择你的路径

请选择以下其中一个路径，开始你与 Yi 的旅程！

🎯 在本地部署 Yi

如果你更倾向于在本地部署 Yi 模型：

• 🙋‍♀️ 如果你拥有 充足 的资源（例如 NVIDIA A800 80GB），你可以选择以下方法之一：

  • pip
  • Docker
  • conda-lock

• 🙋‍♀️ 如果你只有 有限 的资源（例如 MacBook Pro），可以使用 llama.cpp。

🎯 不在本地部署 Yi

如果你不希望在本地部署 Yi 模型，可以通过以下任意一种方式来体验 Yi 的能力。

🙋‍♀️ 使用 API 运行 Yi

如果你想探索 Yi 的更多功能，可以采用以下方法之一：

• Yi 官方 API

  • 已向部分申请者开放了 早期访问权限（推文链接）。敬请关注下一轮开放！

• Yi API（Replicate）

🙋‍♀️ 在 Playground 中运行 Yi

如果你想以更多自定义选项（如系统提示、温度、重复惩罚等）与 Yi 对话，可以尝试以下几种方式：

• Yi-34B-Chat-Playground（Yi 官方）

  • 需通过白名单访问。欢迎申请（填写 英文表单 或 中文表单）。

• Yi-34B-Chat-Playground（Replicate）

🙋‍♀️ 与 Yi 聊天

如果你想与 Yi 对话，可以使用以下在线服务，它们提供相似的用户体验：

• Yi-34B-Chat（Hugging Face 上的 Yi 官方版本）

  • 无需注册。

• Yi-34B-Chat（Yi 官方测试版）

  • 需通过白名单访问。欢迎申请（填写 英文表单 或 中文表单）。

[ 返回顶部 ⬆️ ]

快速入门 - pip

本教程将指导你完成在 A800（80G）上本地运行 Yi-34B-Chat 并进行推理的全过程。

步骤 0：先决条件

• 确保已安装 Python 3.10 或更高版本。

• 如果你想运行其他 Yi 模型，请参阅 软硬件要求。

步骤 1：准备环境

要设置环境并安装所需包，请执行以下命令。

git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txt

步骤 2：下载 Yi 模型

你可以从以下来源下载 Yi 模型的权重和分词器：

• Hugging Face
• ModelScope
• WiseModel

步骤 3：进行推理

你可以按照以下方式对 Yi 的聊天模型或基础模型进行推理。

使用 Yi 聊天模型进行推理

1. 创建一个名为 quick_start.py 的文件，并将以下内容复制到其中。

   from transformers import AutoModelForCausalLM, AutoTokenizer
   
   model_path = '<your-model-path>'
   
   tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)
   
   # 自 transformers 4.35.0 起，GPT-Q/AWQ 模型可使用 AutoModelForCausalLM 加载。
   model = AutoModelForCausalLM.from_pretrained(
       model_path,
       device_map="auto",
       torch_dtype='auto'
   ).eval()
   
   # 提示内容：“hi”
   messages = [
       {"role": "user", "content": "hi"}
   ]
   
   input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, add_generation_prompt=True, return_tensors='pt')
   output_ids = model.generate(input_ids.to('cuda'))
   response = tokenizer.decode(output_ids[0][input_ids.shape[1]:], skip_special_tokens=True)
   
   # 模型响应：“Hello! How can I assist you today?”
   print(response)
   

2. 运行 quick_start.py。

   python quick_start.py
   

   你将看到类似以下的输出。🥳

   Hello! How can I assist you today?
   

使用 Yi 基础模型进行推理

• Yi-34B

  步骤与 pip - 使用 Yi 聊天模型进行推理 类似。

  你可以直接使用现有的文件 text_generation.py。

  python demo/text_generation.py  --model <your-model-path>
  

  你将看到类似以下的输出。🥳

  输出。⬇️

  
  

  提示：让我给你讲一个关于猫汤姆和老鼠杰瑞的有趣故事，

  生成：让我给你讲一个关于猫汤姆和老鼠杰瑞的有趣故事，这发生在我小时候。我父亲有一栋大房子，里面养了两只猫来抓老鼠。有一天，我独自在家玩耍时，发现其中一只公猫正仰面躺在厨房门口附近，看起来好像想让我们做点什么，却因为周围人太多而起不来！它试了好几分钟，最后还是放弃了……

• Yi-9B

  输入

  from transformers import AutoModelForCausalLM, AutoTokenizer
  
  MODEL_DIR = "01-ai/Yi-9B"
  model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype="auto")
  tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, use_fast=False)
  
  input_text = "# 写出快速排序算法"
  inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
  outputs = model.generate(**inputs, max_length=256)
  print(tokenizer.decode(outputs[0], skip_special_tokens=True))
  

  输出

  # 写出快速排序算法
  def quick_sort(arr):
      if len(arr) <= 1:
          return arr
      pivot = arr[len(arr) // 2]
      left = [x for x in arr if x < pivot]
      middle = [x for x in arr if x == pivot]
      right = [x for x in arr if x > pivot]
      return quick_sort(left) + middle + quick_sort(right)
  
  # 测试快速排序算法
  print(quick_sort([3, 6, 8, 10, 1, 2, 1]))
  

[ 返回顶部 ⬆️ ]

快速入门 - Docker

docker run -it --gpus all \
-v <your-model-path>: /models
ghcr.io/01-ai/yi:latest

快速入门 - conda-lock

快速入门 - llama.cpp

以下教程将指导您完成在本地运行量化模型（Yi-chat-6B-2bits）并进行推理的每一个步骤。

git clone git@github.com:ggerganov/llama.cpp.git

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF

git-lfs pull --include yi-chat-6b.Q2_K.gguf

make -j4 && ./main -m /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf -p "如何喂养您的宠物狐狸？请用 6 个简单步骤回答这个问题：\n第 1 步：" -n 384 -e

...

如何喂养您的宠物狐狸？请用 6 个简单步骤回答这个问题：

第 1 步：为您的宠物狐狸选择合适的食物。您应选择高质量、均衡的猎物，这些猎物应符合其独特的饮食需求。这些可能包括活体或冷冻的老鼠、大鼠、鸽子或其他小型哺乳动物，以及新鲜的水果和蔬菜。

第 2 步：根据狐狸的种类及其个人偏好，每天喂食一到两次。务必确保它们全天都能获得新鲜的水。

第 3 步：为您的宠物狐狸提供合适的环境。确保它有一个舒适的休息场所、充足的活动空间，以及玩耍和锻炼的机会。

第 4 步：如果可能的话，让您的宠物与其他动物互动。与其他生物的互动可以帮助它们培养社交技能，防止无聊或压力。

第 5 步：定期检查您的狐狸是否有疾病或不适的迹象。准备好在必要时提供兽医护理，尤其是针对寄生虫、牙齿健康问题或感染等常见问题。

第 6 步：了解您的宠物狐狸的需求，并注意任何可能影响其福祉的风险或担忧。定期咨询兽医，以确保您提供最佳的护理。

...

[ 返回顶部 ⬆️ ]

网页演示

您可以为 Yi 聊天 模型构建一个 Web UI 演示（请注意，在此场景下不支持 Yi 基础模型）。

步骤 1：准备环境。

步骤 2：下载 Yi 模型。

步骤 3. 要在本地启动 Web 服务，请运行以下命令。

python demo/web_demo.py -c <your-model-path>

您可以通过在浏览器中输入控制台提供的地址来访问 Web UI。

[ 返回顶部 ⬆️ ]

微调

bash finetune/scripts/run_sft_Yi_6b.sh

完成后，您可以使用以下命令比较微调后的模型和基础模型：

bash finetune/scripts/run_eval.sh

[ 返回顶部 ⬆️ ]

量化

GPT-Q

python quantization/gptq/quant_autogptq.py \
  --model /base_model                      \
  --output_dir /quantized_model            \
  --trust_remote_code

完成之后，您可以按照以下方式评估生成的模型：

python quantization/gptq/eval_quantized_model.py \
  --model /quantized_model                       \
  --trust_remote_code

AWQ

python quantization/awq/quant_autoawq.py \
  --model /base_model                      \
  --output_dir /quantized_model            \
  --trust_remote_code

完成之后，您可以按照以下方式评估生成的模型：

python quantization/awq/eval_quantized_model.py \
  --model /quantized_model                       \
  --trust_remote_code

[ 返回顶部 ⬆️ ]

部署

如果您想部署 Yi 模型，请确保满足软件和硬件要求。

软件要求

在使用 Yi 量化模型之前，请确保已安装以下正确的软件。

硬件要求

在将 Yi 部署到您的环境中之前，请确保您的硬件满足以下要求。

对话模型

以下是不同批量情况下的详细最小显存要求。

基础模型

[ 返回顶部 ⬆️ ]

常见问题解答

学习中心

为什么选择 Yi？

• 生态系统
  • 上游
  • 下游
    • 推理服务
    • 量化
    • 微调
    • API
• 基准测试
  • 聊天模型性能
  • 基础模型性能
    • Yi-34B 和 Yi-34B-200K
    • Yi-9B

生态系统

Yi 拥有全面的生态系统，提供一系列工具、服务和模型，以丰富您的使用体验并最大化生产力。

• 上游
• 下游
  • 推理服务
  • 量化
  • 微调
  • API

上游

Yi 系列模型沿用了与 Llama 相同的模型架构。选择 Yi，您可以充分利用 Llama 生态系统中现有的工具、库和资源，无需重新开发新工具，从而提升开发效率。

例如，Yi 系列模型以 Llama 模型的格式保存。您可以直接使用 LlamaForCausalLM 和 LlamaTokenizer 加载模型。更多信息请参阅 使用聊天模型。

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("01-ai/Yi-34b", use_fast=False)

model = AutoModelForCausalLM.from_pretrained("01-ai/Yi-34b", device_map="auto")

[ 返回顶部 ⬆️ ]

下游

💡 小贴士

• 欢迎创建 PR，分享您使用 Yi 系列模型所构建的优秀成果。

• 为了帮助他人快速理解您的工作，建议采用 <模型名称>: <模型简介> + <模型亮点> 的格式。

推理服务

如果您希望在几分钟内快速上手 Yi，可以使用以下基于 Yi 构建的服务。

• Yi-34B-Chat：您可以通过以下平台与 Yi 对话：

  • Yi-34B-Chat | Hugging Face
  • Yi-34B-Chat | Yi 平台：注意 目前仅限白名单用户使用。欢迎申请（填写 英文 或 中文 表单）并亲身体验！

• Yi-6B-Chat (Replicate)：您可以通过设置额外参数并调用 API 来使用该模型，获得更多选项。

• ScaleLLM：您可使用此服务在本地运行 Yi 模型，同时享受更高的灵活性和自定义能力。

量化

如果您计算资源有限，可以使用 Yi 的量化模型，如下所示。

这些量化模型虽然精度有所降低，但效率更高，例如推理速度更快、内存占用更小。

• TheBloke/Yi-34B-GPTQ
• TheBloke/Yi-34B-GGUF
• TheBloke/Yi-34B-AWQ

微调

如果您希望探索 Yi 繁荣家族中的多样化能力，可以深入研究以下微调模型。

• TheBloke Models：该网站托管了许多基于各种 LLM（包括 Yi）微调的模型。

这并非 Yi 的完整列表，但按下载量排序，列举几个示例：

• TheBloke/dolphin-2_2-yi-34b-AWQ

• TheBloke/Yi-34B-Chat-AWQ

• TheBloke/Yi-34B-Chat-GPTQ

• SUSTech/SUS-Chat-34B：该模型在所有 70B 以下的模型中排名第一，并且性能优于两倍规模的 deepseek-llm-67b-chat。您可以在 Open LLM Leaderboard 上查看结果。

• OrionStarAI/OrionStar-Yi-34B-Chat-Llama：该模型在 OpenCompass LLM Leaderboard 的 C-Eval 和 CMMLU 测试中，表现超越了其他模型（如 GPT-4、Qwen-14B-Chat、Baichuan2-13B-Chat）。

• NousResearch/Nous-Capybara-34B：该模型使用 Capybara 数据集训练，上下文长度为 20 万，训练了 3 个 epoch。

API

• amazing-openai-api：该工具可将 Yi 模型的 API 直接转换为 OpenAI API 格式。
• LlamaEdge：该工具利用 Rust 编写的便携式 Wasm（WebAssembly）文件，为 Yi-34B-Chat 构建了一个兼容 OpenAI 的 API 服务器。

[ 返回顶部 ⬆️ ]

技术报告

有关 Yi 系列模型的详细能力，请参阅 Yi: 由 01.AI 开放的基础模型。

引用

@misc{ai2024yi,
    title={Yi: Open Foundation Models by 01.AI},
    author={01. AI and : and Alex Young and Bei Chen and Chao Li and Chengen Huang and Ge Zhang and Guanwei Zhang and Heng Li and Jiangcheng Zhu and Jianqun Chen and Jing Chang and Kaidong Yu and Peng Liu and Qiang Liu and Shawn Yue and Senbin Yang and Shiming Yang and Tao Yu and Wen Xie and Wenhao Huang and Xiaohui Hu and Xiaoyi Ren and Xinyao Niu and Pengcheng Nie and Yuchi Xu and Yudong Liu and Yue Wang and Yuxuan Cai and Zhenyu Gu and Zhiyuan Liu and Zonghong Dai},
    year={2024},
    eprint={2403.04652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

基准测试

• 聊天模型性能
• 基础模型性能

聊天模型性能

Yi-34B-Chat 模型表现出色，在 MMLU、CMMLU、BBH、GSM8k 等多项基准测试中位居所有开源模型之首。

基础模型性能

Yi-34B 和 Yi-34B-200K

Yi-34B 和 Yi-34B-200K 模型在开源模型中表现突出，尤其在 MMLU、CMMLU、常识推理、阅读理解等方面表现出色。

Yi-9B

Yi-9B 在一系列类似规模的开源模型中几乎处于最佳位置（包括 Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5 等），尤其在代码、数学、常识推理和阅读理解方面表现优异。

• 在 综合 能力方面（Mean-All），Yi-9B 表现优于 DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B 和 Gemma-7B，位居同类开源模型之首。

  

• 在 编码 能力方面（Mean-Code），Yi-9B 的表现仅次于 DeepSeek-Coder-7B，超越了 Yi-34B、SOLAR-10.7B、Mistral-7B 和 Gemma-7B。

  

• 在 数学 能力方面（Mean-Math），Yi-9B 的表现仅次于 DeepSeek-Math-7B，超过了 SOLAR-10.7B、Mistral-7B 和 Gemma-7B。

  

• 在 常识与推理 能力方面（Mean-Text），Yi-9B 的表现与 Mistral-7B、SOLAR-10.7B 和 Gemma-7B 不相上下。

  

[ 返回顶部 ⬆️ ]

谁可以使用 Yi？

所有人都可以！🙌 ✅

Yi 系列模型的代码和权重依据 Apache 2.0 许可证 进行分发，这意味着 Yi 系列模型可供个人使用、学术研究以及商业用途，且完全免费。

[ 返回顶部 ⬆️ ]

其他

致谢

衷心感谢每一位为 Yi 社区做出贡献的人！正是你们的努力，让 Yi 不仅仅是一个项目，更成为一个充满活力、不断发展的创新家园。

[ 返回顶部 ⬆️ ]

免责声明

我们在训练过程中使用了数据合规性检查算法，以尽可能确保训练后的模型符合规范。然而，由于数据的复杂性和语言模型应用场景的多样性，我们无法保证模型在所有情况下都能生成正确且合理的输出。请注意，模型仍有可能产生问题输出的风险。对于因误用、误导、非法使用及相关虚假信息而引发的风险和问题，以及由此产生的任何数据安全顾虑，我们概不负责。

[ 返回顶部 ⬆️ ]

许可证

Yi-1.5 系列模型的代码和权重依据 Apache 2.0 许可证 进行分发。

如果您基于此模型创建衍生作品，请在您的衍生作品中包含以下署名：

本作品是基于 01.AI 的 [您所使用的 Yi 系列模型] 的衍生作品，依据 Apache 2.0 许可证使用。

[ 返回顶部 ⬆️ ]

Yi 大模型快速上手指南

Yi 系列是由零一万物（01.AI）研发的新一代开源双语大语言模型，在中文和英文理解、逻辑推理及代码能力上表现卓越。本指南将帮助您快速在本地部署并运行 Yi 模型。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS, Windows (WSL2)
• GPU: NVIDIA GPU (推荐显存 16GB 以上以运行 34B 量化版，8GB 以上可运行 6B 量化版)
• CUDA: 11.8 或更高版本
• Python: 3.8 - 3.11

前置依赖

确保已安装以下基础工具：

• git
• pip 或 conda
• nvidia-docker (若使用 Docker 方案)

2. 安装步骤

您可以根据需求选择以下任意一种方式快速启动。

方案 A：使用 pip 快速安装 (推荐)

适合快速体验推理功能。

# 安装 transformers 和 accelerate
pip install transformers accelerate torch --index-url https://download.pytorch.org/whl/cu118

# 国内加速源可选 (阿里云镜像)
# pip install transformers accelerate torch -i https://mirrors.aliyun.com/pypi/simple/

方案 B：使用 Docker (环境隔离最佳)

适合生产部署或避免环境冲突。

# 拉取官方构建的镜像
docker pull 01ai/yi:latest

# 运行容器 (需挂载模型目录)
docker run --gpus all -it -v /path/to/models:/models 01ai/yi:latest

方案 C：使用 llama.cpp (低显存/CPU 推理)

适合在消费级显卡或纯 CPU 环境下运行量化模型。

# 克隆仓库并编译
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make LLAMA_CUBLAS=1

# 下载 Yi 的 GGUF 量化模型 (以 Yi-34B-Chat-4bits 为例)
# 请从 HuggingFace 或 ModelScope 下载对应的 .gguf 文件

3. 基本使用

方法一：Python 代码调用 (Transformers)

这是最通用的开发方式，适用于二次开发和集成。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型 (建议使用国内镜像源 ModelScope 或指定 local_files_only)
# 模型路径可以是本地路径，如 "./Yi-6B-Chat"
model_path = "01-ai/Yi-6B-Chat" 

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path, 
    device_map="auto", 
    torch_dtype=torch.float16, 
    trust_remote_code=True
)

# 构造对话输入
prompt = "你好，请介绍一下你自己。"
messages = [
    {"role": "user", "content": prompt}
]

# 生成回复
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=512)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(response)

方法二：命令行交互 (llama.cpp)

如果您下载了 GGUF 格式的量化模型，可使用以下命令直接对话：

# 替换为您下载的 .gguf 模型文件路径
./main -m models/yi-34b-chat-4bits.gguf -p "你好，今天天气怎么样？" -n 512 --color

方法三：Web Demo

项目支持启动本地 Web 界面进行交互测试：

# 进入项目目录后运行
python web_demo.py --model-path /path/to/Yi-6B-Chat

注：具体脚本文件名请参考仓库最新 examples 目录。

提示：国内开发者推荐优先从 ModelScope (魔搭社区) 或 Wisemodel (始智 AI) 下载模型权重，以获得更快的下载速度。