• 简介
• 模型下载
• 运行模型
• 微调模型
• 限制

PhoGPT：越南语生成式预训练（Generative Pre-training）

我们开源了一个面向越南语的尖端40亿参数生成模型系列，包含基础预训练单语模型（monolingual model）PhoGPT-4B及其对话变体（chat variant）PhoGPT-4B-Chat。基础模型PhoGPT-4B确切包含37亿参数，基于1020亿个标记（tokens）的越南语文本语料库从头预训练，上下文长度（context length）为8192，采用2万个词元类型（token types）的词汇表（vocabulary）。对话变体PhoGPT-4B-Chat是通过对PhoGPT-4B在7万个指令提示（instructional prompts）及其响应数据集，以及额外29万个对话数据进行微调得到的模型输出。我们展示了其相比先前开源模型的卓越性能。

关于PhoGPT的通用架构和实验结果的更多细节，请参阅我们的技术报告。PhoGPT及基线模型的所有输出响应均可在此处供读者自行评估。请引用我们的技术报告，当PhoGPT用于辅助生成已发表成果或集成到其他软件中时：

@article{PhoGPT,
title     = {{PhoGPT: Generative Pre-training for Vietnamese}},
author    = {Dat Quoc Nguyen and Linh The Nguyen and Chi Tran and Dung Ngoc Nguyen and Dinh Phung and Hung Bui},
journal   = {arXiv preprint},
volume    = {arXiv:2311.02945},
year      = {2023}
}

模型下载

模型	类型	模型大小	上下文长度	词汇表大小	训练数据量	备注
vinai/PhoGPT-4B	基础模型	3.7B	8192	20K	482GB文本的2个训练轮次	以float16加载"PhoGPT-4B"或"PhoGPT-4B-Chat"需占用7GB GPU显存
vinai/PhoGPT-4B-Chat	指令跟随与对话	3.7B	8192	20K	7万个指令提示-响应对 & 29万个对话	PROMPT_TEMPLATE = "### Câu hỏi: {instruction}\n### Trả lời:"

运行模型

使用 vLLM、Text Generation Inference 与 llama.cpp

PhoGPT可运行于 vLLM、Text Generation Inference和llama.cpp等推理引擎。

使用 llama.cpp

• 编译llama.cpp
• 安装llama.cpp的Python依赖

cd llama.cpp
python3 -m pip install -r requirements.txt

• 将模型转换为gguf FP16格式: python3 convert-hf-to-gguf.py <path_to_PhoGPT-4B-Chat_model> --outfile ./PhoGPT-4B-Chat.gguf
• (可选) 量化模型至4/8位:
  • ./quantize ./PhoGPT-4B-Chat.gguf ./PhoGPT-4B-Chat-Q4_K_M.gguf Q4_K_M
  • ./quantize ./PhoGPT-4B-Chat.gguf ./PhoGPT-4B-Chat-Q8_0.gguf Q8_0
• 在gguf模型上启动推理: ./main -m ./PhoGPT-4B-Chat-Q4_K_M.gguf -n 1024 -p "### Câu hỏi: Viết bài văn nghị luận xã hội về an toàn giao thông\n### Trả lời:"

转换后的gguf文件可在 vinai/PhoGPT-4B-Chat-gguf 获取。注意：phogpt_4b_chat_preset.json 可能是确保LM Studio与gguf文件正常工作的必要配置。

使用纯 transformers

指令跟随

# coding: utf8
import torch
from transformers import AutoConfig, AutoModelForCausalLM, AutoTokenizer

model_path = "vinai/PhoGPT-4B-Chat"  

config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)  
config.init_device = "cuda"
# config.attn_config['attn_impl'] = 'flash' # 若已安装：将使用Flash Attention V1或V2

model = AutoModelForCausalLM.from_pretrained(model_path, config=config, torch_dtype=torch.bfloat16, trust_remote_code=True)
# 若GPU不支持bfloat16:
# model = AutoModelForCausalLM.from_pretrained(model_path, config=config, torch_dtype=torch.float16, trust_remote_code=True)
model.eval()  

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)  

PROMPT_TEMPLATE = "### Câu hỏi: {instruction}\n### Trả lời:"  

# 指令示例
# instruction = "Viết bài văn nghị luận xã hội về {topic}"
# instruction = "Viết bản mô tả công việc cho vị trí {job_title}"
# instruction = "Sửa lỗi chính tả:\n{sentence_or_paragraph}"
# instruction = "Dựa vào văn bản sau đây:\n{text}\nHãy trả lời câu hỏi: {question}"
# instruction = "Tóm tắt văn bản:\n{text}"

instruction = "Viết bài văn nghị luận xã hội về an toàn giao thông"
# instruction = "Sửa lỗi chính tả:\nTriệt phá băng nhóm kướp ô tô, sử dụng \"vũ khí nóng\""

input_prompt = PROMPT_TEMPLATE.format_map({"instruction": instruction})  

input_ids = tokenizer(input_prompt, return_tensors="pt")  

outputs = model.generate(  
    inputs=input_ids["input_ids"].to("cuda"),  
    attention_mask=input_ids["attention_mask"].to("cuda"),  
    do_sample=True,  
    temperature=1.0,  
    top_k=50,  
    top_p=0.9,  
    max_new_tokens=1024,  
    eos_token_id=tokenizer.eos_token_id,  
    pad_token_id=tokenizer.pad_token_id  
)  

response = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]  
response = response.split("### Trả lời:")[1]

对话

messages = [
    {"role": "user", "content": "Kể tên một môn thể thao mạo hiểm"},
    {"role": "assistant", "content": "Nhảy Bungee."},
    {"role": "user", "content": "Bạn đã bao giờ đi nhảy bungee chưa"}
]

# 使用apply_chat_template
tokenizer = AutoTokenizer.from_pretrained("vinai/PhoGPT-4B-Chat", trust_remote_code=True)
input_prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

使用 bitsandbytes 量化

import torch
from transformers import BitsAndBytesConfig, AutoConfig, AutoModelForCausalLM, AutoTokenizer

config = AutoConfig.from_pretrained("vinai/PhoGPT-4B-Chat", trust_remote_code=True)  
config.init_device = "cuda"

# 8位量化
model_8bit = AutoModelForCausalLM.from_pretrained("vinai/PhoGPT-4B-Chat", config=config, load_in_8bit=True)

模型微调（fine-tuning）

详情请参阅 llm-foundry（大型语言模型基础库）文档。要完全微调（fine-tune）PhoGPT，用户可以在 fine-tuning-phogpt.yaml 找到模型微调YAML（数据序列化格式）配置文件示例。用户还可以在 sample_instruction_following_dataset 文件夹中找到指令跟随数据集的示例。

• 要安装 llm-foundry，请参见 https://github.com/mosaicml/llm-foundry 中的“安装”部分。
• 运行：cd llm-foundry/scripts/train/ 然后 composer --world_size <number_of_GPUs> train.py <path_to_yaml_configuration_file>（例如 composer --world_size 1 train.py fine-tuning-phogpt.yaml）。

其他微调选项可能包括使用 transformers（Hugging Face的深度学习库） 的 Trainer（训练器）（例如，参见 stanford_alpaca 作为示例）、lit-gpt 或 LLaMA-Factory。

局限性

PhoGPT 存在某些局限性。例如，它不擅长涉及推理（reasoning）、编码（coding）或数学（mathematics）的任务。PhoGPT 可能生成有害内容、仇恨言论（hate speech）、偏见响应（biased responses），或回答不安全的问题。用户在与 PhoGPT 交互时应谨慎，因为它可能产生事实错误的输出（factually incorrect output）。

PhoGPT 快速上手指南

环境准备

• 系统要求：Linux 系统，NVIDIA GPU（建议显存 ≥8GB），CUDA 11.7+
• 前置依赖：
  • Python 3.8+
  • PyTorch（需匹配 CUDA 版本）
  • transformers 库
  • 推荐配置 Hugging Face 国内镜像加速模型下载（如阿里云 ModelScope）

安装步骤

# 使用清华源安装核心依赖（国内加速）
pip install torch transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

# 如需量化支持（可选）
pip install bitsandbytes -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简示例，使用 transformers 加载 PhoGPT-4B-Chat 模型并生成响应：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "vinai/PhoGPT-4B-Chat"

# 加载模型（自动选择设备）
model = AutoModelForCausalLM.from_pretrained(
    model_path, 
    torch_dtype=torch.float16, 
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_path)

# 构建越南语提示
PROMPT_TEMPLATE = "### Câu hỏi: {instruction}\n### Trả lời:"
instruction = "Viết bài văn nghị luận xã hội về an toàn giao thông"
input_prompt = PROMPT_TEMPLATE.format(instruction=instruction)

# 生成响应
inputs = tokenizer(input_prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=1024)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
response = response.split("### Trả lời:")[1]

print(response)

注意

• 若 GPU 不支持 float16，将 torch.float16 改为 torch.float32
• 首次运行会自动下载模型（约 7GB），建议提前配置 Hugging Face 镜像加速
• 模型专为越南语优化，输入需使用越南语指令