医生尊严

免责声明 - 请勿认真对待“医生尊严”的任何建议。这是一个正在进行中的项目，若认真采纳其中的建议，可能会导致严重伤害甚至死亡。

概述

“医生尊严”是一款能够通过美国医师执照考试的大语言模型。这是一个开源项目，旨在为每个人提供一位私人医生。“医生尊严”基于Meta的Llama2 70亿参数大语言模型，在医学对话数据集上进行了微调，并进一步通过强化学习和宪法式人工智能技术加以优化。由于该模型仅3GB大小，可运行于任何本地设备上，因此无需支付API费用即可使用。它是免费的、专为离线使用而设计，能够有效保护患者隐私，并且支持iOS、Android和Web平台。欢迎提交功能添加与改进的拉取请求。

依赖项

• Numpy （用于矩阵运算）
• PyTorch （构建深度学习模型）
• Datasets （访问Hugging Face Hub上的数据集）
• Huggingface_hub （访问Hugging Face的数据与模型）
• Transformers （访问Hugging Face Hub上的模型）
• Trl （Transformer强化学习及微调）
• Bitsandbytes （使模型更小，即“量化”）
• Sentencepiece （字节对编码方案，即“分词”）
• OpenAI （生成合成的微调和奖励模型数据）
• TVM （张量虚拟机，将ONNX模型转换为高效的跨平台格式）
• Peft （参数高效微调，使用低秩自适应（LoRA）进行微调）
• Onnx （将训练好的模型转换为通用格式）

安装

使用pip一行命令安装所有依赖项：

pip install numpy torch datasets huggingface_hub transformers trl bitsandbytes sentencepiece openai tvm peft onnx

iOS快速入门v2

1. 克隆本仓库

git clone https://github.com/llSourcell/Doctor-Dignity

2. 下载权重

mkdir -p dist/prebuilt
git clone https://github.com/mlc-ai/binary-mlc-llm-libs.git dist/prebuilt/lib
cd dist/prebuilt
git lfs install
wget --no-check-certificate 'https://drive.google.com/file/d/1MLy8BDhuTTcXqagzLFMA07JDzqjQYUTB/view?pli=1'
cd ../..

3. 构建张量虚拟机运行时

git submodule update --init --recursive
pip install apache-tvm
cd ./ios
pip install --pre --force-reinstall mlc-ai-nightly mlc-chat-nightly -f https://mlc.ai/wheels 
./prepare_libs.sh

** 在这里找到适合您系统的MLC LLM版本 4. 将权重添加到Xcode

cd ./ios
open ./prepare_params.sh # 确保builtin_list只包含“RedPajama-INCITE-Chat-3B-v1-q4f16_1”
./prepare_params.sh

5. 打开Xcode项目并运行！

自行训练

为了训练模型，您可以在本地或通过Google Colab Pro等云服务远程运行training.ipynb笔记本。训练过程需要GPU，如果您没有GPU，最方便的选择是使用Google Colab Pro，每月收费10美元。包括在自定义医疗数据上对初始Llama模型进行监督微调，以及通过宪法式人工智能反馈进一步优化在内的“医生尊严”总训练时间，在Google Colab付费实例上耗时24小时。如果您想了解更多关于此过程的工作原理，详情请参阅training.ipynb笔记本。

云端训练

点击此处：https://colab.research.google.com/github/llSourcell/Doctor-Dignity/blob/main/llama2.ipynb

本地训练

git clone https://github.com/llSourcell/Doctor-Dignity.git
jupyter training.ipynb

在此获取Jupyter 这里

使用方法 https://huggingface.co/llSourcell/medllama2_7b

有两个Hugging Face仓库，一个针对移动端进行了量化，另一个则未量化。

老款iOS应用

• 第一步：下载 iOS机器学习编译聊天库
• 第二步：按照安装步骤操作
• 第三步：当应用在您的iOS设备或模拟器上运行时，点击“添加模型变体”
• 第四步：输入最新“医生尊严”模型的URL以下载它：[https://huggingface.co/llSourcell/doctorGPT_mini] (https://huggingface.co/llSourcell/doctorGPT_mini)
• 第五步：点击“添加模型”，即可开始本地聊天，推理在设备上运行。无需互联网连接！

安卓应用（待完成）

• 第一步：下载 安卓机器学习编译聊天库
• 第二步：按照安装步骤操作
• 第三步：点击“添加模型变体”
• 第四步：输入最新“医生尊严”模型的URL以下载它：[https://huggingface.co/llSourcell/doctorGPT_mini] (https://huggingface.co/llSourcell/doctorGPT_mini)
• 第五步：点击“添加模型”，即可开始本地聊天！无需互联网。

Web（待完成）

作为一项利用真实人类反馈的在线学习实验，我希望将模型部署为一个带有React前端的Flask API。在这种情况下，任何人都可以通过此URL与模型聊天。每次查询后，人类可以对模型的回答进行评分。这些评分随后将被用于通过强化学习进一步提升模型性能。要运行该应用，请下载flask，然后您可以执行：

flask run

之后访问localhost:3000即可与其互动！您也可以将其部署到vercel。

致谢

Meta、MedAlpaca、Apache、MLC Chat及OctoML

Doctor-Dignity 快速上手指南

⚠️ 重要免责声明：Doctor-Dignity 目前仍处于开发阶段（Work in Progress）。切勿将其提供的任何建议视为严肃的医疗指导。盲目采信可能导致严重伤害甚至死亡。本项目旨在探索私有化医疗助手的可能性，而非替代专业医生。

1. 环境准备

系统要求

• 操作系统：Linux, macOS, Windows (WSL2 推荐), iOS (需 Xcode), Android
• 硬件要求：
  • 训练/微调：需要 GPU（推荐 NVIDIA GPU，显存建议 16GB+）。若无本地 GPU，可使用 Google Colab Pro。
  • 推理/运行：模型经过量化后仅约 3GB，可在大多数现代笔记本电脑、手机（iOS/Android）上离线运行。
• 软件依赖：Python 3.8+, Git, Git LFS, Jupyter Notebook (用于训练)

前置依赖安装

建议使用国内镜像源加速 Python 包下载。以下命令将一次性安装所有核心依赖：

pip install numpy torch datasets huggingface_hub transformers trl bitsandbytes sentencepiece openai tvm peft onnx -i https://pypi.tuna.tsinghua.edu.cn/simple

注：若进行 iOS 开发，需额外安装 Xcode 和 MLC AI 相关 nightly 版本包。

2. 安装步骤

方案 A：获取代码与模型权重（通用）

1. 克隆项目仓库

   git clone https://github.com/llSourcell/Doctor-Dignity
   cd Doctor-Dignity
   

2. 下载预编译库与模型权重 注意：原链接使用 Google Drive，国内访问可能受限。建议手动从 HuggingFace 下载模型文件并放入指定目录，或配置代理。

   mkdir -p dist/prebuilt
   git clone https://github.com/mlc-ai/binary-mlc-llm-libs.git dist/prebuilt/lib
   
   cd dist/prebuilt
   git lfs install
   
   # 以下为原始下载命令，若失败请手动下载权重文件至当前目录
   wget --no-check-certificate 'https://drive.google.com/file/d/1MLy8BDhuTTcXqagzLFMA07JDzqjQYUTB/view?pli=1'
   
   cd ../..
   

方案 B：iOS 端快速构建 (v2)

若需在 iOS 设备运行，需完成以下额外步骤：

1. 初始化子模块并安装 MLC 运行时

   git submodule update --init --recursive
   pip install apache-tvm
   
   cd ./ios
   # 安装 MLC AI 夜间构建版
   pip install --pre --force-reinstall mlc-ai-nightly mlc-chat-nightly -f https://mlc.ai/wheels 
   ./prepare_libs.sh
   

2. 准备模型参数并导入 Xcode

   cd ./ios
   # 编辑 prepare_params.sh 确保 builtin_list 包含 "RedPajama-INCITE-Chat-3B-v1-q4f16_1"
   open ./prepare_params.sh 
   ./prepare_params.sh
   

3. 运行：打开生成的 Xcode 项目文件，连接真机或模拟器运行。

3. 基本使用

Doctor-Dignity 支持多种使用方式，包括本地 Python 调用、移动端 App 以及 Web 服务。

方式一：通过 HuggingFace 直接加载（Python）

最簡單的测试方式是直接使用 transformers 库加载已上传至 HuggingFace 的模型（需网络环境能访问 HF）。

from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载分词器和模型
model_name = "llSourcell/medllama2_7b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

# 构造输入
prompt = "User: 我最近头痛且伴有发热，可能是什么原因？\nAssistant:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成回复
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

方式二：移动端离线聊天（iOS/Android）

1. 下载并编译对应的 MLC Chat 应用（参考官方 mlc-llm 仓库的 iOS/Android 部署文档）。
2. 在 App 中选择 "Add Model Variant"。
3. 输入模型下载地址（推荐使用国内可访问的镜像或提前下载到本地）：
   • 模型地址：https://huggingface.co/llSourcell/doctorGPT_mini
4. 点击 "Add Model"，下载完成后即可在无网络环境下进行对话。

方式三：自定义训练 (DIY Training)

若需使用自定义医疗数据微调模型，可运行提供的 Jupyter Notebook。

• 云端训练（推荐无 GPU 用户）： 点击链接在 Google Colab 中打开：Open In Colab

• 本地训练：

  jupyter training.ipynb
  

  注：完整训练流程（监督微调 + 强化学习）在 Colab Pro 上耗时约 24 小时。