[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-SCIR-HI--Huatuo-Llama-Med-Chinese":3,"tool-SCIR-HI--Huatuo-Llama-Med-Chinese":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",151314,2,"2026-04-11T23:32:58",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":76,"owner_twitter":76,"owner_website":76,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":10,"env_os":92,"env_gpu":93,"env_ram":94,"env_deps":95,"category_tags":106,"github_topics":107,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":118,"updated_at":119,"faqs":120,"releases":155},6834,"SCIR-HI\u002FHuatuo-Llama-Med-Chinese","Huatuo-Llama-Med-Chinese","Repo for BenTsao [original name: HuaTuo (华驼)], Instruction-tuning Large Language Models with Chinese Medical Knowledge. 本草（原名：华驼）模型仓库，基于中文医学知识的大语言模型指令微调","本草（原名华驼）是一款专注于中文医疗领域的开源大语言模型项目。它通过对 LLaMA、Bloom、Alpaca 及活字等主流基座模型进行指令微调，赋予了它们专业的医学问答能力，旨在解决通用大模型在医疗场景下知识匮乏、回答不准确或缺乏可靠依据的痛点。\n\n该项目核心构建了一套高质量的中文医学指令微调数据集，巧妙融合了结构化医学知识图谱与非结构化医学文献，并结合大模型技术生成训练数据。其独特的技术亮点在于采用 LoRA（低秩适应）高效微调策略，在显著降低计算资源需求的同时，大幅提升了模型在疾病诊断、用药建议及健康咨询等方面的专业度与可靠性。部分研究成果已获 ACM TKDD 等国际学术会议录用，证明了其技术先进性。\n\n本草非常适合人工智能研究人员、医疗科技开发者以及高校师生使用。研究人员可基于其开源的数据构建方法与模型权重，探索垂直领域大模型的微调技术；开发者则能轻松将其集成到智慧医疗系统、在线问诊平台或健康管理应用中，快速构建专业的医疗 AI 助手。对于希望深入了解中文医疗大模型技术实现的普通技术爱好者，本项目也提供了详尽的代码示例与测试用例，便于上手实践与研究。","[**中文**](.\u002FREADME.md) | [**English**](.\u002FREADME_EN.md)\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002F\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSCIR-HI_Huatuo-Llama-Med-Chinese_readme_c4f4e4be746d.png\" alt=\"SCIR-HI-HuaTuo\" style=\"width: 60%; min-width: 300px; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n  \n\n# 本草[原名：华驼(HuaTuo)]: 基于中文医学知识的大语言模型指令微调\n\n### BenTsao (original name: HuaTuo): Instruction-tuning Large Language Models With Chinese Medical Knowledge\n\n[![Code License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode%20License-Apache_2.0-green.svg)](https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002Fblob\u002Fmain\u002FLICENSE) [![Python 3.9+](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpython-3.9+-blue.svg)](https:\u002F\u002Fwww.python.org\u002Fdownloads\u002Frelease\u002Fpython-390\u002F)\n\n  \n本项目开源了经过中文医学指令精调\u002F指令微调(Instruction-tuning) 的大语言模型集，包括LLaMA、Alpaca-Chinese、Bloom、活字模型等。\n\n\n我们基于医学知识图谱以及医学文献，结合ChatGPT API构建了中文医学指令微调数据集，并以此对各种基模型进行了指令微调，提高了基模型在医疗领域的问答效果。\n\n\n## News\n\n**[2024\u002F07\u002F25][《基于知识微调的大语言模型可靠中文医学回复生成方法》](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.1145\u002F3686807)被ACM TKDD录用**\n\n**[2023\u002F09\u002F24]发布[《面向智慧医疗的大语言模型微调技术》](https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002Ftree\u002Fmain\u002Fdoc\u002FTuning_Methods_for_LLMs_towards_Health_Intelligence.pdf)**\n\n\n\u003Cdetails>\n\u003Csummary>历史新闻\u003C\u002Fsummary>\n\n**[2023\u002F09\u002F12]在arxiv发布[《探索大模型从医学文献中交互式知识的获取》](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04198.pdf)**\n\n**[2023\u002F09\u002F08]在arxiv发布[《基于知识微调的大语言模型可靠中文医学回复生成方法》](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04175.pdf)**  \n\n**[2023\u002F08\u002F07] 🔥🔥增加了基于[活字](https:\u002F\u002Fgithub.com\u002FHIT-SCIR\u002Fhuozi)进行指令微调的模型发布，模型效果显著提升。🔥🔥**\n\n[2023\u002F08\u002F05] 本草模型在CCL 2023 Demo Track进行Poster展示。\n\n [2023\u002F08\u002F03] SCIR实验室开源[活字](https:\u002F\u002Fgithub.com\u002FHIT-SCIR\u002Fhuozi)通用问答模型，欢迎大家关注🎉🎉\n\n[2023\u002F07\u002F19] 增加了基于[Bloom](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Fbloom-7b1)进行指令微调的模型发布。\n\n[2023\u002F05\u002F12] 模型由\"华驼\"更名为\"本草\"。\n\n[2023\u002F04\u002F28] 增加了基于[中文Alpaca大模型](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)进行指令微调的模型发布。\n\n[2023\u002F04\u002F24] 增加了基于LLaMA和医学文献进行指令微调的模型发布。\n\n\u003C\u002Fdetails>\n\n\n\n[2023\u002F03\u002F31] 增加了基于LLaMA和医学知识库进行指令微调的模型发布。\n\n\n## A Quick Start\n\n首先安装依赖包，python环境建议3.9+\n\n```\npip install -r requirements.txt\n\n```\n\n针对所有基模型，我们采用了半精度基模型LoRA微调的方式进行指令微调训练，以在计算资源与模型性能之间进行权衡。\n\n### 基模型\n - [活字1.0](https:\u002F\u002Fgithub.com\u002FHIT-SCIR\u002Fhuozi)，哈尔滨工业大学基于Bloom-7B二次开发的中文通用问答模型\n - [Bloom-7B](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Fbloomz-7b1)\n - [Alpaca-Chinese-7B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)，基于LLaMA二次开发的中文问答模型\n - [LLaMA-7B](https:\u002F\u002Fhuggingface.co\u002Fdecapoda-research\u002Fllama-7b-hf)\n \n### LoRA模型权重下载\n\nLoRA权重可以通过百度网盘或Hugging Face下载：\n\n1. 🔥对活字进行指令微调的LoRA权重文件\n  - 基于医学知识库以及医学问答数据集 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1BPnDNb1wQZTWy_Be6MfcnA?pwd=m21s)\n2. 对Bloom进行指令微调的LoRA权重文件\n - 基于医学知识库以及医学问答数据集 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jPcuEOhesFGYpzJ7U52Fag?pwd=scir)和[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Flovepon\u002Flora-bloom-med-bloom)\n3. 对Alpaca进行指令微调的LoRA权重文件\n - 基于医学知识库 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F16oxcjzXnXjDpL8SKihgNxw?pwd=scir)和[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Flovepon\u002Flora-alpaca-med)\n - 基于医学知识库和医学文献 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1HDdK84ASHmzOFlkmypBIJw?pwd=scir)和[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Flovepon\u002Flora-alpaca-med-alldata)\n4. 对LLaMA进行指令微调的LoRA权重文件\n - 基于医学知识库 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jih-pEr6jzEa6n2u6sUMOg?pwd=jjpf)和[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fthinksoso\u002Flora-llama-med)\n - 基于医学文献 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jADypClR2bLyXItuFfSjPA?pwd=odsk)和[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Flovepon\u002Flora-llama-literature)\n\n\n\n下载LoRA权重并解压，解压后的格式如下：\n\n\n```\n**lora-folder-name**\u002F\n  - adapter_config.json   # LoRA权重配置文件\n  - adapter_model.bin   # LoRA权重文件\n```\n\n基于相同的数据，我们还训练了医疗版本的ChatGLM模型: [ChatGLM-6B-Med](https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FMed-ChatGLM)\n\n\n### Infer\n\n我们在`.\u002Fdata\u002Finfer.json`中提供了一些测试用例，可以替换成其它的数据集，请注意保持格式一致\n  \n\n运行infer脚本\n\n\n```\n#基于医学知识库\nbash .\u002Fscripts\u002Finfer.sh\n\n#基于医学文献\n#单轮\nbash .\u002Fscripts\u002Finfer-literature-single.sh\n\n#多轮\nbash .\u002Fscripts\u002Finfer-literature-multi.sh\n```\n\ninfer.sh脚本代码如下，请将下列代码中基模型base_model、lora权重lora_weights以及测试数据集路径instruct_dir进行替换后运行\n\n    python infer.py \\\n\t\t    --base_model 'BASE_MODEL_PATH' \\\n\t\t    --lora_weights 'LORA_WEIGHTS_PATH' \\\n\t\t    --use_lora True \\\n\t\t    --instruct_dir 'INFER_DATA_PATH' \\\n\t\t    --prompt_template 'TEMPLATE_PATH'\n \n\n**_提示模板的选择与模型相关，详情如下：_**\n\n| 活字&Bloom                      | LLaMA&Alpaca                                                                          |                                       \n|:------------------------------|:--------------------------------------------------------------------------------------|\n| `templates\u002Fbloom_deploy.json` | 基于医学知识库`templates\u002Fmed_template.json` \u003Cbr>  基于医学文献`templates\u002Fliterature_template.json` |\n\n\n\n也可参考`.\u002Fscripts\u002Ftest.sh`\n\n  \n\n## 方法\n\n基模型在医学问答场景下效果有限，指令微调是一种高效的使基模型拥有回答人类问题能力的方法。\n\n\n\n### 数据集构建\n#### 医学知识库\n我们采用了公开和自建的中文医学知识库，主要参考了[cMeKG](https:\u002F\u002Fgithub.com\u002Fking-yyf\u002FCMeKG_tools)。\n\n医学知识库围绕疾病、药物、检查指标等构建，字段包括并发症，高危因素，组织学检查，临床症状，药物治疗，辅助治疗等。知识库示例如下:\n\n\n```\n\n{\"中心词\": \"偏头痛\", \"相关疾病\": [\"妊娠合并偏头痛\", \"恶寒发热\"], \"相关症状\": [\"皮肤变硬\", \"头部及眼后部疼痛并能听到连续不断的隆隆声\", \"晨起头痛加重\"], \"所属科室\": [\"中西医结合科\", \"内科\"], \"发病部位\": [\"头部\"]}\n\n```\n\n我们利用GPT3.5接口围绕医学知识库构建问答数据，设置了多种Prompt形式来充分利用知识。\n\n指令微调的训练集数据示例如下：\n\n```\n\n\"问题：一位年轻男性长期使用可卡因，突然出现胸痛、呕吐、出汗等症状，经检查发现心电图反映心肌急性损伤，请问可能患的是什么疾病？治疗方式是什么？\"\n\n回答: 可能患的是心肌梗塞，需要进行维拉帕米、依普利酮、硝酸甘油、ß阻滞剂、吗啡等药物治疗，并进行溶栓治疗、低分子量肝素、钙通道阻滞剂等辅助治疗。此外需要及时停用可卡因等药物，以防止病情加重。\"\n\n```\n\n  \n\n我们提供了模型的训练数据集，共计八千余条，需要注意的是，虽然训练集的构建融入了知识，但是仍存在错误和不完善的地方，后续我们会利用更好的策略迭代更新数据集。\n\n指令微调数据集质量仍有限，后续将进行不断迭代，同时医学知识库和数据集构建代码还在整理中，整理完成将会发布。\n\n#### 医学文献\n\n此外，我们收集了2023年关于肝癌疾病的中文医学文献，利用GPT3.5接口围绕医学文献的【结论】构建多轮问答数据。在·`.\u002Fdata_literature\u002Fliver_cancer.json`中我们提供了其中的1k条训练样例。目前，训练样本的质量仍然有限，在后续我们会进一步迭代数据，会以`公开数据集`的形式对外进行发布。训练样本的示例如下：\n\n\u003Cp align=\"center\" width=\"100%\">\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002F\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSCIR-HI_Huatuo-Llama-Med-Chinese_readme_1c74a6bfdd12.png\" alt=\"SCIR-HI-HuaTuo-literature\" style=\"width: 100%; min-width: 300px; display: block; margin: auto;\">\u003C\u002Fa>\n\n\u003C\u002Fp>\n\n目前，我们只开放针对\"肝癌\"单个疾病训练的模型参数。在未来，我们计划发布融入文献结论的医学对话数据集，并且会针对“肝胆胰”相关16种疾病训练模型。\n\n相关细节可参考我们的文章：[《探索大模型从医学文献中交互式知识的获取》](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04198.pdf)\n  \n\n### Finetune\n\n如果想用自己的数据集微调大语言模型，请按照`.\u002Fdata\u002Fllama_data.json`中的格式构建自己的数据集\n\n运行finetune脚本\n\n```\n\nbash .\u002Fscripts\u002Ffinetune.sh\n\n```\n\n  \n\n  \n### 知识微调\n\n上述介绍了我们如何利用医学知识构造高质量问答对的过程，即从“knowledge”到“(question, answer)”，在此基础上，我们提出了知识微调，旨在让大语言模型在推理时显式利用知识库中的知识，使大模型学会从“question”到“knowledge”，过程可分为以下三阶段，其过程如下图所示。第一阶段：根据问题填充知识检索的参数，包括中心词和属性。第二阶段：查询获取带有填充参数所对应的知识。第三阶段：使用获得的知识来生成回答。[样例数据链接](data\u002Fknowledge_tuning_data_sample.txt)\n\u003Cp align=\"center\" width=\"100%\">\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002F\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSCIR-HI_Huatuo-Llama-Med-Chinese_readme_334de49f30e9.png\" alt=\"SCIR-HI-HuaTuo-literature\" style=\"width: 100%; min-width: 300px; display: block; margin: auto;\">\u003C\u002Fa>\n\n\u003C\u002Fp>\n\n相关细节可参考我们的文章：[《基于知识微调的大语言模型可靠中文医学回复生成方法》](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.1145\u002F3686807)  \n\n\n\n\n## 训练细节\n\n### 计算资源需求参考\n\n基于LLaMA模型的指令微调过程中，我们在一张A100-SXM-80GB显卡上进行了训练，训练总轮次10轮，耗时约2h17m。batch_size=128的情况下显存占用在40G左右。预计3090\u002F4090显卡(24GB显存)以上显卡可以较好支持，根据显存大小来调整batch_size。\n\n\n### 实验过程\n\n超参设置和实验过程可以参考wandb的链接:\n\nhttps:\u002F\u002Fwandb.ai\u002Fthinksoso\u002Fllama_med\u002Fruns\u002Fa5wgcnzt\u002Foverview?workspace=user-thinksoso\n\n  \n\n## 模型效果对比\n\n注：测试于2023年3月\n  \n| 测试输入 | Llama输出  | Alpaca输出 | BenTsao本草输出                                             |\n|:------------- |:---------------| :-------------|:--------------------------------------------------------|\n|小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。|问题：小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。| 最近，小张一直感觉身体不舒服，有心烦意乱、呼吸急促等症状。体格检查显示心脏增大，肌肉无力。| **小张可能患有心肌炎，建议尽快到医院进行检查和治疗。治疗方案包括药物治疗和手术治疗。**           |\n|麻风病和儿童哮喘的病因是否一致？|儿童哮喘和麻风病的病因是一致，但是儿童哮喘和麻风病的病因不一致|是的，哮喘和儿童喘息有相似的原因。| **不一致，麻风病的病因是麻风杆菌感染，而儿童哮喘的病因是喂养不良、吸烟等因素。**              |\n|一位患者出现了持续性的胀痛和黄疸，经影像学检查后确诊为肝胆管结石病，应该采取哪些治疗方案？|肝胆管结石病患者应该采取哪些治疗方案？|患者应接受手术和化疗相结合的治疗。| **针对肝胆管结石病，治疗方案包括手术治疗、药物治疗和辅助治疗等。具体治疗方案需要根据患者的具体情况而定。** |\n\n\n\n\n\n   \n## 常见问题\n1. Q: 为什么更名为\"本草\"？\n   \n   A: 为SCIR实验室大语言模型命名一致性，中文医学大模型名称调整为\"本草\"。\n\n2. Q: 为什么是\"华驼\"而不是\"华佗\"？ \n   \n   A: 叫”驼“是因为我们的基模型LLaMA是美洲驼，Alpaca是羊驼，受他们名字的启发以及华佗的谐音梗，我们将我们的模型起名为华驼。\n\n3. Q: 有使用中医理论或者中医数据吗？\n    \n   A: 目前还没有\n   \n4. Q: 模型运行的结果不同、效果有限\n   \n   A: 由于生成模型生成多样性的考量，多次运行的结果可能会有差异。当前开源的模型由于LLaMA及Alpaca中文语料有限，且知识结合的方式较为粗糙，请大家尝试bloom-based和活字-based的模型。\n   \n5. Q: 模型无法运行\u002F推理内容完全无法接受\n   \n   A: 请确定已安装requirements中的依赖、配置好cuda环境并添加环境变量、正确输入下载好的模型以及lora的存储位置；推理内容如存在重复生成或部分错误内容属于llama-based模型的偶发现象，与llama模型的中文能力、训练数据规模以及超参设置均有一定的关系，请尝试基于活字的新模型。如存在严重问题，请将运行的文件名、模型名、lora等配置信息详细描述在issue中，谢谢大家。\n   \n6.\tQ: 发布的若干模型哪个最好？\n\n    A: 根据我们的经验，基于活字模型的效果相对更好一些。 \n \n\n\n\n## 项目参与者\n\n本项目由哈尔滨工业大学社会计算与信息检索研究中心健康智能组[王昊淳](https:\u002F\u002Fhaochun.wang) 、[杜晏睿](https:\u002F\u002Fgithub.com\u002FDYR1)、[刘驰](https:\u002F\u002Fgithub.com\u002Fthinksoso)、[白睿](https:\u002F\u002Fgithub.com\u002FRuiBai1999)、[席奴瓦](https:\u002F\u002Fgithub.com\u002Frootnx)、[陈雨晗](https:\u002F\u002Fgithub.com\u002FImsovegetable)、[强泽文](https:\u002F\u002Fgithub.com\u002F1278882181)、[陈健宇](https:\u002F\u002Fgithub.com\u002FJianyuChen01)、[李子健](https:\u002F\u002Fgithub.com\u002FFlowolfzzZ)、[范宇政](https:\u002F\u002Fgithub.com\u002Fzheng-2001)、[刘佳彤](https:\u002F\u002Fgithub.com\u002Fwdnnwza)完成，指导教师为[赵森栋](http:\u002F\u002Fhomepage.hit.edu.cn\u002Fstanzhao?lang=zh)副教授，秦兵教授以及刘挺教授。\n\n  \n\n## 致谢\n\n  \n\n本项目参考了以下开源项目，在此对相关项目和研究开发人员表示感谢。\n\n- 活字: https:\u002F\u002Fgithub.com\u002FHIT-SCIR\u002Fhuozi\n- Facebook LLaMA: https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama\n- Stanford Alpaca: https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\n- alpaca-lora by @tloen: https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora\n- CMeKG https:\u002F\u002Fgithub.com\u002Fking-yyf\u002FCMeKG_tools\n- 文心一言 https:\u002F\u002Fyiyan.baidu.com\u002Fwelcome 本项目的logo由文心一言自动生成\n\n  \n\n## 免责声明\n\n本项目相关资源仅供学术研究之用，严禁用于商业用途。使用涉及第三方代码的部分时，请严格遵循相应的开源协议。模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目无法对其准确性作出保证。本项目数据集绝大部分由模型生成，即使符合某些医学事实，也不能被用作实际医学诊断的依据。对于模型输出的任何内容，本项目不承担任何法律责任，亦不对因使用相关资源和输出结果而可能产生的任何损失承担责任。\n\n\n## Citation\n\n如果您使用了本项目的数据或者代码，或是我们的工作对您有所帮助，请声明引用\n\n\n\n知识微调：[Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Trustworthy Response Generation in Chinese\n](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04175.pdf)\n\n```\n@article{10.1145\u002F3686807,\nauthor = {Wang, Haochun and Zhao, Sendong and Qiang, Zewen and Li, Zijian and Liu, Chi and Xi, Nuwa and Du, Yanrui and Qin, Bing and Liu, Ting},\ntitle = {Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Trustworthy Response Generation in Chinese},\nyear = {2024},\npublisher = {Association for Computing Machinery},\naddress = {New York, NY, USA},\nissn = {1556-4681},\nurl = {https:\u002F\u002Fdoi.org\u002F10.1145\u002F3686807},\ndoi = {10.1145\u002F3686807},\nabstract = {Large Language Models (LLMs) have demonstrated remarkable success in diverse natural language processing (NLP) tasks in general domains. However, LLMs sometimes generate responses with the hallucination about medical facts due to limited domain knowledge. Such shortcomings pose potential risks in the utilization of LLMs within medical contexts. To address this challenge, we propose knowledge-tuning, which leverages structured medical knowledge bases for the LLMs to grasp domain knowledge efficiently and facilitate trustworthy response generation. We also release cMedKnowQA, a Chinese medical knowledge question-answering dataset constructed from medical knowledge bases to assess the medical knowledge proficiency of LLMs. Experimental results show that the LLMs which are knowledge-tuned with cMedKnowQA, can exhibit higher levels of accuracy in response generation compared with vanilla instruction-tuning and offer a new trustworthy way for the domain adaptation of LLMs. We release our code and data at .},\nnote = {Just Accepted},\njournal = {ACM Trans. Knowl. Discov. Data},\nmonth = aug,\nkeywords = {Large Language Model, Medical Question Answering, Trustworthy Response Generation, Medical Knowledge Base}\n}\n```\n\n首版技术报告: [Huatuo: Tuning llama model with chinese medical knowledge](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.06975)\n\n```\n@misc{wang2023huatuo,\n      title={HuaTuo: Tuning LLaMA Model with Chinese Medical Knowledge},\n      author={Haochun Wang and Chi Liu and Nuwa Xi and Zewen Qiang and Sendong Zhao and Bing Qin and Ting Liu},\n      year={2023},\n      eprint={2304.06975},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n}\n```\n\n医学文献知识获取：[The CALLA Dataset: Probing LLMs’ Interactive Knowledge Acquisition from Chinese Medical Literature](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04198.pdf)\n\n```\n@misc{du2023calla,\n      title={The CALLA Dataset: Probing LLMs' Interactive Knowledge Acquisition from Chinese Medical Literature}, \n      author={Yanrui Du and Sendong Zhao and Muzhen Cai and Jianyu Chen and Haochun Wang and Yuhan Chen and Haoqiang Guo and Bing Qin},\n      year={2023},\n      eprint={2309.04198},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n}\n```\n\n","[**中文**](.\u002FREADME.md) | [**English**](.\u002FREADME_EN.md)\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002F\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSCIR-HI_Huatuo-Llama-Med-Chinese_readme_c4f4e4be746d.png\" alt=\"SCIR-HI-HuaTuo\" style=\"width: 60%; min-width: 300px; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n  \n\n# 本草[原名：华驼(HuaTuo)]: 基于中文医学知识的大语言模型指令微调\n\n### BenTsao (original name: HuaTuo): Instruction-tuning Large Language Models With Chinese Medical Knowledge\n\n[![Code License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode%20License-Apache_2.0-green.svg)](https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002Fblob\u002Fmain\u002FLICENSE) [![Python 3.9+](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpython-3.9+-blue.svg)](https:\u002F\u002Fwww.python.org\u002Fdownloads\u002Frelease\u002Fpython-390\u002F)\n\n  \n本项目开源了经过中文医学指令精调\u002F指令微调(Instruction-tuning) 的大语言模型集，包括LLaMA、Alpaca-Chinese、Bloom、活字模型等。\n\n\n我们基于医学知识图谱以及医学文献，结合ChatGPT API构建了中文医学指令微调数据集，并以此对各种基模型进行了指令微调，提高了基模型在医疗领域的问答效果。\n\n\n## News\n\n**[2024\u002F07\u002F25][《基于知识微调的大语言模型可靠中文医学回复生成方法》](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.1145\u002F3686807)被ACM TKDD录用**\n\n**[2023\u002F09\u002F24]发布[《面向智慧医疗的大语言模型微调技术》](https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002Ftree\u002Fmain\u002Fdoc\u002FTuning_Methods_for_LLMs_towards_Health_Intelligence.pdf)**\n\n\n\u003Cdetails>\n\u003Csummary>历史新闻\u003C\u002Fsummary>\n\n**[2023\u002F09\u002F12]在arxiv发布[《探索大模型从医学文献中交互式知识的获取》](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04198.pdf)**\n\n**[2023\u002F09\u002F08]在arxiv发布[《基于知识微调的大语言模型可靠中文医学回复生成方法》](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04175.pdf)**  \n\n**[2023\u002F08\u002F07] 🔥🔥增加了基于[活字](https:\u002F\u002Fgithub.com\u002FHIT-SCIR\u002Fhuozi)进行指令微调的模型发布，模型效果显著提升。🔥🔥**\n\n[2023\u002F08\u002F05] 本草模型在CCL 2023 Demo Track进行Poster展示。\n\n [2023\u002F08\u002F03] SCIR实验室开源[活字](https:\u002F\u002Fgithub.com\u002FHIT-SCIR\u002Fhuozi)通用问答模型，欢迎大家关注🎉🎉\n\n[2023\u002F07\u002F19] 增加了基于[Bloom](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Fbloom-7b1)进行指令微调的模型发布。\n\n[2023\u002F05\u002F12] 模型由\"华驼\"更名为\"本草\"。\n\n[2023\u002F04\u002F28] 增加了基于[中文Alpaca大模型](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)进行指令微调的模型发布。\n\n[2023\u002F04\u002F24] 增加了基于LLaMA和医学文献进行指令微调的模型发布。\n\n\u003C\u002Fdetails>\n\n\n\n[2023\u002F03\u002F31] 增加了基于LLaMA和医学知识库进行指令微调的模型发布。\n\n\n## A Quick Start\n\n首先安装依赖包，python环境建议3.9+\n\n```\npip install -r requirements.txt\n\n```\n\n针对所有基模型，我们采用了半精度基模型LoRA微调的方式进行指令微调训练，以在计算资源与模型性能之间进行权衡。\n\n### 基模型\n - [活字1.0](https:\u002F\u002Fgithub.com\u002FHIT-SCIR\u002Fhuozi)，哈尔滨工业大学基于Bloom-7B二次开发的中文通用问答模型\n - [Bloom-7B](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Fbloomz-7b1)\n - [Alpaca-Chinese-7B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)，基于LLaMA二次开发的中文问答模型\n - [LLaMA-7B](https:\u002F\u002Fhuggingface.co\u002Fdecapoda-research\u002Fllama-7b-hf)\n \n### LoRA模型权重下载\n\nLoRA权重可以通过百度网盘或Hugging Face下载：\n\n1. 🔥对活字进行指令微调的LoRA权重文件\n  - 基于医学知识库以及医学问答数据集 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1BPnDNb1wQZTWy_Be6MfcnA?pwd=m21s)\n2. 对Bloom进行指令微调的LoRA权重文件\n - 基于医学知识库以及医学问答数据集 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jPcuEOhesFGYpzJ7U52Fag?pwd=scir)和[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Flovepon\u002Flora-bloom-med-bloom)\n3. 对Alpaca进行指令微调的LoRA权重文件\n - 基于医学知识库 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F16oxcjzXnXjDpL8SKihgNxw?pwd=scir)和[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Flovepon\u002Flora-alpaca-med)\n - 基于医学知识库和医学文献 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1HDdK84ASHmzOFlkmypBIJw?pwd=scir)和[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Flovepon\u002Flora-alpaca-med-alldata)\n4. 对LLaMA进行指令微调的LoRA权重文件\n - 基于医学知识库 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jih-pEr6jzEa6n2u6sUMOg?pwd=jjpf)和[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fthinksoso\u002Flora-llama-med)\n - 基于医学文献 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jADypClR2bLyXItuFfSjPA?pwd=odsk)和[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Flovepon\u002Flora-llama-literature)\n\n\n\n下载LoRA权重并解压，解压后的格式如下：\n\n\n```\n**lora-folder-name**\u002F\n  - adapter_config.json   # LoRA权重配置文件\n  - adapter_model.bin   # LoRA权重文件\n```\n\n基于相同的数据，我们还训练了医疗版本的ChatGLM模型: [ChatGLM-6B-Med](https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FMed-ChatGLM)\n\n\n### Infer\n\n我们在`.\u002Fdata\u002Finfer.json`中提供了一些测试用例，可以替换成其它的数据集，请注意保持格式一致\n  \n\n运行infer脚本\n\n\n```\n#基于医学知识库\nbash .\u002Fscripts\u002Finfer.sh\n\n#基于医学文献\n#单轮\nbash .\u002Fscripts\u002Finfer-literature-single.sh\n\n#多轮\nbash .\u002Fscripts\u002Finfer-literature-multi.sh\n```\n\ninfer.sh脚本代码如下，请将下列代码中基模型base_model、lora权重lora_weights以及测试数据集路径instruct_dir进行替换后运行\n\n    python infer.py \\\n\t\t    --base_model 'BASE_MODEL_PATH' \\\n\t\t    --lora_weights 'LORA_WEIGHTS_PATH' \\\n\t\t    --use_lora True \\\n\t\t    --instruct_dir 'INFER_DATA_PATH' \\\n\t\t    --prompt_template 'TEMPLATE_PATH'\n \n\n**_提示模板的选择与模型相关，详情如下：_**\n\n| 活字&Bloom                      | LLaMA&Alpaca                                                                          |                                       \n|:------------------------------|:--------------------------------------------------------------------------------------|\n| `templates\u002Fbloom_deploy.json` | 基于医学知识库`templates\u002Fmed_template.json` \u003Cbr>  基于医学文献`templates\u002Fliterature_template.json` |\n\n\n\n也可参考`.\u002Fscripts\u002Ftest.sh`\n\n  \n\n## 方法\n\n基模型在医学问答场景下效果有限，指令微调是一种高效的使基模型拥有回答人类问题能力的方法。\n\n\n\n### 数据集构建\n#### 医学知识库\n我们采用了公开和自建的中文医学知识库，主要参考了[cMeKG](https:\u002F\u002Fgithub.com\u002Fking-yyf\u002FCMeKG_tools)。\n\n医学知识库围绕疾病、药物、检查指标等构建，字段包括并发症，高危因素，组织学检查，临床症状，药物治疗，辅助治疗等。知识库示例如下:\n\n\n```\n\n{\"中心词\": \"偏头痛\", \"相关疾病\": [\"妊娠合并偏头痛\", \"恶寒发热\"], \"相关症状\": [\"皮肤变硬\", \"头部及眼后部疼痛并能听到连续不断的隆隆声\", \"晨起头痛加重\"], \"所属科室\": [\"中西医结合科\", \"内科\"], \"发病部位\": [\"头部\"]}\n\n```\n\n我们利用GPT3.5接口围绕医学知识库构建问答数据，设置了多种Prompt形式来充分利用知识。\n\n指令微调的训练集数据示例如下：\n\n```\n\n\"问题：一位年轻男性长期使用可卡因，突然出现胸痛、呕吐、出汗等症状，经检查发现心电图反映心肌急性损伤，请问可能患的是什么疾病？治疗方式是什么？\"\n\n回答: 可能患的是心肌梗塞，需要进行维拉帕米、依普利酮、硝酸甘油、ß阻滞剂、吗啡等药物治疗，并进行溶栓治疗、低分子量肝素、钙通道阻滞剂等辅助治疗。此外需要及时停用可卡因等药物，以防止病情加重。\"\n\n```\n\n  \n\n我们提供了模型的训练数据集，共计八千余条，需要注意的是，虽然训练集的构建融入了知识，但是仍存在错误和不完善的地方，后续我们会利用更好的策略迭代更新数据集。\n\n指令微调数据集质量仍有限，后续将进行不断迭代，同时医学知识库和数据集构建代码还在整理中，整理完成将会发布。\n\n#### 医学文献\n\n此外，我们收集了2023年关于肝癌疾病的中文医学文献，利用GPT3.5接口围绕医学文献的【结论】构建多轮问答数据。在·`.\u002Fdata_literature\u002Fliver_cancer.json`中我们提供了其中的1k条训练样例。目前，训练样本的质量仍然有限，在后续我们会进一步迭代数据，会以`公开数据集`的形式对外进行发布。训练样本的示例如下：\n\n\u003Cp align=\"center\" width=\"100%\">\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002F\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSCIR-HI_Huatuo-Llama-Med-Chinese_readme_1c74a6bfdd12.png\" alt=\"SCIR-HI-HuaTuo-literature\" style=\"width: 100%; min-width: 300px; display: block; margin: auto;\">\u003C\u002Fa>\n\n\u003C\u002Fp>\n\n目前，我们只开放针对\"肝癌\"单个疾病训练的模型参数。在未来，我们计划发布融入文献结论的医学对话数据集，并且会针对“肝胆胰”相关16种疾病训练模型。\n\n相关细节可参考我们的文章：[《探索大模型从医学文献中交互式知识的获取》](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04198.pdf)\n  \n\n### Finetune\n\n如果想用自己的数据集微调大语言模型，请按照`.\u002Fdata\u002Fllama_data.json`中的格式构建自己的数据集\n\n运行finetune脚本\n\n```\n\nbash .\u002Fscripts\u002Ffinetune.sh\n\n```\n\n  \n\n  \n### 知识微调\n\n上述介绍了我们如何利用医学知识构造高质量问答对的过程，即从“knowledge”到“(question, answer)”，在此基础上，我们提出了知识微调，旨在让大语言模型在推理时显式利用知识库中的知识，使大模型学会从“question”到“knowledge”，过程可分为以下三阶段，其过程如下图所示。第一阶段：根据问题填充知识检索的参数，包括中心词和属性。第二阶段：查询获取带有填充参数所对应的知识。第三阶段：使用获得的知识来生成回答。[样例数据链接](data\u002Fknowledge_tuning_data_sample.txt)\n\u003Cp align=\"center\" width=\"100%\">\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002F\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSCIR-HI_Huatuo-Llama-Med-Chinese_readme_334de49f30e9.png\" alt=\"SCIR-HI-HuaTuo-literature\" style=\"width: 100%; min-width: 300px; display: block; margin: auto;\">\u003C\u002Fa>\n\n\u003C\u002Fp>\n\n相关细节可参考我们的文章：[《基于知识微调的大语言模型可靠中文医学回复生成方法》](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.1145\u002F3686807)  \n\n\n\n\n## 训练细节\n\n### 计算资源需求参考\n\n基于LLaMA模型的指令微调过程中，我们在一张A100-SXM-80GB显卡上进行了训练，训练总轮次10轮，耗时约2h17m。batch_size=128的情况下显存占用在40G左右。预计3090\u002F4090显卡(24GB显存)以上显卡可以较好支持，根据显存大小来调整batch_size。\n\n\n### 实验过程\n\n超参设置和实验过程可以参考wandb的链接:\n\nhttps:\u002F\u002Fwandb.ai\u002Fthinksoso\u002Fllama_med\u002Fruns\u002Fa5wgcnzt\u002Foverview?workspace=user-thinksoso\n\n## 模型效果对比\n\n注：测试于2023年3月\n  \n| 测试输入 | Llama输出  | Alpaca输出 | BenTsao本草输出                                             |\n|:------------- |:---------------| :-------------|:--------------------------------------------------------|\n|小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。|问题：小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。| 最近，小张一直感觉身体不舒服，有心烦意乱、呼吸急促等症状。体格检查显示心脏增大，肌肉无力。| **小张可能患有心肌炎，建议尽快到医院进行检查和治疗。治疗方案包括药物治疗和手术治疗。**           |\n|麻风病和儿童哮喘的病因是否一致？|儿童哮喘和麻风病的病因是一致，但是儿童哮喘和麻风病的病因不一致|是的，哮喘和儿童喘息有相似的原因。| **不一致，麻风病的病因是麻风杆菌感染，而儿童哮喘的病因是喂养不良、吸烟等因素。**              |\n|一位患者出现了持续性的胀痛和黄疸，经影像学检查后确诊为肝胆管结石病，应该采取哪些治疗方案？|肝胆管结石病患者应该采取哪些治疗方案？|患者应接受手术和化疗相结合的治疗。| **针对肝胆管结石病，治疗方案包括手术治疗、药物治疗和辅助治疗等。具体治疗方案需要根据患者的具体情况而定。** |\n\n\n\n\n\n   \n## 常见问题\n1. Q: 为什么更名为\"本草\"？\n   \n   A: 为SCIR实验室大语言模型命名一致性，中文医学大模型名称调整为\"本草\"。\n\n2. Q: 为什么是\"华驼\"而不是\"华佗\"？ \n   \n   A: 叫”驼“是因为我们的基模型LLaMA是美洲驼，Alpaca是羊驼，受他们名字的启发以及华佗的谐音梗，我们将我们的模型起名为华驼。\n\n3. Q: 有使用中医理论或者中医数据吗？\n    \n   A: 目前还没有\n   \n4. Q: 模型运行的结果不同、效果有限\n   \n   A: 由于生成模型生成多样性的考量，多次运行的结果可能会有差异。当前开源的模型由于LLaMA及Alpaca中文语料有限，且知识结合的方式较为粗糙，请大家尝试bloom-based和活字-based的模型。\n   \n5. Q: 模型无法运行\u002F推理内容完全无法接受\n   \n   A: 请确定已安装requirements中的依赖、配置好cuda环境并添加环境变量、正确输入下载好的模型以及lora的存储位置；推理内容如存在重复生成或部分错误内容属于llama-based模型的偶发现象，与llama模型的中文能力、训练数据规模以及超参设置均有一定的关系，请尝试基于活字的新模型。如存在严重问题，请将运行的文件名、模型名、lora等配置信息详细描述在issue中，谢谢大家。\n   \n6.\tQ: 发布的若干模型哪个最好？\n\n    A: 根据我们的经验，基于活字模型的效果相对更好一些。 \n \n\n\n\n## 项目参与者\n\n本项目由哈尔滨工业大学社会计算与信息检索研究中心健康智能组[王昊淳](https:\u002F\u002Fhaochun.wang) 、[杜晏睿](https:\u002F\u002Fgithub.com\u002FDYR1)、[刘驰](https:\u002F\u002Fgithub.com\u002Fthinksoso)、[白睿](https:\u002F\u002Fgithub.com\u002FRuiBai1999)、[席奴瓦](https:\u002F\u002Fgithub.com\u002Frootnx)、[陈雨晗](https:\u002F\u002Fgithub.com\u002FImsovegetable)、[强泽文](https:\u002F\u002Fgithub.com\u002F1278882181)、[陈健宇](https:\u002F\u002Fgithub.com\u002FJianyuChen01)、[李子健](https:\u002F\u002Fgithub.com\u002FFlowolfzzZ)、[范宇政](https:\u002F\u002Fgithub.com\u002Fzheng-2001)、[刘佳彤](https:\u002F\u002Fgithub.com\u002Fwdnnwza)完成，指导教师为[赵森栋](http:\u002F\u002Fhomepage.hit.edu.cn\u002Fstanzhao?lang=zh)副教授，秦兵教授以及刘挺教授。\n\n  \n\n## 致谢\n\n  \n\n本项目参考了以下开源项目，在此对相关项目和研究开发人员表示感谢。\n\n- 活字: https:\u002F\u002Fgithub.com\u002FHIT-SCIR\u002Fhuozi\n- Facebook LLaMA: https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama\n- Stanford Alpaca: https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\n- alpaca-lora by @tloen: https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora\n- CMeKG https:\u002F\u002Fgithub.com\u002Fking-yyf\u002FCMeKG_tools\n- 文心一言 https:\u002F\u002Fyiyan.baidu.com\u002Fwelcome 本项目的logo由文心一言自动生成\n\n  \n\n## 免责声明\n\n本项目相关资源仅供学术研究之用，严禁用于商业用途。使用涉及第三方代码的部分时，请严格遵循相应的开源协议。模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目无法对其准确性作出保证。本项目数据集绝大部分由模型生成，即使符合某些医学事实，也不能被用作实际医学诊断的依据。对于模型输出的任何内容，本项目不承担任何法律责任，亦不对因使用相关资源和输出结果而可能产生的任何损失承担责任。\n\n\n## Citation\n\n如果您使用了本项目的数据或者代码，或是我们的工作对您有所帮助，请声明引用\n\n\n\n知识微调：[Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Trustworthy Response Generation in Chinese\n](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04175.pdf)\n\n```\n@article{10.1145\u002F3686807,\nauthor = {Wang, Haochun and Zhao, Sendong and Qiang, Zewen and Li, Zijian and Liu, Chi and Xi, Nuwa and Du, Yanrui and Qin, Bing and Liu, Ting},\ntitle = {Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Trustworthy Response Generation in Chinese},\nyear = {2024},\npublisher = {Association for Computing Machinery},\naddress = {New York, NY, USA},\nissn = {1556-4681},\nurl = {https:\u002F\u002Fdoi.org\u002F10.1145\u002F3686807},\ndoi = {10.1145\u002F3686807},\nabstract = {Large Language Models (LLMs) have demonstrated remarkable success in diverse natural language processing (NLP) tasks in general domains。然而，LLMs有时会因为领域知识有限而产生关于医学事实的幻觉式回答。这种不足在医疗领域的应用中可能带来潜在风险。为应对这一挑战，我们提出了知识微调方法，利用结构化的医学知识库帮助LLM高效掌握领域知识，从而实现更可信的回答生成。同时，我们还发布了cMedKnowQA——一个基于医学知识库构建的中文医学问答数据集，用于评估LLM的医学知识水平。实验结果表明，经过cMedKnowQA知识微调的LLM，在回答准确性方面显著优于传统的指令微调，并为LLM的领域适应提供了一种新的可信途径。我们在此公开我们的代码和数据。},\nnote = {Just Accepted},\njournal = {ACM Trans. Knowl. Discov. Data},\nmonth = aug,\nkeywords = {大型语言模型, 医学问答, 可信回答生成, 医学知识库}\n}\n```\n\n首版技术报告: [Huatuo: Tuning llama model with chinese medical knowledge](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.06975)\n\n```\n@misc{wang2023huatuo,\n      title={HuaTuo: Tuning LLaMA Model with Chinese Medical Knowledge},\n      author={Haochun Wang and Chi Liu and Nuwa Xi and Zewen Qiang and Sendong Zhao and Bing Qin and Ting Liu},\n      year={2023},\n      eprint={2304.06975},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n}\n```\n\n医学文献知识获取：[The CALLA Dataset: Probing LLMs’ Interactive Knowledge Acquisition from Chinese Medical Literature](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04198.pdf)\n\n```\n@misc{du2023calla,\n      title={The CALLA Dataset: Probing LLMs' Interactive Knowledge Acquisition from Chinese Medical Literature}, \n      author={Yanrui Du and Sendong Zhao and Muzhen Cai and Jianyu Chen and Haochun Wang and Yuhan Chen and Haoqiang Guo and Bing Qin},\n      year={2023},\n      eprint={2309.04198},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n}\n```","# Huatuo-Llama-Med-Chinese (本草) 快速上手指南\n\n本草（原名华驼）是一个基于中文医学知识进行指令微调的大语言模型项目，支持 LLaMA、Alpaca、Bloom 及活字等基模型，旨在提升医疗领域的问答效果。\n\n## 1. 环境准备\n\n*   **操作系统**: Linux (推荐)\n*   **Python 版本**: 3.9 或更高版本\n*   **硬件要求**:\n    *   推荐使用 NVIDIA GPU (显存建议 24GB 以上，如 RTX 3090\u002F4090 或 A100)。\n    *   若显存较小，需调整 `batch_size` 参数。\n*   **前置依赖**:\n    *   CUDA 环境已正确安装并配置环境变量。\n    *   Git 已安装。\n\n## 2. 安装步骤\n\n### 2.1 克隆项目与安装依赖\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese.git\ncd Huatuo-Llama-Med-Chinese\n\n# 安装 Python 依赖包\npip install -r requirements.txt\n```\n> **提示**: 国内用户若下载依赖较慢，可使用清华源加速：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 2.2 下载模型权重\n\n本项目采用 **基模型 + LoRA 权重** 的形式。您需要先下载对应的基模型，再下载微调后的 LoRA 权重。\n\n#### A. 下载基模型\n根据需求选择以下任一基模型（需自行从 HuggingFace 或 ModelScope 下载）：\n*   **活字 1.0** (推荐，中文效果较好): [HIT-SCIR\u002Fhuozi](https:\u002F\u002Fgithub.com\u002FHIT-SCIR\u002Fhuozi)\n*   **Bloom-7B**: [bigscience\u002Fbloomz-7b1](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Fbloomz-7b1)\n*   **Alpaca-Chinese-7B**: [Chinese-LLaMA-Alpaca](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)\n*   **LLaMA-7B**: [decapoda-research\u002Fllama-7b-hf](https:\u002F\u002Fhuggingface.co\u002Fdecapoda-research\u002Fllama-7b-hf)\n\n#### B. 下载 LoRA 权重\n可通过百度网盘或 HuggingFace 下载解压。解压后目录结构应包含 `adapter_config.json` 和 `adapter_model.bin`。\n\n**推荐下载（基于活字模型，效果较优）：**\n*   **描述**: 基于医学知识库及问答数据集微调\n*   **百度网盘**: [点击下载](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1BPnDNb1wQZTWy_Be6MfcnA?pwd=m21s) (提取码: m21s)\n\n*(其他基模型如 Bloom, Alpaca, LLaMA 的权重可在原文 README 中找到对应链接)*\n\n## 3. 基本使用\n\n### 3.1 准备测试数据\n项目已在 `.\u002Fdata\u002Finfer.json` 提供测试用例。如需自定义，请保持 JSON 格式一致。\n\n### 3.2 运行推理脚本\n\n根据您下载的基模型类型，选择对应的提示模板并运行脚本。\n\n#### 方案一：使用活字 (Huozi) 或 Bloom 基模型\n提示模板使用 `templates\u002Fbloom_deploy.json`。\n\n```bash\n# 修改 scripts\u002Finfer.sh 中的路径参数后运行\nbash .\u002Fscripts\u002Finfer.sh\n```\n\n#### 方案二：使用 LLaMA 或 Alpaca 基模型\n*   若基于**医学知识库**微调，模板使用 `templates\u002Fmed_template.json`\n*   若基于**医学文献**微调，模板使用 `templates\u002Fliterature_template.json`\n\n您可以直接调用 Python 脚本进行灵活配置：\n\n```bash\npython infer.py \\\n    --base_model 'PATH_TO_BASE_MODEL' \\\n    --lora_weights 'PATH_TO_LORA_WEIGHTS' \\\n    --use_lora True \\\n    --instruct_dir 'PATH_TO_INFER_DATA' \\\n    --prompt_template 'PATH_TO_TEMPLATE_JSON'\n```\n\n**参数说明：**\n*   `--base_model`: 基模型存放路径（例如：`.\u002Fmodels\u002Fhuozi-1.0`）\n*   `--lora_weights`: 下载的 LoRA 权重文件夹路径（包含 adapter 文件）\n*   `--instruct_dir`: 输入问题文件的路径（例如：`.\u002Fdata\u002Finfer.json`）\n*   `--prompt_template`: 对应模型的模板文件路径\n\n### 3.3 查看结果\n运行结束后，程序将输出模型生成的医疗问答结果。\n\n> **注意**: 本模型仅供学术研究，生成内容可能存在幻觉，严禁直接用于临床诊断。","某三甲医院信息科正在开发一款面向患者的智能预问诊系统，旨在让患者在挂号前能准确描述症状，从而辅助医生快速判断病情。\n\n### 没有 Huatuo-Llama-Med-Chinese 时\n- **通用模型幻觉严重**：使用普通大模型回答医疗问题时，常编造不存在的药物剂量或治疗方案，存在极大安全隐患。\n- **中文医学术语理解偏差**：模型无法准确识别“心绞痛”与“胃痛”在中文语境下的细微差别，导致分诊建议错误。\n- **缺乏循证依据**：回答内容多基于互联网泛化数据，无法结合权威医学文献或知识图谱，难以获得医生信任。\n- **多轮对话逻辑断裂**：患者描述病情变化时，模型无法记住上下文关键信息（如过敏史），导致追问逻辑混乱。\n\n### 使用 Huatuo-Llama-Med-Chinese 后\n- **回复专业且安全**：基于中文医学知识图谱和文献微调，模型生成的建议严格遵循临床指南，显著降低幻觉风险。\n- **术语解析精准**：能准确理解并区分中文特有的疾病描述和俗语，将患者口语转化为标准医学表述，提升分诊准确率。\n- **答案可追溯可信**：回答融合了权威医学文献知识，逻辑严密且符合诊疗规范，可作为医生有效的参考辅助。\n- **上下文记忆连贯**：在多轮问诊中能精准锁定患者既往史和当前症状变化，模拟真实医生的追问逻辑，引导患者完整陈述病情。\n\nHuatuo-Llama-Med-Chinese 通过将通用语言能力与专业中文医学知识深度融合，成功解决了医疗垂直领域大模型“不敢用、不准用”的核心难题。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSCIR-HI_Huatuo-Llama-Med-Chinese_c4f4e4be.png","SCIR-HI","Health Intelligence Group of HIT-SCIR","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FSCIR-HI_3e5bc3c0.png","We are the Health Intelligence (HI) Group of the Research Center for Social Computing and Infomation Retrieval (SCIR) at the Harbin Institute of Technology.",null,"Harbin, China","https:\u002F\u002Fgithub.com\u002FSCIR-HI",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",89.8,{"name":85,"color":86,"percentage":87},"Shell","#89e051",10.2,4957,500,"2026-04-11T19:03:06","Apache-2.0","Linux","必需。训练需 NVIDIA A100 (80GB) 或 RTX 3090\u002F4090 (24GB+)；推理显存需求视基模型大小而定（基模型为 7B 参数），建议使用半精度 (FP16) 运行。CUDA 版本未明确说明，但需支持 PyTorch GPU 加速。","未说明（建议系统内存大于模型显存占用，通常 32GB+）",{"notes":96,"python":97,"dependencies":98},"1. 项目采用 LoRA 方式进行指令微调，需分别下载基模型（如 LLaMA-7B, Bloom-7B, 活字等）和对应的 LoRA 权重文件。\n2. 训练参考配置：单张 A100 80GB，Batch Size 128，耗时约 2 小时；若使用 24GB 显存显卡（如 3090\u002F4090），需调小 Batch Size。\n3. 推理时需根据基模型类型选择对应的 Prompt 模板（如 bloom_deploy.json 或 med_template.json）。\n4. 依赖包通过 'pip install -r requirements.txt' 安装，具体版本需参考仓库内的 requirements.txt 文件。","3.9+",[99,100,101,102,103,104,105],"torch","transformers","peft","bitsandbytes","accelerate","datasets","sentencepiece",[35,14],[108,109,110,111,112,113,114,115,116,117],"llama","llm","medical","nlp","aidoctor","medgpt","medqa","chinese","bloom","huozi","2026-03-27T02:49:30.150509","2026-04-12T16:45:36.460072",[121,126,131,136,141,146,151],{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},30822,"微调后推理时，模型回答总是重复用户的问题，如何解决？","原因可能是多样的，包括训练数据过少、超参数设置与数据规模不匹配、Template 设置不合理等。建议排查以下几点：1. 尝试增加 LoRA 参数量；2. 根据 Loss 变化调整训练轮次，避免过拟合；3. 根据 Loss 选择最佳的 Checkpoint；4. 检查数据模板（Template）是否符合预期。很多参数与训练数据强相关，需要针对性排查。","https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002Fissues\u002F55",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},30823,"运行 infer.py 时报错 'CUDA Setup failed despite GPU being available'，但 torch.cuda.is_available() 为 True，怎么办？","这通常是 CUDA 路径配置问题。请排查运行 infer.py 的环境中的 CUDA 路径是否有异常。此外，如果是微调后进行推理，务必在推理脚本中修改 LoRA 模型的路径，确保指向正确的微调后模型文件。","https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002Fissues\u002F36",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},30824,"运行脚本时遇到多显卡设备不一致错误 'Expected all tensors to be on the same device, but found at least two devices...'，如何指定显卡？","需要在命令行执行脚本前限制可见的 CUDA 设备。解决方法是在命令前添加环境变量设置，例如只让 cuda:0 可见：\nCUDA_VISIBLE_DEVICES='0' bash .\u002Fscripts\u002Finfer-literature-multi.sh\n这样可以强制程序只使用指定的显卡，避免张量分布在不同设备上导致的错误。","https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002Fissues\u002F73",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},30825,"如何使用 GPT-3.5 基于医学文献构建多轮问答训练数据集？","该项目基于医学文献构建 SFT 数据主要包含四个核心模块：1. Information Disassembly（信息拆解）；2. Prompt Focus（提示聚焦）；3. Reverse Verification（反向验证）；4. Data Cleaning（数据清洗）。具体的实现细节和实验分析可以参考项目团队发布的论文：https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04198.pdf。","https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002Fissues\u002F21",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},30826,"微调运行结束时报错 'UnboundLocalError: local variable 'load_result' referenced before assignment'，是什么原因？","该错误通常与 PEFT 库的版本兼容性有关（特别是 0.3.0.dev0 版本）。如果在受限网络环境（如实验室隔离网络）无法直接安装特定版本的 PEFT，建议在有网络的机器上下载好 PEFT 源码，checkout 到指定的 commit 版本，压缩后传输到隔离网络机器上进行本地安装。","https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002Fissues\u002F53",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},30827,"使用官方提供的 LoRA 权重进行推理，效果不佳或输出胡言乱语，可能的原因是什么？","请检查 Base Model（基座模型）是否匹配。项目提供的 LoRA 权重通常需要配合特定的基座模型（如 baffo32\u002Fdecapoda-research-llama-7B-hf 或特定的 llama-7b-hf 版本）才能达到预期效果。如果使用了不匹配的官方原版 Llama 模型或其他版本，可能会导致推理结果异常。请确认 base_model 路径设置正确。","https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\u002Fissues\u002F6",{"id":152,"question_zh":153,"answer_zh":154,"source_url":130},30828,"微调完成后进行推理，是否需要修改配置文件中的路径？","是的。在使用自己的数据运行 bash .\u002Fscripts\u002Ffinetune.sh 完成微调后，直接运行 bash .\u002Fscripts\u002Finfer.sh 可能不会自动加载新模型。必须手动修改推理脚本或配置文件中的 LoRA 路径参数，将其指向微调后生成的适配器模型文件夹，才能使用微调后的效果进行推理。",[]]