[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-kbressem--medAlpaca":3,"tool-kbressem--medAlpaca":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":81,"owner_url":83,"languages":84,"stars":93,"forks":94,"last_commit_at":95,"license":96,"difficulty_score":97,"env_os":98,"env_gpu":99,"env_ram":98,"env_deps":100,"category_tags":105,"github_topics":81,"view_count":23,"oss_zip_url":81,"oss_zip_packed_at":81,"status":16,"created_at":106,"updated_at":107,"faqs":108,"releases":137},3325,"kbressem\u002FmedAlpaca","medAlpaca","LLM finetuned for medical question answering","medAlpaca 是一个专为医疗问答和对话应用打造的大语言模型微调项目。它基于斯坦福 Alpaca 和 AlpacaLoRA 架构进一步扩展，旨在提供一套开源的、经过专业医学数据训练的模型，帮助开发者轻松构建高质量的医疗聊天机器人。\n\n在医疗领域，通用大模型往往缺乏专业知识或容易产生幻觉。medAlpaca 通过引入名为\"Medical Meadow\"的高质量生物医学数据集解决了这一痛点。该数据集包含约 150 万条数据点，涵盖医学卡片、维基百科及专业对话内容，并经过指令微调格式化处理，显著提升了模型在医疗场景下的回答准确性和专业性。\n\n该项目非常适合 AI 研究人员、医疗科技开发者以及希望探索垂直领域大模型应用的技术团队使用。其技术亮点在于提供了灵活高效的训练方案：支持 LLaMA 等主流基座模型，并兼容 LoRA 低秩适配与 8 位量化训练技术。这意味着用户仅需单张消费级显卡（如显存约 9GB）即可完成微调，大幅降低了医疗大模型的训练门槛和资源成本。此外，项目代码开源且文档详尽，便于社区协作与二次开发，是推动医疗 AI 普惠化的有力工具。","![medalpaca](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_readme_d471753ad53f.png)\n\n# medAlpaca: Finetuned Large Language Models for Medical Question Answering\n\n## Project Overview\nMedAlpaca expands upon both [Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca) and \n[AlpacaLoRA](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora) to offer an advanced suite of large language \nmodels specifically fine-tuned for medical question-answering and dialogue applications. \nOur primary objective is to deliver an array of open-source language models, paving the way for \nseamless development of medical chatbot solutions.\n\nThese models have been trained using a variety of medical texts, encompassing resources such as \nmedical flashcards, wikis, and dialogue datasets. For more details on the data utilized, please consult the data section. \n\n## Getting Started\nCreate a new virtual environment, e.g. with conda\n\n```bash\nconda create -n medalpaca python>=3.9\n```\n\nInstall the required packages:\n```bash\npip install -r requirements.txt\n```\n\n## Training of medAlpaca\n\u003Cimg width=\"256\" alt=\"training your alpaca\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_readme_2d9268f91944.png\">\n\n### Memory Requirements\nWe have benchmarked the needed GPU memory as well as the approximate duration per epoch \nfor finetuning LLaMA 7b on the Medical Meadow small dataset (~6000 Q\u002FA pairs) on a single GPU:\n\n\n| Model    | 8bit trainig | LoRA  | fp16  | bf16  | VRAM Used | Gradient cktp | Duration\u002Fepoch |\n|----------|--------------|-------|-------|-------|-----------|---------------|----------------|\n| LLaMA 7b | True         | True  | True  | False | 8.9 GB    | False         | 77:30          |\n| LLaMA 7b | False        | True  | True  | False | 18.8 GB   | False         | 14:30          |\n| LLaMA 7b | False        | False | True  | False | OOM       | False         | -              | \n| LLaMA 7b | False        | False | False | True  | 79.5 GB   | True          | 35:30          |\n| LLaMA 7b | False        | False | False | False | OOM       | True          | -              |\n\n### Train medAlpaca based on LLaMA \nIf you have access to the [LLaMA](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971) or [Alpaca](https:\u002F\u002Fcrfm.stanford.edu\u002F2023\u002F03\u002F13\u002Falpaca.html) \nweights you can finetune the model with the following command. \nJust replace `\u003CPATH_TO_LLAMA_WEIGHTS>` with the folder containing you LLaMA or Alpaca weights. \n\n```bash\npython medalpaca\u002Ftrain.py \\\n    --model PATH_TO_LLAMA_WEIGHTS \\\n    --data_path medical_meadow_small.json \\\n    --output_dir 'output' \\\n    --train_in_8bit True \\  \n    --use_lora True \\\n    --bf16 True \\\n    --tf32 False \\\n    --fp16 False \\\n    --global_batch_size 128 \\\n    --per_device_batch_size 8 \\\n```\nPer default the script performs mixed precision training.  \nYou can toggle 8bit training with the `train_in_8bit` flag. \nWhile 8 bit training currently only works with `use_lora True`, however you can use\nLoRA without 8 bit training. \nIt is also able to train other models such as `facebook\u002Fopt-6.7` with the above script. \n\n## Data\n\u003Cimg width=\"256\" alt=\"Screenshot 2023-03-31 at 09 37 41\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_readme_a02e608a9fe5.png\">\n\nTo ensure your cherished llamas and alpacas are well-fed and thriving, \nwe have diligently gathered high-quality biomedical open-source datasets \nand transformed them into instruction tuning formats. \nWe have dubbed this endeavor **Medical Meadow**. \nMedical Meadow currently encompasses roughly 1.5 million data points across a diverse range of tasks, \nincluding openly curated medical data transformed into Q\u002FA pairs with OpenAI's `gpt-3.5-turbo`\nand a collection of established NLP tasks in the medical domain. \nPlease note, that not all data is of the same quantitiy and quality and you may need tp subsample \nthe data for training your own model. \nWe will persistently update and refine the dataset, and we welcome everyone to contribute more 'grass' to Medical Meadow!\n\n### Data Overview\n\n| Name                 |  Source                                                                 |  n       |  n included in training |\n|----------------------|-------------------------------------------------------------------------|----------|-------------------------|\n| Medical Flashcards   |  [medalpaca\u002Fmedical_meadow_medical_flashcards](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_medical_flashcards)  |  33955  |  33955                 |\n| Wikidoc              |  [medalpaca\u002Fmedical_meadow_wikidoc](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_wikidoc)    |  67704  |  10000                 |\n| Wikidoc Patient Information | [medalpaca\u002Fmedical_meadow_wikidoc_patient_information](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_wikidoc_patient_information)    |  5942 |  5942 |\n| Stackexchange academia |  [medalpaca\u002Fmedical_meadow_stack_exchange](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_stackexchange)    |  40865  |  40865                 |\n| Stackexchange biology |  [medalpaca\u002Fmedical_meadow_stack_exchange](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_stackexchange)    |  27887  |  27887                 |\n| Stackexchange fitness |  [medalpaca\u002Fmedical_meadow_stack_exchange](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_stackexchange)    |  9833  | 9833                 |\n| Stackexchange health |  [medalpaca\u002Fmedical_meadow_stack_exchange](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_stackexchange)    |  7721  |  7721                 |\n| Stackexchange bioinformatics |  [medalpaca\u002Fmedical_meadow_stack_exchange](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_stackexchange)    |  5407  |  5407                |\n| USMLE Self Assessment Step 1 |  [medalpaca\u002Fmedical_meadow_usmle_self](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_usmle_self_assessment)    |  119  |  92 (test only)              |\n| USMLE Self Assessment Step 2 |  [medalpaca\u002Fmedical_meadow_usmle_self](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_usmle_self_assessment)    |  120  |  110  (test only)              |\n| USMLE Self Assessment Step 3 |  [medalpaca\u002Fmedical_meadow_usmle_self](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_usmle_self_assessment)    |  135  |  122  (test only)             |\n| MEDIQA               | [original](https:\u002F\u002Fosf.io\u002Ffyg46\u002F?view_only=), [preprocessed](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_mediqa) |  2208    |  2208 |\n| CORD-19              | [original](https:\u002F\u002Fwww.kaggle.com\u002Fdatasets\u002Fallen-institute-for-ai\u002FCORD-19-research-challenge ), [preprocessed](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_cord19) |  1056660    |  50000 |\n| MMMLU               | [original](https:\u002F\u002Fgithub.com\u002Fhendrycks\u002Ftest), [preprocessed](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_mmmlu) |  3787    |  3787 |\n| Pubmed Health Advice | [original](https:\u002F\u002Faclanthology.org\u002FD19-1473\u002F), [preprocessed](vhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fhealth_advice) |  10178    |  10178 |\n| Pubmed Causal               | [original](https:\u002F\u002Faclanthology.org\u002F2020.coling-main.427\u002F    ), [preprocessed](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_pubmed_causal) |  2446    |  2446 |\n| ChatDoctor               | [original](https:\u002F\u002Fgithub.com\u002FKent0n-Li\u002FChatDoctor  ) |  215000    |  10000 |\n| OpenAssistant | [original](https:\u002F\u002Fhuggingface.co\u002FOpenAssistant) |  9209   | 9209     |\n\n\n### Data description\nplease refer to [DATA_DESCRIPTION.md](DATA_DESCRIPTION.md)\n\n\n## Benchmarks\n\u003Cimg width=\"256\" alt=\"benchmarks\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_readme_14b9e43454bf.png\">\n\nWe are benchmarking all models on the USMLE self assessment, which is available at this [link](https:\u002F\u002Fwww.usmle.org\u002Fprepare-your-exam).\nNote, that we removed all questions with images, as our models are not multimodal. \n\n| **Model**                                                                                  | **Step1**         | **Step2**        | **Step3**        |\n|--------------------------------------------------------------------------------------------|-------------------|------------------|------------------|\n| [LLaMA 7b](https:\u002F\u002Fai.facebook.com\u002Fblog\u002Flarge-language-model-llama-meta-ai\u002F)               | 0.198             | 0.202            | 0.203            |\n| [Alpaca 7b naive](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca) ([weights](https:\u002F\u002Fhuggingface.co\u002Fchavinlo\u002Falpaca-native)) | 0.275             | 0.266            | 0.293            |\n| [Alpaca 7b LoRA](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora)                                     | 0.220             | 0.138            | 0.252            |\n| [MedAlpaca 7b](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-7b)                              | 0.297             | 0.312            | 0.398            |\n| [MedAlpaca 7b LoRA](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca\u002Fmedalpaca-lora-7b-16bit)    | 0.231             | 0.202            | 0.179            |\n| [MedAlpaca 7b LoRA 8bit](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-lora-7b-8bit)          | 0.231             | 0.241            | 0.211            |\n| [ChatDoctor](https:\u002F\u002Fgithub.com\u002FKent0n-Li\u002FChatDoctor) (7b)                                 | 0.187             | 0.185            | 0.148            |\n| [LLaMA 13b](https:\u002F\u002Fai.facebook.com\u002Fblog\u002Flarge-language-model-llama-meta-ai\u002F)              | 0.222             | 0.248            | 0.276            |\n| [Alpaca 13b naive](https:\u002F\u002Fhuggingface.co\u002Fchavinlo\u002Falpaca-13b)                             | 0.319             | 0.312            | 0.301            |\n| [MedAlpaca 13b](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-13b)                            | ***0.473***       | ***0.477***      | ***0.602***      |  \n| [MedAlpaca 13b LoRA](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca\u002Fmedalpaca-lora-13b-16bit)  | 0.250             | 0.255            | 0.255            |\n| [MedAlpaca 13b LoRA 8bit](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-lora-13b-8bit)        | 0.189             | 0.303            | 0.289            |\n| [MedAlpaca 30b](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-30b) (still training)           | TBA               | TBA              | TBA              |  \n| [MedAlpaca 30b LoRA 8bit](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-lora-30b-8bit)        | 0.315             | 0.327            | 0.361            |+\n\nWe are continuously working on improving the training as well as our evaluation prompts. \nExpect this table to change quite a bit. \n\n\n## Access the models\nVisit the zoo and have a look at our alpacas here: https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\n\nIt should be obvious, but the models provided on this platform are shared for research purposes \nonly and should not be used in any healthcare applications or settings. \nWhile we are excited to showcase our experimental models, please be aware that they have not undergone \nextensive testing or validation, and their reliability cannot be guaranteed. \nWe kindly ask you to exercise caution when using these models, \nand we appreciate your understanding as we continue to explore and develop this innovative technology.\n\n\n## Paper\n\u003Cimg width=\"256\" alt=\"chat-lama\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_readme_836f9d9137fc.png\">\n\n```\n@article{han2023medalpaca,\n  title={MedAlpaca--An Open-Source Collection of Medical Conversational AI Models and Training Data},\n  author={Han, Tianyu and Adams, Lisa C and Papaioannou, Jens-Michalis and Grundmann, Paul and Oberhauser, Tom and L{\\\"o}ser, Alexander and Truhn, Daniel and Bressem, Keno K},\n  journal={arXiv preprint arXiv:2304.08247},\n  year={2023}\n}\n```\n","![medalpaca](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_readme_d471753ad53f.png)\n\n# medAlpaca：面向医学问答的微调大型语言模型\n\n## 项目概述\nMedAlpaca 在 [Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca) 和 \n[AlpacaLoRA](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora) 的基础上进行了扩展，提供了一套先进的大型语言模型，专门针对医学问答和对话应用进行微调。  \n我们的主要目标是推出一系列开源语言模型，为无缝开发医学聊天机器人解决方案铺平道路。\n\n这些模型使用多种医学文本进行训练，包括医学闪卡、维基百科以及对话数据集等资源。有关所用数据的更多详细信息，请参阅数据部分。\n\n## 快速入门\n创建一个新的虚拟环境，例如使用 conda：\n\n```bash\nconda create -n medalpaca python>=3.9\n```\n\n安装所需的软件包：\n```bash\npip install -r requirements.txt\n```\n\n## medAlpaca 的训练\n\u003Cimg width=\"256\" alt=\"training your alpaca\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_readme_2d9268f91944.png\">\n\n### 显存需求\n我们对在单个 GPU 上使用 Medical Meadow 小型数据集（约 6000 个问答对）对 LLaMA 7B 进行微调时所需的显存以及每轮训练的大致时长进行了基准测试：\n\n| 模型    | 8位训练 | LoRA  | fp16  | bf16  | 显存占用 | 梯度检查点 | 每轮时长 |\n|----------|--------------|-------|-------|-------|-----------|---------------|----------------|\n| LLaMA 7b | True         | True  | True  | False | 8.9 GB    | False         | 77:30          |\n| LLaMA 7b | False        | True  | True  | False | 18.8 GB   | False         | 14:30          |\n| LLaMA 7b | False        | False | True  | False | OOM       | False         | -              | \n| LLaMA 7b | False        | False | False | True  | 79.5 GB   | True          | 35:30          |\n| LLaMA 7b | False        | False | False | False | OOM       | True          | -              |\n\n### 基于 LLaMA 训练 medAlpaca\n如果您拥有 [LLaMA](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971) 或 [Alpaca](https:\u002F\u002Fcrfm.stanford.edu\u002F2023\u002F03\u002F13\u002Falpaca.html) 的权重，可以使用以下命令对该模型进行微调。只需将 `\u003CPATH_TO_LLAMA_WEIGHTS>` 替换为您存放 LLaMA 或 Alpaca 权重的文件夹即可。\n\n```bash\npython medalpaca\u002Ftrain.py \\\n    --model PATH_TO_LLAMA_WEIGHTS \\\n    --data_path medical_meadow_small.json \\\n    --output_dir 'output' \\\n    --train_in_8bit True \\  \n    --use_lora True \\\n    --bf16 True \\\n    --tf32 False \\\n    --fp16 False \\\n    --global_batch_size 128 \\\n    --per_device_batch_size 8 \\\n```\n默认情况下，脚本会执行混合精度训练。  \n您可以通过 `train_in_8bit` 标志来切换 8 位训练模式。  \n目前，8 位训练仅支持 `use_lora True`，但您也可以在不启用 8 位训练的情况下使用 LoRA。  \n此外，该脚本还可以用于训练其他模型，例如 `facebook\u002Fopt-6.7`。\n\n## 数据\n\u003Cimg width=\"256\" alt=\"Screenshot 2023-03-31 at 09 37 41\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_readme_a02e608a9fe5.png\">\n\n为了确保您心爱的羊驼和羊驼们得到充分的喂养并茁壮成长，我们精心收集了高质量的生物医学开源数据集，并将其转换为指令微调格式。  \n我们将这一努力称为 **Medical Meadow**。  \nMedical Meadow 目前涵盖了约 150 万个数据点，涉及多种任务，其中包括由 OpenAI 的 `gpt-3.5-turbo` 转换为问答对的公开医学数据，以及一系列成熟的医学领域 NLP 任务。  \n请注意，数据的数量和质量并不一致，您可能需要对数据进行子采样以训练自己的模型。  \n我们将持续更新和完善该数据集，并欢迎所有人向 Medical Meadow 贡献更多的“草料”！\n\n### 数据概览\n\n| 名称                 | 来源                                                                 | 样本量       | 用于训练的样本量 |\n|----------------------|-------------------------------------------------------------------------|----------|-------------------------|\n| 医学闪卡           |  [medalpaca\u002Fmedical_meadow_medical_flashcards](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_medical_flashcards)  |  33955  |  33955                 |\n| Wikidoc              |  [medalpaca\u002Fmedical_meadow_wikidoc](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_wikidoc)    |  67704  |  10000                 |\n| Wikidoc 患者信息     | [medalpaca\u002Fmedical_meadow_wikidoc_patient_information](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_wikidoc_patient_information)    |  5942 |  5942 |\n| Stackexchange 学术   |  [medalpaca\u002Fmedical_meadow_stack_exchange](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_stackexchange)    |  40865  |  40865                 |\n| Stackexchange 生物   |  [medalpaca\u002Fmedical_meadow_stack_exchange](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_stackexchange)    |  27887  |  27887                 |\n| Stackexchange 健身     |  [medalpaca\u002Fmedical_meadow_stack_exchange](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_stackexchange)    |  9833  | 9833                 |\n| Stackexchange 健康     |  [medalpaca\u002Fmedical_meadow_stack_exchange](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_stackexchange)    |  7721  |  7721                 |\n| Stackexchange 生物信息学 |  [medalpaca\u002Fmedical_meadow_stack_exchange](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_stackexchange)    |  5407  |  5407                |\n| USMLE 自我评估 Step 1 |  [medalpaca\u002Fmedical_meadow_usmle_self](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_usmle_self_assessment)    |  119  |  92（仅测试）              |\n| USMLE 自我评估 Step 2 |  [medalpaca\u002Fmedical_meadow_usmle_self](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_usmle_self_assessment)    |  120  |  110  (仅测试)              |\n| USMLE 自我评估 Step 3 |  [medalpaca\u002Fmedical_meadow_usmle_self](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_usmle_self_assessment)    |  135  |  122  (仅测试)             |\n| MEDIQA               | [原始](https:\u002F\u002Fosf.io\u002Ffyg46\u002F?view_only=), [预处理版](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_mediqa) |  2208    |  2208 |\n| CORD-19              | [原始](https:\u002F\u002Fwww.kaggle.com\u002Fdatasets\u002Fallen-institute-for-ai\u002FCORD-19-research-challenge ), [预处理版](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_cord19) |  1056660    |  50000 |\n| MMMLU               | [原始](https:\u002F\u002Fgithub.com\u002Fhendrycks\u002Ftest), [预处理版](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_mmmlu) |  3787    |  3787 |\n| Pubmed 健康建议       | [原始](https:\u002F\u002Faclanthology.org\u002FD19-1473\u002F), [预处理版](vhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fhealth_advice) |  10178    |  10178 |\n| Pubmed 因果关系       | [原始](https:\u002F\u002Faclanthology.org\u002F2020.coling-main.427\u002F    ), [预处理版](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmedalpaca\u002Fmedical_meadow_pubmed_causal) |  2446    |  2446 |\n| ChatDoctor             | [原始](https:\u002F\u002Fgithub.com\u002FKent0n-Li\u002FChatDoctor  ) |  215000    |  10000 |\n| OpenAssistant          | [原始](https:\u002F\u002Fhuggingface.co\u002FOpenAssistant) |  9209   | 9209     |\n\n\n### 数据描述\n请参阅 [DATA_DESCRIPTION.md](DATA_DESCRIPTION.md)\n\n\n## 基准测试\n\u003Cimg width=\"256\" alt=\"benchmarks\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_readme_14b9e43454bf.png\">\n\n我们正在使用 USMLE 自我评估作为基准，对所有模型进行测试，该评估可在[此链接](https:\u002F\u002Fwww.usmle.org\u002Fprepare-your-exam)获取。请注意，我们已移除所有包含图片的题目，因为我们的模型并非多模态模型。\n\n| **模型**                                                                                  | **Step1**         | **Step2**        | **Step3**        |\n|--------------------------------------------------------------------------------------------|-------------------|------------------|------------------|\n| [LLaMA 7b](https:\u002F\u002Fai.facebook.com\u002Fblog\u002Flarge-language-model-llama-meta-ai\u002F)               | 0.198             | 0.202            | 0.203            |\n| [Alpaca 7b naive](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca) ([权重](https:\u002F\u002Fhuggingface.co\u002Fchavinlo\u002Falpaca-native)) | 0.275             | 0.266            | 0.293            |\n| [Alpaca 7b LoRA](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora)                                     | 0.220             | 0.138            | 0.252            |\n| [MedAlpaca 7b](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-7b)                              | 0.297             | 0.312            | 0.398            |\n| [MedAlpaca 7b LoRA](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca\u002Fmedalpaca-lora-7b-16bit)    | 0.231             | 0.202            | 0.179            |\n| [MedAlpaca 7b LoRA 8bit](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-lora-7b-8bit)          | 0.231             | 0.241            | 0.211            |\n| [ChatDoctor](https:\u002F\u002Fgithub.com\u002FKent0n-Li\u002FChatDoctor) (7b)                                 | 0.187             | 0.185            | 0.148            |\n| [LLaMA 13b](https:\u002F\u002Fai.facebook.com\u002Fblog\u002Flarge-language-model-llama-meta-ai\u002F)              | 0.222             | 0.248            | 0.276            |\n| [Alpaca 13b naive](https:\u002F\u002Fhuggingface.co\u002Fchavinlo\u002Falpaca-13b)                             | 0.319             | 0.312            | 0.301            |\n| [MedAlpaca 13b](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-13b)                            | ***0.473***       | ***0.477***      | ***0.602***      |  \n| [MedAlpaca 13b LoRA](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca\u002Fmedalpaca-lora-13b-16bit)  | 0.250             | 0.255            | 0.255            |\n| [MedAlpaca 13b LoRA 8bit](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-lora-13b-8bit)        | 0.189             | 0.303            | 0.289            |\n| [MedAlpaca 30b](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-30b)（仍在训练中）           | 待定              | 待定             | 待定             |  \n| [MedAlpaca 30b LoRA 8bit](https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\u002Fmedalpaca-lora-30b-8bit)        | 0.315             | 0.327            | 0.361            |+\n\n我们正持续改进训练方法以及评估提示语句。预计此表格还将有较大变化。\n\n## 访问模型\n欢迎前往 Model Zoo 浏览我们的 Alpaca 模型：https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\n\n虽然这应当是显而易见的，但本平台上提供的模型仅用于研究目的，不得应用于任何医疗保健相关场景或环境中。我们非常高兴能够展示这些实验性模型，但请您注意，它们尚未经过全面的测试与验证，其可靠性无法得到保证。因此，在使用这些模型时，请务必谨慎行事。感谢您的理解与支持，我们将继续探索并推进这一创新技术的发展。\n\n## 论文\n\u003Cimg width=\"256\" alt=\"chat-lama\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_readme_836f9d9137fc.png\">\n\n```\n@article{han2023medalpaca,\n  title={MedAlpaca——开源医学对话式 AI 模型及训练数据集},\n  author={Han, Tianyu 和 Adams, Lisa C 和 Papaioannou, Jens-Michalis 和 Grundmann, Paul 和 Oberhauser, Tom 和 L{\\\"o}ser, Alexander 和 Truhn, Daniel 和 Bressem, Keno K},\n  journal={arXiv 预印本 arXiv:2304.08247},\n  year={2023}\n}\n```","# medAlpaca 快速上手指南\n\nmedAlpaca 是基于 Stanford Alpaca 和 AlpacaLoRA 扩展的开源项目，提供了一系列针对医疗问答和对话应用微调的大型语言模型。本指南将帮助开发者快速搭建环境并运行模型。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **Python 版本**: >= 3.9\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡（显存需求见下文）\n*   **依赖管理工具**: Conda (推荐) 或 venv\n\n**显存需求参考 (基于 LLaMA 7b 微调):**\n*   **8bit + LoRA**: 约 9 GB VRAM\n*   **LoRA (非 8bit)**: 约 19 GB VRAM\n*   **全量微调 (bf16 + Gradient Checkpointing)**: 约 80 GB VRAM\n\n## 安装步骤\n\n### 1. 创建虚拟环境\n使用 Conda 创建一个名为 `medalpaca` 的独立环境：\n\n```bash\nconda create -n medalpaca python>=3.9\nconda activate medalpaca\n```\n\n### 2. 安装依赖\n克隆项目代码后，进入目录并安装所需包。为了加速下载，建议配置国内 pip 镜像源（如清华源）：\n\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n> **注意**: 您需要自行准备 [LLaMA](https:\u002F\u002Fai.facebook.com\u002Fblog\u002Flarge-language-model-llama-meta-ai\u002F) 或 [Alpaca](https:\u002F\u002Fcrfm.stanford.edu\u002F2023\u002F03\u002F13\u002Falpaca.html) 的模型权重文件。由于版权限制，本项目不包含原始权重。\n\n## 基本使用\n\n### 启动微调训练\n假设您已将 LLaMA 或 Alpaca 权重放置在本地路径 `\u003CPATH_TO_LLAMA_WEIGHTS>`，可以使用以下命令基于 `medical_meadow_small` 数据集启动微调。\n\n此示例配置开启了 **8bit 量化** 和 **LoRA** 高效微调，适合单卡消费级显卡运行：\n\n```bash\npython medalpaca\u002Ftrain.py \\\n    --model \u003CPATH_TO_LLAMA_WEIGHTS> \\\n    --data_path medical_meadow_small.json \\\n    --output_dir 'output' \\\n    --train_in_8bit True \\\n    --use_lora True \\\n    --bf16 True \\\n    --tf32 False \\\n    --fp16 False \\\n    --global_batch_size 128 \\\n    --per_device_batch_size 8\n```\n\n**参数说明：**\n*   `--model`: 指向包含原始模型权重的文件夹路径。\n*   `--train_in_8bit`: 设为 `True` 可显著降低显存占用（目前需配合 `use_lora True` 使用）。\n*   `--use_lora`: 启用 LoRA 进行参数高效微调。\n*   `--data_path`: 训练数据路径，默认脚本支持多种格式，也可替换为其他 Medical Meadow 数据集。\n\n> **提示**: 该脚本同样适用于微调其他兼容模型（如 `facebook\u002Fopt-6.7b`），只需更改 `--model` 参数即可。\n\n### 获取预训练模型\n如果您不想从头训练，可以直接从 Hugging Face 下载社区已微调好的模型：\n*   访问地址：https:\u002F\u002Fhuggingface.co\u002Fmedalpaca\n*   推荐模型：`medalpaca\u002Fmedalpaca-7b` 或 `medalpaca\u002Fmedalpaca-13b`\n\n---\n**免责声明**: 本项目提供的模型仅供学术研究使用，未经过严格的医疗验证，**严禁**直接用于任何真实的医疗诊断、治疗建议或 healthcare 应用场景。","某基层医疗科技团队正致力于开发一款面向社区医生的智能辅助问诊系统，旨在快速响应患者关于常见病症的初步咨询。\n\n### 没有 medAlpaca 时\n- **专业度不足**：直接调用通用大模型回答医疗问题时，常出现“一本正经胡说八道”的现象，缺乏临床依据，甚至给出危险的用药建议。\n- **数据清洗成本高**：团队需耗费数周时间手动收集、清洗并格式化分散的医学维基、闪卡及对话数据，以构建微调数据集。\n- **训练门槛极高**：在有限的单卡 GPU 资源下，尝试全量微调开源模型极易显存溢出（OOM），导致项目无法在本地启动。\n- **响应风格生硬**：模型输出的内容更像教科书摘录，缺乏医患沟通所需的同理心和对话流畅度，用户体验较差。\n\n### 使用 medAlpaca 后\n- **回答精准可靠**：medAlpaca 基于 Medical Meadow 海量高质量医学数据微调，能准确引用临床指南，显著降低幻觉率，提供安全的初步分诊建议。\n- **开箱即用高效**：直接利用其预处理的指令微调格式数据，团队省去了繁琐的数据工程环节，将研发重心回归到业务逻辑本身。\n- **低资源可落地**：借助 medAlpaca 支持的 LoRA 和 8bit 量化训练技术，团队仅用一张消费级显卡即可顺利完成模型定制，大幅降低算力成本。\n- **交互自然亲切**：模型继承了医学对话数据的语料特征，能以温和、专业的口吻与患者互动，有效缓解用户焦虑，提升信任感。\n\nmedAlpaca 通过提供专为医疗领域优化的微调模型与数据闭环，让中小团队也能以低成本构建安全、专业且具人文关怀的智能医疗助手。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkbressem_medAlpaca_d471753a.png","kbressem","Keno","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fkbressem_3f7450f5.jpg","Radiologist interested in deep learning","Technical University Munich","Munich",null,"k_bressem","https:\u002F\u002Fgithub.com\u002Fkbressem",[85,89],{"name":86,"color":87,"percentage":88},"Python","#3572A5",95.7,{"name":90,"color":91,"percentage":92},"Shell","#89e051",4.3,557,72,"2026-04-01T11:47:40","GPL-3.0",4,"未说明","训练必需 NVIDIA GPU。显存需求取决于配置：8bit+LoRA 模式需约 9GB；纯 LoRA (fp16) 需约 19GB；全量 bf16 训练需约 80GB。推理显存需求未明确，但通常低于训练。",{"notes":101,"python":102,"dependencies":103},"1. 项目基于 LLaMA 或 Alpaca 权重进行微调，用户需自行获取这些基础模型权重。2. 训练数据来自 'Medical Meadow' 数据集（约 150 万条数据），可根据需要子采样。3. 官方明确声明模型仅用于研究目的，严禁用于任何医疗保健应用或场景，且可靠性未经过充分验证。4. 支持 8bit 量化训练和 LoRA 微调以降低显存门槛。",">=3.9",[104],"requirements.txt 中定义的包 (具体列表未在 README 文本中展示)",[26,13],"2026-03-27T02:49:30.150509","2026-04-06T08:45:14.763310",[109,114,119,124,129,133],{"id":110,"question_zh":111,"answer_zh":112,"source_url":113},15263,"为什么模型输出全是重复的字符（如 'O' 或 ','）？","这通常是因为加载 8-bit 模型的方式不正确。8-bit 模型仅包含适配器（adapters），您需要先加载完整的基础模型，然后再加载适配器。建议直接使用项目提供的 `Inferer` 类进行推理，它会自动处理这些步骤。如果必须手动加载，请确保使用 `LlamaForCausalLM` 而不是 `AutoModelForCausalLM`，因为后者可能因配置文件过时而无法正常工作。","https:\u002F\u002Fgithub.com\u002Fkbressem\u002FmedAlpaca\u002Fissues\u002F17",{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},15264,"运行模型时遇到 'RecursionError: maximum recursion depth exceeded' 错误怎么办？","该错误通常由 Tokenizer 配置过时引起，特别是在 `transformers` 库更新后。解决方案是不要使用模型自带的 Tokenizer，而是显式指定一个兼容的 Tokenizer，例如 `huggyllama\u002Fllama-7b`。在代码中将 tokenizer 参数更改为：`tokenizer=\"huggyllama\u002Fllama-7b\"` 即可解决此递归错误。","https:\u002F\u002Fgithub.com\u002Fkbressem\u002FmedAlpaca\u002Fissues\u002F32",{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},15265,"README 中的 StackExchange 数据集链接失效了，在哪里可以获取数据？","维护者已移除原始数据集链接，原因是需要进一步清洗数据且避免许可证违规。官方推荐使用 Hugging Face 上托管的替代数据集：`HuggingFaceH4\u002Fstack-exchange-preferences`。该数据集质量更高，可直接在 Hugging Face 上访问和使用。","https:\u002F\u002Fgithub.com\u002Fkbressem\u002FmedAlpaca\u002Fissues\u002F22",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},15266,"在 Google Colab 中运行时出现配置加载错误或拼写错误怎么办？","检查代码中的模型名称拼写。曾发现配置文件或示例代码中存在拼写错误（例如将 `medalpaca` 误写为 `medalapca`）。请确保 `model_name` 参数与 Hugging Face 仓库中的实际名称完全一致。如果使用 `Inferer` 类，请核对 `supported_models.json` 中的配置或直接使用正确的 HF 模型路径。","https:\u002F\u002Fgithub.com\u002Fkbressem\u002FmedAlpaca\u002Fissues\u002F28",{"id":130,"question_zh":131,"answer_zh":132,"source_url":113},15267,"加载 8-bit LoRA 模型时提示 'Can't load tokenizer' 错误如何解决？","这是因为 8-bit 模型仓库中可能不包含完整的 Tokenizer 文件，或者其配置文件与当前的 `transformers` 版本不兼容。解决方法是：1. 显式使用 `LlamaTokenizer.from_pretrained(\"decapoda-research\u002Fllama-7b-hf\")` 或 `huggyllama\u002Fllama-7b` 来加载 Tokenizer；2. 加载模型时使用 `LlamaForCausalLM` 类而非 `AutoModelForCausalLM`，以避开过时的配置问题。",{"id":134,"question_zh":135,"answer_zh":136,"source_url":113},15268,"如何正确传递上下文（context）或指令（instruction）给模型进行推理？","如果使用 `Inferer` 类，可以通过参数传递上下文。`input` 参数用于主要输入文本，`instruction` 参数用于提供额外的背景信息或指令（相当于 few-shot prompting 中的 context）。如果需要多次使用相同的上下文，也可以修改 prompt 模板的 JSON 文件。具体用法请参考 `Inferer` 类的文档字符串（docstring）。",[]]