[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-DjangoPeng--LLM-quickstart":3,"tool-DjangoPeng--LLM-quickstart":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":79,"owner_website":82,"owner_url":83,"languages":84,"stars":97,"forks":98,"last_commit_at":99,"license":100,"difficulty_score":10,"env_os":101,"env_gpu":102,"env_ram":103,"env_deps":104,"category_tags":111,"github_topics":79,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":112,"updated_at":113,"faqs":114,"releases":140},910,"DjangoPeng\u002FLLM-quickstart","LLM-quickstart","Quick Start for Large Language Models (Theoretical Learning and Practical Fine-tuning) 大语言模型快速入门（理论学习与微调实战）","LLM-quickstart 是一个面向大语言模型（LLM）学习与实践的开源项目，旨在为用户提供从理论入门到动手微调的完整指南。它系统性地整理了LLM的核心知识，并配备了可直接运行的代码示例，帮助用户快速掌握如何在自己的数据集上微调模型。\n\n这个工具主要解决了学习大语言模型时面临的两大难题：一是理论知识分散、入门门槛高；二是实践环节复杂，环境配置和代码调试容易让人却步。它将学习路径结构化，降低了从理论到应用之间的鸿沟。\n\n它非常适合希望深入理解并实际运用大语言模型的开发者、学生和研究人员。无论是刚开始接触AI的初学者，还是有一定基础、想快速上手微调实战的工程师，都能从中受益。\n\n项目的技术亮点在于其“一站式”的设计理念：不仅提供了清晰的学习路线图，还详细涵盖了从GPU驱动、CUDA环境配置，到使用Jupyter Lab进行交互式开发的完整工具链。所有代码示例都围绕实际微调任务展开，确保了学习的实用性和可操作性。","# 大模型（LLMs）微调训练 快速入门指南\n\n![GitHub stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FDjangoPeng\u002FLLM-quickstart?style=social)\n![GitHub forks](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002FDjangoPeng\u002FLLM-quickstart?style=social)\n![GitHub watchers](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fwatchers\u002FDjangoPeng\u002FLLM-quickstart?style=social)\n![GitHub repo size](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Frepo-size\u002FDjangoPeng\u002FLLM-quickstart)\n![GitHub language count](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flanguages\u002Fcount\u002FDjangoPeng\u002FLLM-quickstart)\n![GitHub top language](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flanguages\u002Ftop\u002FDjangoPeng\u002FLLM-quickstart)\n![GitHub last commit](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002FDjangoPeng\u002FLLM-quickstart?color=red)\n![GitHub last commit](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002FDjangoPeng\u002FLLM-quickstart?color=red)\n\n\u003Cp align=\"center\">\n    \u003Cbr> 中文 | \u003Ca href=\"README-en.md\">English\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n大语言模型快速入门（理论学习与微调实战）\n\n## 拉取代码\n\n你可以通过克隆此仓库到 GPU 服务器来开始学习：\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FDjangoPeng\u002FLLM-quickstart.git\n```\n\n## 搭建开发环境\n\n本项目对于硬件有一定要求：GPU 显存不小于16GB，支持最低配置显卡型号为 NVIDIA Tesla T4。\n\n建议使用 GPU 云服务器来进行模型训练和微调。\n\n项目使用 Python 版本为 3.10，环境关键依赖的官方文档如下：\n\n- Python 环境管理 [Miniconda](https:\u002F\u002Fdocs.conda.io\u002Fprojects\u002Fminiconda\u002Fen\u002Flatest\u002F)\n- Python 交互式开发环境 [Jupyter Lab](https:\u002F\u002Fjupyterlab.readthedocs.io\u002Fen\u002Fstable\u002Fgetting_started\u002Finstallation.html)\n\n\n**以下是详细的安装指导（以 Ubuntu 22.04 操作系统为例）**：\n\n### 安装 CUDA Toolkit 和 GPU 驱动\n\n根据你的实际情况，找到对应的 [CUDA 12.04](https:\u002F\u002Fdeveloper.nvidia.com\u002Fcuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=runfile_local)：\n\n下载并安装 CUDA 12.4 Toolkit（包含GPU驱动）：\n\n```shell\nwget https:\u002F\u002Fdeveloper.download.nvidia.com\u002Fcompute\u002Fcuda\u002F12.4.0\u002Flocal_installers\u002Fcuda_12.4.0_550.54.14_linux.run\nsudo sh cuda_12.4.0_550.54.14_linux.run\n```\n\n**注意使用`runfile`方式，可以连同版本匹配的 GPU 驱动一起安装好。**\n\n![CUDA Toolkit](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FDjangoPeng_LLM-quickstart_readme_1b4140a198ae.png)\n\n安装完成后，使用 `nvidia-smi` 指令查看版本：\n\n```shell\nnvidia-smi          \nMon Dec 18 12:10:47 2023       \n+---------------------------------------------------------------------------------------+\n| NVIDIA-SMI 535.129.03             Driver Version: 535.129.03   CUDA Version: 12.4     |\n|-----------------------------------------+----------------------+----------------------+\n| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |\n| Fan  Temp   Perf          Pwr:Usage\u002FCap |         Memory-Usage | GPU-Util  Compute M. |\n|                                         |                      |               MIG M. |\n|=========================================+======================+======================|\n|   0  Tesla T4                       Off | 00000000:00:0D.0 Off |                    0 |\n| N\u002FA   44C    P0              26W \u002F  70W |      2MiB \u002F 15360MiB |      6%      Default |\n|                                         |                      |                  N\u002FA |\n+-----------------------------------------+----------------------+----------------------+\n                                                                                         \n+---------------------------------------------------------------------------------------+\n| Processes:                                                                            |\n|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |\n|        ID   ID                                                             Usage      |\n|=======================================================================================|\n|  No running processes found                                                           |\n+---------------------------------------------------------------------------------------+\n```\n\n### 安装操作系统级软件依赖\n\n```shell\nsudo apt update && sudo apt upgrade\nsudo apt install ffmpeg\n## 检查是否安装成功\nffmpeg -version\n```\n\n参考：[音频工具包 ffmpeg 官方安装文档](https:\u002F\u002Fphoenixnap.com\u002Fkb\u002Finstall-ffmpeg-ubuntu)\n\n\n### 安装 Python 环境管理工具 Miniconda\n\n```shell\nmkdir -p ~\u002Fminiconda3\nwget https:\u002F\u002Frepo.anaconda.com\u002Fminiconda\u002FMiniconda3-latest-Linux-x86_64.sh -O ~\u002Fminiconda3\u002Fminiconda.sh\nbash ~\u002Fminiconda3\u002Fminiconda.sh -b -u -p ~\u002Fminiconda3\nrm -rf ~\u002Fminiconda3\u002Fminiconda.sh\n```\n\n安装完成后，建议新建一个 Python 虚拟环境，命名为 `peft`。\n\n```shell\nconda create -n peft python=3.10\n\n# 激活环境\nconda activate peft \n```\n\n之后每次使用需要激活此环境。\n\n\n### 安装 Python 依赖软件包\n\n完整 Python 依赖软件包见[requirements.txt](requirements.txt)。\n\n```shell\npip install -r requirements.txt\n```\n\n\n### 安装和配置 Jupyter Lab\n\n上述开发环境安装完成后，使用 Miniconda 安装 Jupyter Lab：\n\n```shell\nconda install -c conda-forge jupyterlab\n```\n\n使用 Jupyter Lab 开发的最佳实践是后台常驻，下面是相关配置（以 root 用户为例）：\n\n```shell\n# 生成 Jupyter Lab 配置文件，\njupyter lab --generate-config\n```\n\n打开上面执行输出的`jupyter_lab_config.py`配置文件后，修改以下配置项：\n\n```python\nc.ServerApp.allow_root = True # 非 root 用户启动，无需修改\nc.ServerApp.ip = '*'\n```\n\n使用 nohup 后台启动 Jupyter Lab\n```shell\n$ nohup jupyter lab --port=8000 --NotebookApp.token='替换为你的密码' --notebook-dir=.\u002F &\n```\n\nJupyter Lab 输出的日志将会保存在 `nohup.out` 文件（已在 .gitignore中过滤）。\n\n\n### 关于 LangChain 调用 OpenAI GPT API 的配置\n\n为了使用OpenAI API，你需要从OpenAI控制台获取一个API密钥。一旦你有了密钥，你可以将其设置为环境变量：\n\n对于基于Unix的系统（如Ubuntu或MacOS），你可以在终端中运行以下命令：\n\n```bash\nexport OPENAI_API_KEY='你的-api-key'\n```\n\n对于Windows，你可以在命令提示符中使用以下命令：\n\n```bash\nset OPENAI_API_KEY=你的-api-key\n```\n\n请确保将`'你的-api-key'`替换为你的实际OpenAI API密钥。\n","# 大模型（LLMs）微调训练 快速入门指南\n\n![GitHub stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FDjangoPeng\u002FLLM-quickstart?style=social)\n![GitHub forks](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002FDjangoPeng\u002FLLM-quickstart?style=social)\n![GitHub watchers](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fwatchers\u002FDjangoPeng\u002FLLM-quickstart?style=social)\n![GitHub repo size](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Frepo-size\u002FDjangoPeng\u002FLLM-quickstart)\n![GitHub language count](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flanguages\u002Fcount\u002FDjangoPeng\u002FLLM-quickstart)\n![GitHub top language](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flanguages\u002Ftop\u002FDjangoPeng\u002FLLM-quickstart)\n![GitHub last commit](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002FDjangoPeng\u002FLLM-quickstart?color=red)\n![GitHub last commit](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002FDjangoPeng\u002FLLM-quickstart?color=red)\n\n\u003Cp align=\"center\">\n    \u003Cbr> 中文 | \u003Ca href=\"README-en.md\">English\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n大语言模型快速入门（理论学习与微调实战）\n\n## 拉取代码\n\n你可以通过克隆此仓库到 GPU 服务器来开始学习：\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FDjangoPeng\u002FLLM-quickstart.git\n```\n\n## 搭建开发环境\n\n本项目对于硬件有一定要求：GPU 显存不小于16GB，支持最低配置显卡型号为 NVIDIA Tesla T4。\n\n建议使用 GPU 云服务器来进行模型训练和微调。\n\n项目使用 Python 版本为 3.10，环境关键依赖的官方文档如下：\n\n- Python 环境管理 [Miniconda](https:\u002F\u002Fdocs.conda.io\u002Fprojects\u002Fminiconda\u002Fen\u002Flatest\u002F)\n- Python 交互式开发环境 [Jupyter Lab](https:\u002F\u002Fjupyterlab.readthedocs.io\u002Fen\u002Fstable\u002Fgetting_started\u002Finstallation.html)\n\n\n**以下是详细的安装指导（以 Ubuntu 22.04 操作系统为例）**：\n\n### 安装 CUDA Toolkit 和 GPU 驱动\n\n根据你的实际情况，找到对应的 [CUDA 12.04](https:\u002F\u002Fdeveloper.nvidia.com\u002Fcuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=runfile_local)：\n\n下载并安装 CUDA 12.4 Toolkit（包含GPU驱动）：\n\n```shell\nwget https:\u002F\u002Fdeveloper.download.nvidia.com\u002Fcompute\u002Fcuda\u002F12.4.0\u002Flocal_installers\u002Fcuda_12.4.0_550.54.14_linux.run\nsudo sh cuda_12.4.0_550.54.14_linux.run\n```\n\n**注意使用`runfile`方式，可以连同版本匹配的 GPU 驱动一起安装好。**\n\n![CUDA Toolkit](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FDjangoPeng_LLM-quickstart_readme_1b4140a198ae.png)\n\n安装完成后，使用 `nvidia-smi` 指令查看版本：\n\n```shell\nnvidia-smi          \nMon Dec 18 12:10:47 2023       \n+---------------------------------------------------------------------------------------+\n| NVIDIA-SMI 535.129.03             Driver Version: 535.129.03   CUDA Version: 12.4     |\n|-----------------------------------------+----------------------+----------------------+\n| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |\n| Fan  Temp   Perf          Pwr:Usage\u002FCap |         Memory-Usage | GPU-Util  Compute M. |\n|                                         |                      |               MIG M. |\n|=========================================+======================+======================|\n|   0  Tesla T4                       Off | 00000000:00:0D.0 Off |                    0 |\n| N\u002FA   44C    P0              26W \u002F  70W |      2MiB \u002F 15360MiB |      6%      Default |\n|                                         |                      |                  N\u002FA |\n+-----------------------------------------+----------------------+----------------------+\n                                                                                         \n+---------------------------------------------------------------------------------------+\n| Processes:                                                                            |\n|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |\n|        ID   ID                                                             Usage      |\n|=======================================================================================|\n|  No running processes found                                                           |\n+---------------------------------------------------------------------------------------+\n```\n\n### 安装操作系统级软件依赖\n\n```shell\nsudo apt update && sudo apt upgrade\nsudo apt install ffmpeg\n## 检查是否安装成功\nffmpeg -version\n```\n\n参考：[音频工具包 ffmpeg 官方安装文档](https:\u002F\u002Fphoenixnap.com\u002Fkb\u002Finstall-ffmpeg-ubuntu)\n\n\n### 安装 Python 环境管理工具 Miniconda\n\n```shell\nmkdir -p ~\u002Fminiconda3\nwget https:\u002F\u002Frepo.anaconda.com\u002Fminiconda\u002FMiniconda3-latest-Linux-x86_64.sh -O ~\u002Fminiconda3\u002Fminiconda.sh\nbash ~\u002Fminiconda3\u002Fminiconda.sh -b -u -p ~\u002Fminiconda3\nrm -rf ~\u002Fminiconda3\u002Fminiconda.sh\n```\n\n安装完成后，建议新建一个 Python 虚拟环境，命名为 `peft`。\n\n```shell\nconda create -n peft python=3.10\n\n# 激活环境\nconda activate peft \n```\n\n之后每次使用需要激活此环境。\n\n\n### 安装 Python 依赖软件包\n\n完整 Python 依赖软件包见[requirements.txt](requirements.txt)。\n\n```shell\npip install -r requirements.txt\n```\n\n\n### 安装和配置 Jupyter Lab\n\n上述开发环境安装完成后，使用 Miniconda 安装 Jupyter Lab：\n\n```shell\nconda install -c conda-forge jupyterlab\n```\n\n使用 Jupyter Lab 开发的最佳实践是后台常驻，下面是相关配置（以 root 用户为例）：\n\n```shell\n# 生成 Jupyter Lab 配置文件，\njupyter lab --generate-config\n```\n\n打开上面执行输出的`jupyter_lab_config.py`配置文件后，修改以下配置项：\n\n```python\nc.ServerApp.allow_root = True # 非 root 用户启动，无需修改\nc.ServerApp.ip = '*'\n```\n\n使用 nohup 后台启动 Jupyter Lab\n```shell\n$ nohup jupyter lab --port=8000 --NotebookApp.token='替换为你的密码' --notebook-dir=.\u002F &\n```\n\nJupyter Lab 输出的日志将会保存在 `nohup.out` 文件（已在 .gitignore中过滤）。\n\n\n### 关于 LangChain 调用 OpenAI GPT API 的配置\n\n为了使用OpenAI API，你需要从OpenAI控制台获取一个API密钥。一旦你有了密钥，你可以将其设置为环境变量：\n\n对于基于Unix的系统（如Ubuntu或MacOS），你可以在终端中运行以下命令：\n\n```bash\nexport OPENAI_API_KEY='你的-api-key'\n```\n\n对于Windows，你可以在命令提示符中使用以下命令：\n\n```bash\nset OPENAI_API_KEY=你的-api-key\n```\n\n请确保将`'你的-api-key'`替换为你的实际OpenAI API密钥。","# LLM-quickstart 快速上手指南\n\n## 环境准备\n\n### 硬件要求\n- **GPU**：显存不小于 16GB，最低支持 NVIDIA Tesla T4 显卡。\n- **服务器**：建议使用 GPU 云服务器进行模型训练和微调。\n\n### 软件要求\n- **操作系统**：Ubuntu 22.04（本指南以此为例）。\n- **Python**：版本 3.10。\n- **环境管理**：Miniconda。\n- **开发环境**：Jupyter Lab。\n\n## 安装步骤\n\n### 1. 获取代码\n克隆项目仓库到您的服务器：\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FDjangoPeng\u002FLLM-quickstart.git\n```\n\n### 2. 安装 CUDA Toolkit 与 GPU 驱动\n下载并安装 CUDA 12.4 Toolkit（包含 GPU 驱动）：\n```shell\nwget https:\u002F\u002Fdeveloper.download.nvidia.com\u002Fcompute\u002Fcuda\u002F12.4.0\u002Flocal_installers\u002Fcuda_12.4.0_550.54.14_linux.run\nsudo sh cuda_12.4.0_550.54.14_linux.run\n```\n安装完成后，使用 `nvidia-smi` 命令验证安装。\n\n### 3. 安装系统依赖\n更新系统并安装必要的工具（如 `ffmpeg`）：\n```shell\nsudo apt update && sudo apt upgrade\nsudo apt install ffmpeg\n```\n\n### 4. 安装 Miniconda\n下载并安装 Miniconda 以管理 Python 环境：\n```shell\nmkdir -p ~\u002Fminiconda3\nwget https:\u002F\u002Frepo.anaconda.com\u002Fminiconda\u002FMiniconda3-latest-Linux-x86_64.sh -O ~\u002Fminiconda3\u002Fminiconda.sh\nbash ~\u002Fminiconda3\u002Fminiconda.sh -b -u -p ~\u002Fminiconda3\nrm -rf ~\u002Fminiconda3\u002Fminiconda.sh\n```\n创建并激活名为 `peft` 的 Python 虚拟环境：\n```shell\nconda create -n peft python=3.10\nconda activate peft\n```\n\n### 5. 安装 Python 依赖\n在项目根目录下，安装所有必需的 Python 包：\n```shell\npip install -r requirements.txt\n```\n\n### 6. 安装与配置 Jupyter Lab\n通过 Conda 安装 Jupyter Lab：\n```shell\nconda install -c conda-forge jupyterlab\n```\n生成配置文件并进行基本设置：\n```shell\njupyter lab --generate-config\n```\n编辑生成的配置文件（如 `jupyter_lab_config.py`），确保包含以下行：\n```python\nc.ServerApp.allow_root = True\nc.ServerApp.ip = '*'\n```\n后台启动 Jupyter Lab（端口设为 8000，请替换 `‘你的密码’`）：\n```shell\nnohup jupyter lab --port=8000 --NotebookApp.token='你的密码' --notebook-dir=.\u002F &\n```\n\n### 7. 配置 OpenAI API 密钥（可选）\n如需使用 LangChain 调用 OpenAI GPT API，请设置环境变量：\n- **Linux\u002FMacOS**：\n  ```bash\n  export OPENAI_API_KEY='你的-api-key'\n  ```\n- **Windows**：\n  ```bash\n  set OPENAI_API_KEY=你的-api-key\n  ```\n\n## 基本使用\n\n1.  确保您已激活 Conda 环境：\n    ```shell\n    conda activate peft\n    ```\n2.  通过浏览器访问 Jupyter Lab（地址为 `http:\u002F\u002F您的服务器IP:8000`），并使用设置的令牌密码登录。\n3.  在 Jupyter Lab 中打开项目中的 Notebook 文件（`.ipynb`），即可开始大语言模型的理论学习与微调实战。\n\n您现已完成环境搭建，可以开始探索大语言模型的微调训练了。","一名金融科技公司的算法工程师，需要为公司内部开发一个能够理解金融术语、准确回答产品条款问答的智能助手，计划通过微调开源大语言模型来实现这一需求。\n\n### 没有 LLM-quickstart 时\n- **环境搭建耗时费力**：需要自行搜索和拼凑CUDA驱动、PyTorch等深度学习框架的安装教程，版本兼容性问题频出，光是配好一个能跑模型的GPU环境就可能花费数天时间。\n- **学习路径模糊不清**：面对海量且分散的微调理论资料（如LoRA、QLoRA）、代码仓库和论文，不知从何入手，难以快速构建起从理论到实践的完整知识体系。\n- **实践缺乏系统指导**：找到的示例代码往往零散、依赖复杂或已过时，在准备数据、编写训练脚本和调试模型时缺少一个可运行、可复现的“标准”项目作为起点，试错成本高。\n\n### 使用 LLM-quickstart 后\n- **环境配置一键直达**：项目提供了从CUDA驱动、Conda环境到Python依赖的清晰、已验证的安装命令序列，工程师可以按步骤快速搭建起标准的模型开发环境，将初始化时间从数天缩短到几小时内。\n- **学习与实践路线图清晰**：LLM-quickstart 将必要的理论学习（如微调原理）与配套的实战代码（Jupyter Notebook）有机结合，为工程师规划了一条从入门到动手微调的直通路径，大幅降低了学习门槛。\n- **获得开箱即用的项目基石**：工程师可以直接基于项目中结构清晰的代码和数据准备范例进行修改，快速启动针对金融文本的微调实验，避免了从零开始搭建项目框架的重复劳动，能更专注于业务逻辑和数据本身。\n\nLLM-quickstart 通过提供一套整合了环境配置、理论指导和实战代码的完整解决方案，显著降低了算法工程师探索和应用大模型微调技术的初始门槛与时间成本。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FDjangoPeng_LLM-quickstart_e41f7b7e.png","DjangoPeng","Jingtian Peng","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FDjangoPeng_1cdd13dd.jpg","Google Developer Expert.\r\nGenAI Developer,\r\nKubeflow\u002FTensorFlow Contributor.\r\nAuthor of TensorFlow-101(2019) and TensorFlow in Depth(2018).",null,"Shanghai, China","pjt73651@gmail.com","https:\u002F\u002Fcn.linkedin.com\u002Fin\u002Fjingtianp","https:\u002F\u002Fgithub.com\u002FDjangoPeng",[85,89,93],{"name":86,"color":87,"percentage":88},"Jupyter Notebook","#DA5B0B",98.4,{"name":90,"color":91,"percentage":92},"Python","#3572A5",1.4,{"name":94,"color":95,"percentage":96},"Shell","#89e051",0.2,1028,582,"2026-04-01T06:32:51","Apache-2.0","Linux","必需 NVIDIA GPU，最低配置 Tesla T4，显存不小于 16GB，CUDA 版本 12.4","未说明",{"notes":105,"python":106,"dependencies":107},"建议使用 GPU 云服务器进行训练和微调，需配置 OpenAI API 密钥环境变量","3.10",[108,109,110],"Miniconda","Jupyter Lab","ffmpeg",[26,13],"2026-03-27T02:49:30.150509","2026-04-06T08:10:37.053493",[115,120,125,130,135],{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},3983,"运行 PEFT QLoRA 微调 ChatGLM3-6B 时，加载模型报错 KeyError: 'inv_freq'，如何解决？","此错误是由于 transformers 库版本过高导致的兼容性问题。解决方案是将 transformers 库版本降级到 3.62.2。执行命令：`pip install transformers==3.62.2`。","https:\u002F\u002Fgithub.com\u002FDjangoPeng\u002FLLM-quickstart\u002Fissues\u002F19",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},3980,"运行 trainer.train() 时抛出 NotADirectoryError 错误，如何解决？","该问题通常是由于 Hugging Face Hub 库版本问题导致无法找到数据集卡片模板文件。解决方案是升级 huggingface-hub 到 0.20.2 版本。也可以使用 conda 安装：`conda install -c conda-forge huggingface_hub`。问题根源是自动生成 README.md 时找不到 `src\u002Fhuggingface_hub\u002Ftemplates\u002Fdatasetcard_template.md` 模板文件。","https:\u002F\u002Fgithub.com\u002FDjangoPeng\u002FLLM-quickstart\u002Fissues\u002F8",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},3981,"使用 AutoGPTQ 量化模型时，报错 \"BuilderConfig 'allenai--c4' not found. Available: ['default']\"，如何解决？","此错误是因为 GPTQ 量化配置中使用的数据集 'c4' 存在问题。解决方案是将量化配置中的数据集参数从 'c4' 改为 'ptb' 或 'pt'。例如，在创建 GPTQConfig 时设置 `dataset='ptb'`。参考 Hugging Face 文档，官方示例使用的是 'ptb' 数据集。","https:\u002F\u002Fgithub.com\u002FDjangoPeng\u002FLLM-quickstart\u002Fissues\u002F6",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},3982,"导入 AutoAWQForCausalLM 时，报错 \"cannot import name 'MoeModelOutputWithPast' from 'transformers.modeling_outputs'\"，如何解决？","这是 AutoAWQ 库与 transformers 库版本不兼容导致的。解决方案是安装指定版本的 autoawq 库。执行命令：`pip install autoawq==0.1.7`。","https:\u002F\u002Fgithub.com\u002FDjangoPeng\u002FLLM-quickstart\u002Fissues\u002F7",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},3984,"运行 PEFT LoRA 微调 Whisper 示例时，提示 adapter 配置文件缺失，但目录下多了 pytorch_model.bin 文件，如何解决？","这是相关库版本不匹配导致模型保存格式不一致。解决方案是调整库版本：升级 huggingface hub 和 peft 库，并可能需要调整 transformers 的版本。确保使用兼容的版本组合。","https:\u002F\u002Fgithub.com\u002FDjangoPeng\u002FLLM-quickstart\u002Fissues\u002F18",[]]