[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-owenliang--qwen-vllm":3,"tool-owenliang--qwen-vllm":61},[4,18,28,37,45,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,2,"2026-04-19T23:22:26",[16,14,13,15,27],"插件",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[13,36,27,14,15],"语言模型",{"id":38,"name":39,"github_repo":40,"description_zh":41,"stars":42,"difficulty_score":10,"last_commit_at":43,"category_tags":44,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":46,"name":47,"github_repo":48,"description_zh":49,"stars":50,"difficulty_score":24,"last_commit_at":51,"category_tags":52,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161147,"2026-04-19T23:31:47",[14,13,36],{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":24,"last_commit_at":59,"category_tags":60,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":76,"owner_email":74,"owner_twitter":74,"owner_website":74,"owner_url":77,"languages":78,"stars":83,"forks":84,"last_commit_at":85,"license":74,"difficulty_score":10,"env_os":86,"env_gpu":87,"env_ram":88,"env_deps":89,"category_tags":101,"github_topics":74,"view_count":24,"oss_zip_url":74,"oss_zip_packed_at":74,"status":17,"created_at":102,"updated_at":103,"faqs":104,"releases":115},8112,"owenliang\u002Fqwen-vllm","qwen-vllm","通义千问VLLM推理部署DEMO","qwen-vllm 是一个专为通义千问大模型打造的高效推理部署示例项目，旨在帮助开发者快速搭建生产级的高并发 AI 服务。它解决了大模型在实际应用中面临的响应速度慢、并发处理能力不足等痛点，通过集成 vLLM 框架，实现了请求的动态批处理（Continuous Batching），显著提升了吞吐量。\n\n该项目特别适合后端工程师、AI 研究人员以及需要部署私有化大模型服务的团队使用。其核心技术亮点在于巧妙结合了 vLLM 的异步推理能力与 FastAPI 高性能 Web 框架：主线程负责接收 HTTP 请求并排队，独立推理线程执行批量计算，既保证了高并发下的稳定性，又原生支持流式输出（Streaming），让用户能实时看到生成内容。此外，项目还提供了完整的离线脚本、在线服务端\u002F客户端代码以及基于 Gradio 的聊天网页界面，覆盖了从本地测试到远程服务的全流程场景。配合详细的安装指南和 Prompt 原理说明，qwen-vllm 降低了大模型落地门槛，是探索高效推理架构的实用参考。","# qwen-vllm\n\n[千问官方部署文档](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen?tab=readme-ov-file#deployment)\n\n* 离线推理vllm_wrapper.py实现参考了[Qwen官方实现](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen\u002Fblob\u002Fmain\u002Fexamples\u002Fvllm_wrapper.py)\n* 在线推理vllm_server.py和vllm_client.py实现参考了[vLLM官方实现-异步服务端](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm\u002Fblob\u002Fmain\u002Fvllm\u002Fentrypoints\u002Fapi_server.py)、[vLLM官方实现-异步客户端](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm\u002Fblob\u002Fmain\u002Fexamples\u002Fapi_client.py)\n\n\n# 核心技术原理\n\n本项目旨在探索生产环境下的高并发推理服务端搭建方法，核心工作非常清晰，边角细节没有投入太多精力，希望对大家有帮助\n\n* vLLM支持Continuous batching of incoming requests高并发批推理机制，其SDK实现是在1个独立线程中运行推理并且对用户提供请求排队合批机制，能够满足在线服务的高吞吐并发服务能力\n* vLLM提供asyncio封装，在主线程中基于uvicorn+fastapi封装后的asyncio http框架，可以实现对外HTTP接口服务，并将请求提交到vLLM的队列进入到vLLM的推理线程进行continuous batching批量推理，主线程异步等待推理结果，并将结果返回到HTTP客户端\n* vLLM天然支持流式返回next token，基于fastapi可以按chunk流式返回流式推理成果，在客户端基于requests库流式接收chunk并复写控制台展示，实现了流式响应效果\n\n\n## 安装注意\n\n- python版本为3.10\n- cuda版本是12.1\n- torch安装2.1\n- 安装vllm gptq量化版, 安装时命令采用pip install . -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F\n- 安装modelscope，命令pip install modelscope -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F\n- 安装千问的tiktoken分词库 pip install tiktoken -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F\n\n## 离线推理\n\npython程序直接拉起模型，本地推理的方式。\n\n```\npython vllm_offline.py\n提问:你好\n你好！有什么我能帮你的吗？\n提问:没事\n好的，如果你需要任何帮助，请随时告诉我。\n```\n\n## 在线推理\n\n启动一个远端python http服务端，通过http客户端调用的方式，并且可以流式返回推理结果。\n\n启动HTTP服务端:\n```\npython vllm_server.py\n```\n\n启动HTTP客户端\n```\npython vllm_client.py\n```\n\n## webui\n\n启动vllm_server后，可以再单独运行gradio_webui.py，它是基于gradio实现的聊天webui，支持多轮对话和流式应答，底层会与vllm_server实时远程调用。\n\n```\npython gradio_webui.py\n```\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fowenliang_qwen-vllm_readme_a53295608778.png)\n\n## 通义千问Prompt原理\n\n1.8B预训练版本，训练数据：\n\n- 语料：[百度文库](https:\u002F\u002Fwenku.baidu.com\u002Fview\u002F11188178.html)\n\n输入：英国航空，中文简称英航，是英国的国家航空公司，也是寰宇一家的创始成员及国际航空集团旗下子公司。\u003C|endoftext|>\n输出：英航的主要枢纽为伦敦希思罗机场及伦敦盖特威克机场。英航是欧洲第二大的航空公司、西欧最大的航空公司及全球三间其中一间曾拥有协和客机的航空公司，其余两间为法国航空和新加坡航空。\u003C|endoftext|>\n\n1.8B-Chat版本，基于1.8B预训练版本进行微调（SFT，S监督学习，FT微调）训练数据：\n\n输入：\u003C|im_start|>system\\nyou are ahelper assitant.\\n\u003C|im_end|>\n\\n\u003C|im_start|>user\\n历史提问A？\\n\u003C|im_end|>\u003C|im_start|>assitant:历史回答A\\n\u003C|im_end|>\n\\n\u003C|im_start|>user\\n历史提问B？\\n\u003C|im_end|>\u003C|im_start|>assitant:历史回答B\\n\u003C|im_end|>\n\\n\u003C|im_start|>user\\n了解英国航空么？\\n\u003C|im_end|>\u003C|im_start|>assitant:\\n\u003C|endoftext|>\n输出：英国航空，中文简称英航，是英国的国家航空公司。\u003C|im_end|>\u003C|endoftext|>\n","# qwen-vllm\n\n[千问官方部署文档](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen?tab=readme-ov-file#deployment)\n\n* 离线推理vllm_wrapper.py实现参考了[Qwen官方实现](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen\u002Fblob\u002Fmain\u002Fexamples\u002Fvllm_wrapper.py)\n* 在线推理vllm_server.py和vllm_client.py实现参考了[vLLM官方实现-异步服务端](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm\u002Fblob\u002Fmain\u002Fvllm\u002Fentrypoints\u002Fapi_server.py)、[vLLM官方实现-异步客户端](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm\u002Fblob\u002Fmain\u002Fexamples\u002Fapi_client.py)\n\n\n# 核心技术原理\n\n本项目旨在探索生产环境下的高并发推理服务端搭建方法，核心工作非常清晰，边角细节没有投入太多精力，希望对大家有帮助\n\n* vLLM支持Continuous batching of incoming requests高并发批推理机制，其SDK实现是在1个独立线程中运行推理并且对用户提供请求排队合批机制，能够满足在线服务的高吞吐并发服务能力\n* vLLM提供asyncio封装，在主线程中基于uvicorn+fastapi封装后的asyncio http框架，可以实现对外HTTP接口服务，并将请求提交到vLLM的队列进入到vLLM的推理线程进行continuous batching批量推理，主线程异步等待推理结果，并将结果返回到HTTP客户端\n* vLLM天然支持流式返回next token，基于fastapi可以按chunk流式返回流式推理成果，在客户端基于requests库流式接收chunk并复写控制台展示，实现了流式响应效果\n\n\n## 安装注意\n\n- python版本为3.10\n- cuda版本是12.1\n- torch安装2.1\n- 安装vllm gptq量化版, 安装时命令采用pip install . -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F\n- 安装modelscope，命令pip install modelscope -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F\n- 安装千问的tiktoken分词库 pip install tiktoken -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F\n\n## 离线推理\n\npython程序直接拉起模型，本地推理的方式。\n\n```\npython vllm_offline.py\n提问:你好\n你好！有什么我能帮你的吗？\n提问:没事\n好的，如果你需要任何帮助，请随时告诉我。\n```\n\n## 在线推理\n\n启动一个远端python http服务端，通过http客户端调用的方式，并且可以流式返回推理结果。\n\n启动HTTP服务端:\n```\npython vllm_server.py\n```\n\n启动HTTP客户端\n```\npython vllm_client.py\n```\n\n## webui\n\n启动vllm_server后，可以再单独运行gradio_webui.py，它是基于gradio实现的聊天webui，支持多轮对话和流式应答，底层会与vllm_server实时远程调用。\n\n```\npython gradio_webui.py\n```\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fowenliang_qwen-vllm_readme_a53295608778.png)\n\n## 通义千问Prompt原理\n\n1.8B预训练版本，训练数据：\n\n- 语料：[百度文库](https:\u002F\u002Fwenku.baidu.com\u002Fview\u002F11188178.html)\n\n输入：英国航空，中文简称英航，是英国的国家航空公司，也是寰宇一家的创始成员及国际航空集团旗下子公司。\u003C|endoftext|>\n输出：英航的主要枢纽为伦敦希思罗机场及伦敦盖特威克机场。英航是欧洲第二大的航空公司、西欧最大的航空公司及全球三间其中一间曾拥有协和客机的航空公司，其余两间为法国航空和新加坡航空。\u003C|endoftext|>\n\n1.8B-Chat版本，基于1.8B预训练版本进行微调（SFT，S监督学习，FT微调）训练数据：\n\n输入：\u003C|im_start|>system\\nyou are ahelper assitant.\\n\u003C|im_end|>\n\\n\u003C|im_start|>user\\n历史提问A？\\n\u003C|im_end|>\u003C|im_start|>assitant:历史回答A\\n\u003C|im_end|>\n\\n\u003C|im_start|>user\\n历史提问B？\\n\u003C|im_end|>\u003C|im_start|>assitant:历史回答B\\n\u003C|im_end|>\n\\n\u003C|im_start|>user\\n了解英国航空么？\\n\u003C|im_end|>\u003C|im_start|>assitant:\\n\u003C|endoftext|>\n输出：英国航空，中文简称英航，是英国的国家航空公司。\u003C|im_end|>\u003C|endoftext|>","# qwen-vllm 快速上手指南\n\n本指南旨在帮助开发者快速搭建基于 vLLM 的千问（Qwen）高并发推理服务，支持离线推理、在线 HTTP 服务及 WebUI 交互。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐)\n*   **Python 版本**: 3.10\n*   **CUDA 版本**: 12.1\n*   **PyTorch 版本**: 2.1\n*   **硬件**: 兼容 CUDA 的 NVIDIA GPU\n\n## 安装步骤\n\n建议使用国内镜像源以加速依赖下载。请按顺序执行以下命令：\n\n1.  **安装 vLLM (GPTQ 量化版)**\n    ```bash\n    pip install . -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F\n    ```\n\n2.  **安装 ModelScope**\n    ```bash\n    pip install modelscope -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F\n    ```\n\n3.  **安装千问分词库 (tiktoken)**\n    ```bash\n    pip install tiktoken -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F\n    ```\n\n## 基本使用\n\n本项目提供三种主要使用方式，您可以根据需求选择：\n\n### 1. 离线推理 (本地直接运行)\n适用于本地测试或脚本化调用，程序直接加载模型并进行交互式问答。\n\n```bash\npython vllm_offline.py\n```\n*运行后直接在终端输入问题即可获取回答。*\n\n### 2. 在线推理 (HTTP 服务端 + 客户端)\n适用于生产环境部署，支持高并发请求和流式返回。需分别启动服务端和客户端。\n\n**第一步：启动 HTTP 服务端**\n```bash\npython vllm_server.py\n```\n\n**第二步：启动 HTTP 客户端进行测试**\n```bash\npython vllm_client.py\n```\n*服务端基于 FastAPI + Uvicorn 构建，利用 vLLM 的 Continuous Batching 机制处理高吞吐请求，并支持 Token 流式输出。*\n\n### 3. WebUI 界面\n如果您需要图形化聊天界面，可在启动 `vllm_server.py` 的基础上，额外运行 Gradio 前端。\n\n```bash\npython gradio_webui.py\n```\n*打开浏览器访问显示的地址，即可体验支持多轮对话和流式响应的聊天界面。*","某电商平台的智能客服团队需要在促销高峰期部署通义千问模型，以应对每秒数千次的用户咨询请求。\n\n### 没有 qwen-vllm 时\n- **并发瓶颈严重**：传统推理方式无法有效合并多个请求，导致高并发下排队拥堵，用户平均等待响应时间超过 3 秒。\n- **资源利用率低**：GPU 显存未被充分调度，单次只能处理一个请求，造成算力闲置且服务器成本高昂。\n- **交互体验割裂**：不支持流式输出（Streaming），用户必须等待完整答案生成后才能看到内容，缺乏“打字机”般的实时感。\n- **服务架构复杂**：自行搭建异步 HTTP 服务和队列管理机制开发难度大，容易因线程阻塞导致服务宕机。\n\n### 使用 qwen-vllm 后\n- **高吞吐并发**：利用 Continuous Batching 技术动态合并请求，在同等硬件下吞吐量提升数倍，轻松扛住大促流量洪峰。\n- **显存高效调度**：自动优化显存管理，支持更多并发会话同时运行，显著降低了单条对话的算力成本。\n- **毫秒级流式响应**：基于 FastAPI 与 asyncio 实现原生流式返回，用户能即时看到逐字生成的回答，交互流畅自然。\n- **开箱即用部署**：直接复用官方封装的 `vllm_server.py` 和 `gradio_webui.py`，快速搭建起支持多轮对话的在线服务，无需重复造轮子。\n\nqwen-vllm 通过引入先进的批处理与异步架构，将通义千问从实验室模型转化为能承载生产级高并发流量的稳定服务引擎。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fowenliang_qwen-vllm_a5329560.png","owenliang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fowenliang_b3d4672f.jpg",null,"www.baidu.com","china","https:\u002F\u002Fgithub.com\u002Fowenliang",[79],{"name":80,"color":81,"percentage":82},"Python","#3572A5",100,646,92,"2026-03-28T20:25:08","Linux","必需 NVIDIA GPU，需支持 CUDA 12.1，具体显存大小取决于模型参数量（未明确说明最低显存要求）","未说明",{"notes":90,"python":91,"dependencies":92},"必须使用 CUDA 12.1 环境；安装 vLLM 时建议使用阿里云镜像源并选择 GPTQ 量化版本；项目核心基于 vLLM 的连续批处理（Continuous batching）机制以实现高并发推理；支持离线推理、在线 HTTP 服务及 Gradio WebUI 三种运行模式。","3.10",[93,94,95,96,97,98,99,100],"torch==2.1","vllm (GPTQ 量化版)","modelscope","tiktoken","uvicorn","fastapi","gradio","requests",[36,14],"2026-03-27T02:49:30.150509","2026-04-20T16:34:20.456434",[105,110],{"id":106,"question_zh":107,"answer_zh":108,"source_url":109},36293,"运行 vllm_offline.py 报错 AttributeError: 'Qwen2TokenizerFast' object has no attribute 'im_start_id' 怎么办？","该错误通常是因为使用的 Qwen 模型版本与代码不匹配。此问题出现在使用 Qwen 1.5 版本模型时，代码中尝试访问了仅在新版本（如 Qwen2）中存在的属性（im_start_id）。请检查并确认您加载的模型版本是否与代码预期一致，如果是 Qwen 1.5 模型，可能需要调整代码以适配旧版 Tokenizer 或升级模型至 Qwen2。","https:\u002F\u002Fgithub.com\u002Fowenliang\u002Fqwen-vllm\u002Fissues\u002F8",{"id":111,"question_zh":112,"answer_zh":113,"source_url":114},36294,"本仓库支持的 vLLM 和 Transformers 版本要求是什么？","vLLM 0.3.0 及以上版本需要升级 Transformers 库。如果您当前的 Transformers 版本是 4.32.0，升级 vLLM 到 0.3.0+ 时必须同时升级 Transformers，否则可能会遇到兼容性问题。请注意，升级 Transformers 后可能会引发其他依赖冲突，建议仔细测试环境稳定性。","https:\u002F\u002Fgithub.com\u002Fowenliang\u002Fqwen-vllm\u002Fissues\u002F5",[]]