[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-vince-lam--awesome-local-llms":3,"tool-vince-lam--awesome-local-llms":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":81,"stars":84,"forks":85,"last_commit_at":86,"license":81,"difficulty_score":23,"env_os":87,"env_gpu":88,"env_ram":89,"env_deps":90,"category_tags":94,"github_topics":81,"view_count":23,"oss_zip_url":81,"oss_zip_packed_at":81,"status":16,"created_at":95,"updated_at":96,"faqs":97,"releases":98},2639,"vince-lam\u002Fawesome-local-llms","awesome-local-llms","Compare open-source local LLM inference projects by their metrics to assess popularity and activeness.","awesome-local-llms 是一个专为本地大语言模型（LLM）爱好者打造的开源项目导航站。面对市面上层出不穷、功能重叠的本地推理工具，用户往往难以抉择。awesome-local-llms 通过收集 GitHub 上的星星数、贡献者数量、发布版本及最近提交时间等关键指标，直观地对比了各类开源项目的流行度与维护活跃度，帮助用户快速筛选出值得尝试的优质工具。\n\n这份清单涵盖了从底层推理引擎、前端交互界面到一体化桌面应用的各种解决方案，收录了如 Ollama、llama.cpp、Open WebUI 等热门项目。其独特之处在于不强行分类，而是以数据为驱动，让用户根据项目的实际生命力做出判断，并提供了详细的在线表格供深度查阅。\n\n无论是希望私有化部署 AI 的开发者、需要评估技术选型的科研人员，还是想在个人电脑上运行大模型的普通用户，都能从中找到适合自己的工具。awesome-local-llms 就像一份实时更新的“避坑指南”，让大家在探索本地 AI 的路上少走弯路，高效构建属于自己的智能助手。","# 👋 Awesome Local LLMs\n\nThere are an overwhelming number of open-source tools for local LLM inference - for both proprietary and open weights LLMs. These tools generally lie within three categories:\n\n1. LLM inference backend engine\n2. LLM front end UI\n3. All-in-one desktop application\n\nHowever these tools can overlap in scope with new features are constantly being added so I have chosen not to manually categorize or label features of each project.\n\nGitHub repository metrics, like number of stars, contributors, issues, releases, and time since last commit, have been collected as a proxy for popularity and active maintenance.\n\n**Contributions are welcome!** Feel free to suggest open-source repos that I have missed either in the Issues of this repo or run the script in the [script](https:\u002F\u002Fgithub.com\u002Fvince-lam\u002Fawesome-local-llms\u002Ftree\u002Fscript) branch and update the README and make a pull request.\n\nFor full table with all metrics go to this [Google Sheet](https:\u002F\u002Fdocs.google.com\u002Fspreadsheets\u002Fd\u002F1Xv38p90V3GiJXjq0a3qc24056Vicn1I5MG6QiFE6nVE\u002Fedit?usp=sharing) or [Airtable](https:\u002F\u002Fairtable.com\u002FapparaKqezkq2LECD\u002FshrE26kWFaVU1cvgb).\n\nFor my thoughts on local LLM tooling: \u003Chttps:\u002F\u002Fvinlam.com\u002Fposts\u002Flocal-llm-options\u002F>\n\nNote the condensed table below has two filters applied:\n\n1. Repositories need more than 100 stars\n2. Repositories require a commit within the last 60 days\n\n## Open-Source Local LLM Projects\n\n*Last Updated: 08\u002F09\u002F2025*\n\n|  # | Repo  | About  | Stars  | Forks  | Issues  |  Contributors | Releases  | License  | Time Since Last Commit  |\n|----------|----------|----------|----------|----------|----------|----------|----------|----------|----------|\n|  1 | [ollama](https:\u002F\u002Fgithub.com\u002Follama\u002Follama)  | Get up and running with OpenAI gpt-oss, DeepSeek-R1, Gemma 3 and other models.  | 151,867 | 13,052  | 2,126  |  461 | 147  | MIT License  | 2 days, 15 hrs, 0 mins  |\n|  2 | [transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)  | 🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.  | 149,300 | 30,300  | 1,995  |  436 | 227  | Apache License 2.0  | 0 days, 8 hrs, 20 mins  |\n|  3 | [open-webui](https:\u002F\u002Fgithub.com\u002Fopen-webui\u002Fopen-webui)  | User-friendly AI Interface (Supports Ollama, OpenAI API, ...)  | 109,207 | 14,926  | 276  |  393 | 123  | Other  | 0 days, 18 hrs, 8 mins  |\n|  4 | [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)  | LLM inference in C\u002FC++  | 86,200  | 12,958  | 880  |  451 | 4,182  | MIT License  | 0 days, 8 hrs, 23 mins  |\n|  5 | [ChatGPT-Next-Web](https:\u002F\u002Fgithub.com\u002FChatGPTNextWeb\u002FChatGPT-Next-Web)  | ✨ Light and Fast AI Assistant. Support: Web, iOS, MacOS, Android, Linux, Windows  | 85,783  | 61,027  | 764  |  261 | 77  | MIT License  | 9 days, 1 hrs, 46 mins  |\n|  6 | [gpt_academic](https:\u002F\u002Fgithub.com\u002Fbinary-husky\u002Fgpt_academic)  | 为GPT\u002FGLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读\u002F润色\u002F写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF\u002FLaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。  | 69,207  | 8,374  | 286  |  102 | 32  | GNU General Public License v3.0  | 15 days, 4 hrs, 2 mins  |\n|  7 | [lobe-chat](https:\u002F\u002Fgithub.com\u002Flobehub\u002Flobe-chat)  | 🤯 Lobe Chat - an open-source, modern design AI chat framework. Supports multiple AI providers (OpenAI \u002F Claude 4 \u002F Gemini \u002F DeepSeek \u002F Ollama \u002F Qwen), Knowledge Base (file upload \u002F RAG ), one click install MCP Marketplace and Artifacts \u002F Thinking. One-click FREE deployment of your private AI Agent application.  | 65,309  | 13,530  | 997  |  262 | 2,019  | Other  | 0 days, 10 hrs, 8 mins  |\n|  8 | [gpt4free](https:\u002F\u002Fgithub.com\u002Fxtekky\u002Fgpt4free)  | The official gpt4free repository, various collection of powerful language models: o4, o3 and deepseek r1, gpt-4.1, gemini 2.5  | 65,060  | 13,683  | 11  |  247 | 347  | GNU General Public License v3.0  | 0 days, 8 hrs, 54 mins  |\n|  9 | [vllm](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)  | A high-throughput and memory-efficient inference and serving engine for LLMs  | 57,434  | 9,971  | 2,949  |  458 | 73  | Apache License 2.0  | 0 days, 9 hrs, 27 mins  |\n|  10 | [anything-llm](https:\u002F\u002Fgithub.com\u002FMintplex-Labs\u002Fanything-llm)  | The all-in-one Desktop & Docker AI application with built-in RAG, AI agents, No-code agent builder, MCP compatibility,  and more.  | 48,752  | 5,031  | 313  |  149 | 20  | MIT License  | 2 days, 15 hrs, 51 mins  |\n|  11 | [text-generation-webui](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui)  | The definitive Web UI for local AI, with powerful features and easy setup.  | 44,902  | 5,772  | 2,588  |  359 | 81  | GNU Affero General Public License v3.0  | 4 days, 16 hrs, 54 mins  |\n|  12 | [jan](https:\u002F\u002Fgithub.com\u002Fjanhq\u002Fjan)  | Jan is an open source alternative to ChatGPT that runs 100% offline on your computer  | 37,712  | 2,229  | 171  |  92 | 88  | Other  | 0 days, 8 hrs, 50 mins  |\n|  13 | [chatbox](https:\u002F\u002Fgithub.com\u002FBin-Huang\u002Fchatbox)  | User-friendly Desktop Client App for AI Models\u002FLLMs (GPT, Claude, Gemini, Ollama...)  | 36,501  | 3,514  | 892  |  55 | 47  | GNU General Public License v3.0  | 19 days, 8 hrs, 22 mins  |\n|  14 | [LocalAI](https:\u002F\u002Fgithub.com\u002Fmudler\u002FLocalAI)  | :robot: The free, Open Source alternative to OpenAI, Claude and others. Self-hosted and local-first. Drop-in replacement for OpenAI,  running on consumer-grade hardware. No GPU required. Runs gguf, transformers, diffusers and many more models architectures. Features: Generate Text, Audio, Video, Images, Voice Cloning, Distributed, P2P inference | 35,118  | 2,751  | 371  |  142 | 84  | MIT License  | 0 days, 8 hrs, 51 mins  |\n|  15 | [LibreChat](https:\u002F\u002Fgithub.com\u002Fdanny-avila\u002FLibreChat)  | Enhanced ChatGPT Clone: Features Agents, DeepSeek, Anthropic, AWS, OpenAI, Responses API, Azure, Groq, o1, GPT-5, Mistral, OpenRouter, Vertex AI, Gemini, Artifacts, AI model switching, message search, Code Interpreter, langchain, DALL-E-3, OpenAPI Actions, Functions, Secure Multi-User Auth, Presets, open-source for self-hosting. Active project. | 29,816  | 5,617  | 270  |  246 | 59  | MIT License  | 0 days, 14 hrs, 36 mins  |\n|  16 | [localGPT](https:\u002F\u002Fgithub.com\u002FPromtEngineer\u002FlocalGPT)  | Chat with your documents on your local device using GPT models. No data leaves your device and 100% private.  | 21,841  | 2,428  | 14  |  45 | 0  | MIT License  | 44 days, 13 hrs, 8 mins  |\n|  17 | [mlc-llm](https:\u002F\u002Fgithub.com\u002Fmlc-ai\u002Fmlc-llm)  | Universal LLM Deployment Engine with ML Compilation  | 21,285  | 1,808  | 321  |  141 | 1  | Apache License 2.0  | 0 days, 12 hrs, 52 mins  |\n|  18 | [SillyTavern](https:\u002F\u002Fgithub.com\u002FSillyTavern\u002FSillyTavern)  | LLM Frontend for Power Users.  | 18,245  | 3,930  | 344  |  267 | 95  | GNU Affero General Public License v3.0  | 0 days, 10 hrs, 44 mins  |\n|  19 | [ChuanhuChatGPT](https:\u002F\u002Fgithub.com\u002FGaiZhenbiao\u002FChuanhuChatGPT)  | GUI for ChatGPT API and many LLMs. Supports agents, file-based QA, GPT finetuning and query with web search. All with a neat UI.  | 15,436  | 2,273  | 124  |  51 | 27  | GNU General Public License v3.0  | 24 days, 14 hrs, 26 mins |\n|  20 | [OpenLLM](https:\u002F\u002Fgithub.com\u002Fbentoml\u002FOpenLLM)  | Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud.  | 11,754  | 764  | 7  |  31 | 147  | Apache License 2.0  | 6 days, 23 hrs, 59 mins  |\n|  21 | [TensorRT-LLM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM)  | TensorRT-LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and support state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT-LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in performant way.  | 11,535  | 1,722  | 1,139  |  248 | 39  | Apache License 2.0  | 0 days, 8 hrs, 8 mins  |\n|  22 | [text-generation-inference](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftext-generation-inference) | Large Language Model Text Generation Inference  | 10,486  | 1,227  | 312  |  142 | 65  | Apache License 2.0  | 0 days, 22 hrs, 51 mins  |\n|  23 | [server](https:\u002F\u002Fgithub.com\u002Ftriton-inference-server\u002Fserver)  | The Triton Inference Server provides an optimized cloud and edge inferencing solution.  | 9,743  | 1,639  | 827  |  132 | 82  | BSD 3-Clause \"New\" or \"Revised\" License | 1 days, 3 hrs, 49 mins  |\n|  24 | [llm](https:\u002F\u002Fgithub.com\u002Fsimonw\u002Fllm)  | Access large language models from the command-line  | 9,617  | 600  | 494  |  52 | 55  | Apache License 2.0  | 27 days, 11 hrs, 33 mins |\n|  25 | [llama-cpp-python](https:\u002F\u002Fgithub.com\u002Fabetlen\u002Fllama-cpp-python)  | Python bindings for llama.cpp  | 9,548  | 1,220  | 653  |  166 | 307  | MIT License  | 24 days, 10 hrs, 28 mins |\n|  26 | [chat-ui](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fchat-ui)  | Open source codebase powering the HuggingChat app  | 9,138  | 1,418  | 339  |  140 | 16  | Apache License 2.0  | 37 days, 21 hrs, 39 mins |\n|  27 | [inference](https:\u002F\u002Fgithub.com\u002Fxorbitsai\u002Finference)  | Replace OpenAI GPT with another LLM in your app by changing a single line of code. Xinference gives you the freedom to use any LLM you need. With Xinference, you're empowered to run inference with any open-source language models, speech recognition models, and multimodal models, whether in the cloud, on-premises, or even on your laptop.  | 8,496  | 738  | 166  |  116 | 118  | Apache License 2.0  | 0 days, 13 hrs, 54 mins  |\n|  28 | [koboldcpp](https:\u002F\u002Fgithub.com\u002FLostRuins\u002Fkoboldcpp)  | Run GGUF models easily with a KoboldAI UI. One File. Zero Install.  | 8,168  | 528  | 347  |  447 | 110  | GNU Affero General Public License v3.0  | 0 days, 8 hrs, 47 mins  |\n|  29 | [page-assist](https:\u002F\u002Fgithub.com\u002Fn4ze3m\u002Fpage-assist)  | Use your locally running AI models to assist you in your web browsing  | 7,085  | 632  | 294  |  30 | 64  | MIT License  | 1 days, 1 hrs, 11 mins  |\n|  30 | [lmdeploy](https:\u002F\u002Fgithub.com\u002FInternLM\u002Flmdeploy)  | LMDeploy is a toolkit for compressing, deploying, and serving LLMs.  | 6,981  | 599  | 515  |  124 | 54  | Apache License 2.0  | 0 days, 11 hrs, 4 mins  |\n|  31 | [big-agi](https:\u002F\u002Fgithub.com\u002Fenricoros\u002Fbig-agi)  | AI suite powered by state-of-the-art models and providing advanced AI\u002FAGI functions. It features AI personas, AGI functions, multi-model chats, text-to-image, voice, response streaming, code highlighting and execution, PDF import, presets for developers, much more. Deploy on-prem or in the cloud.  | 6,609  | 1,543  | 266  |  46 | 16  | MIT License  | 3 days, 18 hrs, 39 mins  |\n|  32 | [openplayground](https:\u002F\u002Fgithub.com\u002Fnat\u002Fopenplayground)  | An LLM playground you can run on your laptop  | 6,359  | 491  | 96  |  15 | 0  | MIT License  | 31 days, 9 hrs, 42 mins  |\n|  33 | [lollms-webui](https:\u002F\u002Fgithub.com\u002FParisNeo\u002Flollms-webui)  | Lord of Large Language and Multi modal Systems Web User Interface  | 4,748  | 581  | 172  |  40 | 24  | Apache License 2.0  | 19 days, 2 hrs, 5 mins  |\n|  34 | [pocketpal-ai](https:\u002F\u002Fgithub.com\u002Fa-ghorbani\u002Fpocketpal-ai)  | An app that brings language models directly to your phone.  | 4,735  | 441  | 91  |  14 | 48  | MIT License  | 19 days, 1 hrs, 58 mins  |\n|  35 | [exllamav2](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2)  | A fast inference library for running LLMs locally on modern consumer-class GPUs  | 4,306  | 320  | 153  |  52 | 43  | MIT License  | 22 days, 18 hrs, 48 mins |\n|  36 | [LLamaSharp](https:\u002F\u002Fgithub.com\u002FSciSharp\u002FLLamaSharp)  | A C#\u002F.NET library to run LLM (🦙LLaMA\u002FLLaVA) on your local device efficiently.  | 3,349  | 465  | 30  |  76 | 28  | MIT License  | 7 days, 4 hrs, 30 mins  |\n|  37 | [oterm](https:\u002F\u002Fgithub.com\u002Fggozad\u002Foterm)  | the terminal client for Ollama  | 2,162  | 126  | 9  |  21 | 69  | MIT License  | 1 days, 1 hrs, 10 mins  |\n|  38 | [maid](https:\u002F\u002Fgithub.com\u002FMobile-Artificial-Intelligence\u002Fmaid)  | Maid is a cross-platform Flutter app for interfacing with GGUF \u002F llama.cpp models locally, and with Ollama and OpenAI models remotely.  | 2,148  | 218  | 15  |  28 | 38  | MIT License  | 42 days, 3 hrs, 20 mins  |\n|  39 | [LLMFarm](https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm)  | llama and other  large language models on iOS and MacOS offline using GGML library.  | 1,861  | 153  | 42  |  1 | 34  | MIT License  | 30 days, 21 hrs, 36 mins |\n|  40 | [ChatterUI](https:\u002F\u002Fgithub.com\u002FVali-98\u002FChatterUI)  | Simple frontend for LLMs built in react-native.  | 1,790  | 131  | 23  |  8 | 78  | GNU Affero General Public License v3.0  | 17 days, 3 hrs, 47 mins  |\n|  41 | [chatbot-ollama](https:\u002F\u002Fgithub.com\u002Fivanfioravanti\u002Fchatbot-ollama)  | Chatbot Ollama is an open source chat UI for Ollama.  | 1,778  | 313  | 20  |  8 | 3  | Other  | 2 days, 21 hrs, 52 mins  |\n|  42 | [Alpaca](https:\u002F\u002Fgithub.com\u002FJeffser\u002FAlpaca)  | 🦙 Local and online AI hub  | 1,184  | 104  | 83  |  49 | 87  | GNU General Public License v3.0  | 0 days, 16 hrs, 5 mins  |\n|  43 | [amica](https:\u002F\u002Fgithub.com\u002Fsemperai\u002Famica)  | Amica is an open source interface for interactive communication with 3D characters with voice synthesis and speech recognition.  | 1,067  | 188  | 15  |  21 | 4  | MIT License  | 46 days, 19 hrs, 48 mins |\n|  44 | [web-llm-chat](https:\u002F\u002Fgithub.com\u002Fmlc-ai\u002Fweb-llm-chat)  | Chat with AI large language models running natively in your browser. Enjoy private, server-free, seamless AI conversations.  | 836  | 149  | 18  |  180 | 0  | Apache License 2.0  | 5 days, 0 hrs, 0 mins  |\n|  45 | [tenere](https:\u002F\u002Fgithub.com\u002Fpythops\u002Ftenere)  | 🤖 TUI interface for LLMs written in Rust  | 579  | 25  | 12  |  10 | 14  | GNU General Public License v3.0  | 6 days, 21 hrs, 59 mins  |\n|  46 | [chat-ui](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fchat-ui)  | Chat UI components for LLM apps  | 497  | 54  | 9  |  15 | 51  | MIT License  | 11 days, 14 hrs, 32 mins |\n|  47 | [ava](https:\u002F\u002Fgithub.com\u002Fcztomsik\u002Fava)  | All-in-one desktop app for running LLMs locally.  | 457  | 17  | 4  |  3 | 0  | Other  | 6 days, 2 hrs, 3 mins  |\n|  48 | [emeltal](https:\u002F\u002Fgithub.com\u002Fptsochantaris\u002Femeltal)  | Local ML voice chat using high-end models.  | 175  | 13  | 0  |  1 | 0  | MIT License  | 16 days, 17 hrs, 27 mins |\n|  49 | [lite.koboldai.net](https:\u002F\u002Fgithub.com\u002FLostRuins\u002Flite.koboldai.net)  | A zero dependency web UI for any LLM backend, including KoboldCpp, OpenAI and AI Horde  | 135  | 68  | 15  |  30 | 0  | GNU Affero General Public License v3.0  | 0 days, 8 hrs, 17 mins  |\n\n## Inspired By\n\n* \u003Chttps:\u002F\u002Fgithub.com\u002Fjanhq\u002Fawesome-local-ai>\n* \u003Chttps:\u002F\u002Fhuyenchip.com\u002F2024\u002F03\u002F14\u002Fai-oss.html>\n* \u003Chttps:\u002F\u002Fgithub.com\u002Fmahseema\u002Fawesome-ai-tools>\n* \u003Chttps:\u002F\u002Fgithub.com\u002Fsteven2358\u002Fawesome-generative-ai>\n* \u003Chttps:\u002F\u002Fgithub.com\u002Fe2b-dev\u002Fawesome-ai-agents>\n* \u003Chttps:\u002F\u002Fgithub.com\u002Faimerou\u002Fawesome-ai-papers>\n* \u003Chttps:\u002F\u002Fgithub.com\u002FDefTruth\u002FAwesome-LLM-Inference>\n* \u003Chttps:\u002F\u002Fgithub.com\u002FyoussefHosni\u002FAwesome-AI-Data-GitHub-Repos>\n","# 👋 优秀的本地大模型\n\n用于本地大模型推理的开源工具数量众多，既支持专有权重的大模型，也支持开源权重的大模型。这些工具通常可以分为三大类：\n\n1. 大模型推理后端引擎  \n2. 大模型前端用户界面  \n3. 一体化桌面应用  \n\n不过，这些工具的功能范围往往存在重叠，且新功能不断涌现，因此我没有对每个项目的功能进行手动分类或标注。\n\n我们以 GitHub 仓库的指标（如星标数、贡献者数、问题数、发布次数以及上次提交时间）作为流行度和活跃维护程度的替代指标。\n\n**欢迎贡献！** 如果您发现我遗漏了某些开源项目，可以通过本仓库的 Issues 提出建议，或者直接运行 [script](https:\u002F\u002Fgithub.com\u002Fvince-lam\u002Fawesome-local-llms\u002Ftree\u002Fscript) 分支中的脚本，更新 README 并提交 Pull Request。\n\n如需查看包含所有指标的完整表格，请访问以下链接：[Google 表格](https:\u002F\u002Fdocs.google.com\u002Fspreadsheets\u002Fd\u002F1Xv38p90V3GiJXjq0a3qc24056Vicn1I5MG6QiFE6nVE\u002Fedit?usp=sharing) 或 [Airtable](https:\u002F\u002Fairtable.com\u002FapparaKqezkq2LECD\u002FshrE26kWFaVU1cvgb)。\n\n关于我对本地大模型工具的看法，请参阅：\u003Chttps:\u002F\u002Fvinlam.com\u002Fposts\u002Flocal-llm-options\u002F>\n\n请注意，下方的精简表格应用了两个筛选条件：\n\n1. 仓库的星标数需超过 100 个  \n2. 仓库必须在最近 60 天内有提交记录  \n\n## 开源本地大模型项目\n\n*最后更新：2025年08月09日*\n\n|  # | 仓库  | 简介  | 点赞数  | 复刻数  | 问题数  | 贡献者数 | 发布版本数  | 许可证  | 上次提交时间  |\n|----------|----------|----------|----------|----------|----------|----------|----------|----------|----------|\n|  1 | [ollama](https:\u002F\u002Fgithub.com\u002Follama\u002Follama)  | 快速启动并运行OpenAI gpt-oss、DeepSeek-R1、Gemma 3等模型。  | 151,867 | 13,052  | 2,126  |  461 | 147  | MIT许可证  | 2天15小时0分钟  |\n|  2 | [transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)  | 🤗 Transformers：用于文本、视觉、音频及多模态模型的最先进的机器学习模型定义框架，适用于推理和训练。  | 149,300 | 30,300  | 1,995  |  436 | 227  | Apache许可证2.0  | 0天8小时20分钟  |\n|  3 | [open-webui](https:\u002F\u002Fgithub.com\u002Fopen-webui\u002Fopen-webui)  | 用户友好的AI界面（支持Ollama、OpenAI API等）  | 109,207 | 14,926  | 276  |  393 | 123  | 其他  | 0天18小时8分钟  |\n|  4 | [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)  | C\u002FC++中的LLM推理  | 86,200  | 12,958  | 880  |  451 | 4,182  | MIT许可证  | 0天8小时23分钟  |\n|  5 | [ChatGPT-Next-Web](https:\u002F\u002Fgithub.com\u002FChatGPTNextWeb\u002FChatGPT-Next-Web)  | ✨ 轻量快速的AI助手。支持：Web、iOS、MacOS、Android、Linux、Windows  | 85,783  | 61,027  | 764  |  261 | 77  | MIT许可证  | 9天1小时46分钟  |\n|  6 | [gpt_academic](https:\u002F\u002Fgithub.com\u002Fbinary-husky\u002Fgpt_academic)  | 为GPT\u002FGLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读\u002F润色\u002F写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF\u002FLaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。  | 69,207  | 8,374  | 286  |  102 | 32  | GNU通用公共许可证v3.0  | 15天4小时2分钟  |\n|  7 | [lobe-chat](https:\u002F\u002Fgithub.com\u002Flobehub\u002Flobe-chat)  | 🤯 Lobe Chat - 一个开源、现代设计的AI聊天框架。支持多个AI提供商（OpenAI \u002F Claude 4 \u002F Gemini \u002F DeepSeek \u002F Ollama \u002F Qwen），知识库（文件上传 \u002F RAG），一键安装MCP Marketplace和Artifacts \u002F Thinking。一键免费部署您的私人AI代理应用。  | 65,309  | 13,530  | 997  |  262 | 2,019  | 其他  | 0天10小时8分钟  |\n|  8 | [gpt4free](https:\u002F\u002Fgithub.com\u002Fxtekky\u002Fgpt4free)  | 官方gpt4free仓库，汇集了各种强大的语言模型：o4、o3和deepseek r1、gpt-4.1、gemini 2.5  | 65,060  | 13,683  | 11  |  247 | 347  | GNU通用公共许可证v3.0  | 0天8小时54分钟  |\n|  9 | [vllm](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)  | 高吞吐量且内存高效的LLM推理与服务引擎  | 57,434  | 9,971  | 2,949  |  458 | 73  | Apache许可证2.0  | 0天9小时27分钟  |\n|  10 | [anything-llm](https:\u002F\u002Fgithub.com\u002FMintplex-Labs\u002Fanything-llm)  | 一体化桌面及Docker AI应用，内置RAG、AI代理、无代码代理构建器、MCP兼容性等功能。  | 48,752  | 5,031  | 313  |  149 | 20  | MIT许可证  | 2天15小时51分钟  |\n|  11 | [text-generation-webui](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui)  | 本地AI的终极Web UI，功能强大且易于设置。  | 44,902  | 5,772  | 2,588  |  359 | 81  | GNU Affero通用公共许可证v3.0  | 4天16小时54分钟  |\n|  12 | [jan](https:\u002F\u002Fgithub.com\u002Fjanhq\u002Fjan)  | Jan是ChatGPT的开源替代品，在您的计算机上100%离线运行。  | 37,712  | 2,229  | 171  |  92 | 88  | 其他  | 0天8小时50分钟  |\n|  13 | [chatbox](https:\u002F\u002Fgithub.com\u002FBin-Huang\u002Fchatbox)  | 用户友好的桌面客户端应用，适用于AI模型\u002FLLMs（GPT、Claude、Gemini、Ollama等）。  | 36,501  | 3,514  | 892  |  55 | 47  | GNU通用公共许可证v3.0  | 19天8小时22分钟  |\n|  14 | [LocalAI](https:\u002F\u002Fgithub.com\u002Fmudler\u002FLocalAI)  | :robot: OpenAI、Claude等的免费开源替代品。自托管且以本地优先。可直接替代OpenAI，运行在消费级硬件上。无需GPU。支持gguf、transformers、diffusers等多种模型架构。功能：生成文本、音频、视频、图像、语音克隆、分布式、P2P推理。  | 35,118  | 2,751  | 371  |  142 | 84  | MIT许可证  | 0天8小时51分钟  |\n|  15 | [LibreChat](https:\u002F\u002Fgithub.com\u002Fdanny-avila\u002FLibreChat)  | 增强版ChatGPT克隆：具备代理、DeepSeek、Anthropic、AWS、OpenAI、Responses API、Azure、Groq、o1、GPT-5、Mistral、OpenRouter、Vertex AI、Gemini、Artifacts、AI模型切换、消息搜索、Code Interpreter、langchain、DALL-E-3、OpenAPI Actions、Functions、安全的多用户认证、预设等，开源供自托管。活跃项目。  | 29,816  | 5,617  | 270  |  246 | 59  | MIT许可证  | 0天14小时36分钟  |\n|  16 | [localGPT](https:\u002F\u002Fgithub.com\u002FPromtEngineer\u002FlocalGPT)  | 使用GPT模型在您的本地设备上与文档对话。数据不会离开您的设备，完全私密。  | 21,841  | 2,428  | 14  |  45 | 0  | MIT许可证  | 44天13小时8分钟  |\n|  17 | [mlc-llm](https:\u002F\u002Fgithub.com\u002Fmlc-ai\u002Fmlc-llm)  | 具有ML编译功能的通用LLM部署引擎  | 21,285  | 1,808  | 321  |  141 | 1  | Apache许可证2.0  | 0天12小时52分钟  |\n|  18 | [SillyTavern](https:\u002F\u002Fgithub.com\u002FSillyTavern\u002FSillyTavern)  | 面向高级用户的LLM前端。  | 18,245  | 3,930  | 344  |  267 | 95  | GNU Affero通用公共许可证v3.0  | 0天10小时44分钟  |\n|  19 | [ChuanhuChatGPT](https:\u002F\u002Fgithub.com\u002FGaiZhenbiao\u002FChuanhuChatGPT)  | ChatGPT API及许多LLMs的GUI。支持代理、基于文件的问答、GPT微调以及结合网页搜索的查询。所有功能都配有整洁的UI。  | 15,436  | 2,273  | 124  |  51 | 27  | GNU通用公共许可证v3.0  | 24天14小时26分钟  |\n|  20 | [OpenLLM](https:\u002F\u002Fgithub.com\u002Fbentoml\u002FOpenLLM)  | 在云端将任何开源LLM，如DeepSeek和Llama，作为与OpenAI兼容的API端点运行。  | 11,754  | 764  | 7  |  31 | 147  | Apache许可证2.0  | 6天23小时59分钟  |\n|  21 | [TensorRT-LLM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM)  | TensorRT-LLM为用户提供易于使用的Python API来定义大型语言模型（LLMs），并支持最先进的优化技术，以便在NVIDIA GPU上高效地执行推理。TensorRT-LLM还包含用于创建Python和C++运行时的组件，这些组件可以以高性能的方式协调推理执行。  | 11,535  | 1,722  | 1,139  |  248 | 39  | Apache许可证2.0  | 0天8小时8分钟  |\n|  22 | [text-generation-inference](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftext-generation-inference) | 大型语言模型文本生成推理  | 10,486  | 1,227  | 312  |  142 | 65  | Apache许可证2.0  | 0天22小时51分钟  |\n|  23 | [server](https:\u002F\u002Fgithub.com\u002Ftriton-inference-server\u002Fserver)  | Triton推理服务器提供优化的云和边缘推理解决方案。  | 9,743  | 1,639  | 827  |  132 | 82  | BSD 3-Clause“新”或“修订版”许可证  | 1天3小时49分钟  |\n|  24 | [llm](https:\u002F\u002Fgithub.com\u002Fsimonw\u002Fllm)  | 从命令行访问大型语言模型  | 9,617  | 600  | 494  |  52 | 55  | Apache许可证2.0  | 27天11小时33分钟  |\n|  25 | [llama-cpp-python](https:\u002F\u002Fgithub.com\u002Fabetlen\u002Fllama-cpp-python)  | llama.cpp的Python绑定  | 9,548  | 1,220  | 653  |  166 | 307  | MIT许可证  | 24天10小时28分钟  |\n|  26 | [chat-ui](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fchat-ui)  | 驱动HuggingChat应用的开源代码库  | 9,138  | 1,418  | 339  |  140 | 16  | Apache许可证2.0  | 37天21小时39分钟  |\n|  27 | [inference](https:\u002F\u002Fgithub.com\u002Fxorbitsai\u002Finference)  | 通过更改一行代码，即可将您应用中的OpenAI GPT替换为其他LLM。Xinference让您自由使用所需的任何LLM。借助Xinference，您可以运行任何开源语言模型、语音识别模型以及多模态模型，无论是在云端、本地还是您的笔记本电脑上。  | 8,496  | 738  | 166  |  116 | 118  | Apache许可证2.0  | 0天13小时54分钟  |\n|  28 | [koboldcpp](https:\u002F\u002Fgithub.com\u002FLostRuins\u002Fkoboldcpp)  | 使用KoboldAI界面轻松运行GGUF模型。一个文件。无需安装。  | 8,168  | 528  | 347  |  447 | 110  | GNU Affero通用公共许可证v3.0  | 0天8小时47分钟  |\n|  29 | [page-assist](https:\u002F\u002Fgithub.com\u002Fn4ze3m\u002Fpage-assist)  | 利用您本地运行的AI模型辅助您的网页浏览  | 7,085  | 632  | 294  |  30 | 64  | MIT许可证  | 1天1小时11分钟  |\n|  30 | [lmdeploy](https:\u002F\u002Fgithub.com\u002FInternLM\u002Flmdeploy)  | LMDeploy是一个用于压缩、部署和提供LLM服务的工具包。  | 6,981  | 599  | 515  |  124 | 54  | Apache许可证2.0  | 0天11小时4分钟  |\n|  31 | [big-agi](https:\u002F\u002Fgithub.com\u002Fenricoros\u002Fbig-agi)  | 由最先进的模型驱动的AI套件，提供先进的AI\u002FAGI功能。它具有AI人格、AGI功能、多模型聊天、文本到图像、语音、响应流式传输、代码高亮与执行、PDF导入、开发者预设等。可在本地或云端部署。  | 6,609  | 1,543  | 266  |  46 | 16  | MIT许可证  | 3天18小时39分钟  |\n|  32 | [openplayground](https:\u002F\u002Fgithub.com\u002Fnat\u002Fopenplayground)  | 您可以在笔记本电脑上运行的LLM游乐场  | 6,359  | 491  | 96  |  15 | 0  | MIT许可证  | 31天9小时42分钟  |\n|  33 | [lollms-webui](https:\u002F\u002Fgithub.com\u002FParisNeo\u002Flollms-webui)  | 大型语言和多模态系统网络用户界面之王  | 4,748  | 581  | 172  |  40 | 24  | Apache许可证2.0  | 19天2小时5分钟  |\n|  34 | [pocketpal-ai](https:\u002F\u002Fgithub.com\u002Fa-ghorbani\u002Fpocketpal-ai)  | 一款将语言模型直接带到您手机上的应用。  | 4,735  | 441  | 91  |  14 | 48  | MIT许可证  | 19天1小时58分钟  |\n|  35 | [exllamav2](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2)  | 一种用于在现代消费级GPU上本地运行LLM的快速推理库。  | 4,306  | 320  | 153  |  52 | 43  | MIT许可证  | 22天18小时48分钟  |\n|  36 | [LLamaSharp](https:\u002F\u002Fgithub.com\u002FSciSharp\u002FLLamaSharp)  | 一个用于在您的本地设备上高效运行LLM（🦙LLaMA\u002FLLaVA）的C#\u002F.NET库。  | 3,349  | 465  | 30  |  76 | 28  | MIT许可证  | 7天4小时30分钟  |\n|  37 | [oterm](https:\u002F\u002Fgithub.com\u002Fggozad\u002Foterm)  | Ollama的终端客户端  | 2,162  | 126  | 9  |  21 | 69  | MIT许可证  | 1天1小时10分钟  |\n|  38 | [maid](https:\u002F\u002Fgithub.com\u002FMobile-Artificial-Intelligence\u002Fmaid)  | Maid是一款跨平台的Flutter应用，可用于本地对接GGUF\u002Fllama.cpp模型，也可远程对接Ollama和OpenAI模型。  | 2,148  | 218  | 15  |  28 | 38  | MIT许可证  | 42天3小时20分钟  |\n|  39 | [LLMFarm](https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm)  | 使用GGML库在iOS和MacOS上离线运行llama及其他大型语言模型。  | 1,861  | 153  | 42  |  1 | 34  | MIT许可证  | 30天21小时36分钟  |\n|  40 | [ChatterUI](https:\u002F\u002Fgithub.com\u002FVali-98\u002FChatterUI)  | 用react-native构建的简单LLM前端。  | 1,790  | 131  | 23  |  8 | 78  | GNU Affero通用公共许可证v3.0  | 17天3小时47分钟  |\n|  41 | [chatbot-ollama](https:\u002F\u002Fgithub.com\u002Fivanfioravanti\u002Fchatbot-ollama)  | Chatbot Ollama是Ollama的开源聊天UI。  | 1,778  | 313  | 20  |  8 | 3  | 其他  | 2天21小时52分钟  |\n|  42 | [Alpaca](https:\u002F\u002Fgithub.com\u002FJeffser\u002FAlpaca)  | 🦙 本地和在线AI中心  | 1,184  | 104  | 83  |  49 | 87  | GNU通用公共许可证v3.0  | 0天16小时5分钟  |\n|  43 | [amica](https:\u002F\u002Fgithub.com\u002Fsemperai\u002Famica)  | Amica是一个开源界面，用于与带有语音合成和语音识别功能的3D角色进行互动交流。  | 1,067  | 188  | 15  |  21 | 4  | MIT许可证  | 46天19小时48分钟  |\n|  44 | [web-llm-chat](https:\u002F\u002Fgithub.com\u002Fmlc-ai\u002Fweb-llm-chat)  | 与原生运行在您浏览器中的AI大型语言模型聊天。享受私密、无需服务器、无缝的AI对话。  | 836  | 149  | 18  |  180 | 0  | Apache许可证2.0  | 5天0小时0分钟  |\n|  45 | [tenere](https:\u002F\u002Fgithub.com\u002Fpythops\u002Ftenere)  | 🤖 用Rust编写的LLM TUI界面。  | 579  | 25  | 12  |  10 | 14  | GNU通用公共许可证v3.0  | 6天21小时59分钟  |\n|  46 | [chat-ui](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fchat-ui)  | LLM应用的聊天UI组件。  | 497  | 54  | 9  |  15 | 51  | MIT许可证  | 11天14小时32分钟  |\n|  47 | [ava](https:\u002F\u002Fgithub.com\u002Fcztomsik\u002Fava)  | 一款用于本地运行LLM的一体化桌面应用。  | 457  | 17  | 4  |  3 | 0  | 其他  | 6天2小时3分钟  |\n|  48 | [emeltal](https:\u002F\u002Fgithub.com\u002Fptsochantaris\u002Femeltal)  | 使用高端模型进行本地ML语音聊天。  | 175  | 13  | 0  |  1 | 0  | MIT许可证  | 16天17小时27分钟  |\n|  49 | [lite.koboldai.net](https:\u002F\u002Fgithub.com\u002FLostRuins\u002Flite.koboldai.net)  | 一个零依赖的Web UI，适用于任何LLM后端，包括KoboldCpp、OpenAI和AI Horde。  | 135  | 68  | 15  |  30 | 0  | GNU Affero通用公共许可证v3.0  | 0天8小时17分钟  |\n\n## 灵感来源\n\n* \u003Chttps:\u002F\u002Fgithub.com\u002Fjanhq\u002Fawesome-local-ai>\n* \u003Chttps:\u002F\u002Fhuyenchip.com\u002F2024\u002F03\u002F14\u002Fai-oss.html>\n* \u003Chttps:\u002F\u002Fgithub.com\u002Fmahseema\u002Fawesome-ai-tools>\n* \u003Chttps:\u002F\u002Fgithub.com\u002Fsteven2358\u002Fawesome-generative-ai>\n* \u003Chttps:\u002F\u002Fgithub.com\u002Fe2b-dev\u002Fawesome-ai-agents>\n* \u003Chttps:\u002F\u002Fgithub.com\u002Faimerou\u002Fawesome-ai-papers>\n* \u003Chttps:\u002F\u002Fgithub.com\u002FDefTruth\u002FAwesome-LLM-Inference>\n* \u003Chttps:\u002F\u002Fgithub.com\u002FyoussefHosni\u002FAwesome-AI-Data-GitHub-Repos>","# Awesome Local LLMs 快速上手指南\n\n`awesome-local-llms` 是一个精选的开源本地大语言模型（LLM）工具列表，涵盖了推理引擎、前端界面及一体化桌面应用。本指南将带你快速体验其中最流行且易用的两个代表项目：**Ollama**（后端推理引擎）和 **Open WebUI**（前端交互界面），助你在本地轻松运行大模型。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下基本要求：\n\n*   **操作系统**：\n    *   **推荐**：Linux (Ubuntu\u002FDebian), macOS (Intel\u002FApple Silicon), Windows 10\u002F11 (WSL2 或原生支持)。\n    *   部分工具（如 `llama.cpp`）对硬件要求较低，甚至可在无 GPU 环境下运行，但拥有 NVIDIA GPU (CUDA) 或 Apple M 系列芯片将获得最佳性能。\n*   **前置依赖**：\n    *   **Docker & Docker Compose**：用于部署前端界面（如 Open WebUI）。\n    *   **Git**：用于克隆代码仓库。\n    *   **Python 3.8+**：部分工具需要 Python 环境（可选，视具体工具而定）。\n*   **网络环境**：\n    *   由于模型权重较大，下载过程可能需要稳定网络。\n    *   **国内加速建议**：推荐使用国内镜像源拉取 Docker 镜像（如阿里云、腾讯云镜像加速器），或使用代理工具加速 Hugging Face 模型下载。\n\n## 安装步骤\n\n以下以 **Ollama** 搭配 **Open WebUI** 为例，这是目前最流行的“后端 + 前端”组合方案。\n\n### 1. 安装 Ollama (推理后端)\n\nOllama 支持一键安装，自动处理模型下载与推理服务。\n\n**Linux \u002F macOS:**\n```bash\ncurl -fsSL https:\u002F\u002Follama.com\u002Finstall.sh | sh\n```\n\n**Windows:**\n访问 [Ollama 官网](https:\u002F\u002Follama.com\u002Fdownload\u002Fwindows) 下载安装包并运行，或在 PowerShell 中运行：\n```powershell\nwinget install Ollama.Ollama\n```\n\n**验证安装：**\n```bash\nollama --version\n```\n\n### 2. 安装 Open WebUI (交互前端)\n\n使用 Docker 快速部署一个类似 ChatGPT 的本地网页界面，并连接到本地的 Ollama 服务。\n\n**拉取镜像并启动容器：**\n```bash\ndocker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:\u002Fapp\u002Fbackend\u002Fdata --name open-webui ghcr.io\u002Fopen-webui\u002Fopen-webui:main\n```\n\n> **注意**：如果在国内拉取 `ghcr.io` 镜像失败，可尝试使用国内镜像代理（例如将 `ghcr.io` 替换为 `ghcr.nju.edu.cn` 或其他可用加速地址），或者先手动 `docker pull` 后再运行。\n\n## 基本使用\n\n### 1. 下载并运行模型\n\n在终端中使用 `ollama run` 命令下载并启动模型。以下以轻量级且强大的 `qwen2.5` (阿里通义千问) 或 `llama3.1` 为例：\n\n```bash\n# 下载并运行 Qwen2.5 (7B 版本，中文能力优秀)\nollama run qwen2.5\n\n# 或者运行 Llama 3.1\n# ollama run llama3.1\n```\n\n首次运行时会自动下载模型权重，完成后即可在终端直接与模型对话。输入 `\u002Fbye` 退出对话。\n\n### 2. 通过 Web 界面交互\n\n1.  打开浏览器访问：`http:\u002F\u002Flocalhost:3000`\n2.  创建管理员账户（数据仅存储在本地）。\n3.  在设置或新建对话中，选择已下载的模型（如 `qwen2.5`）。\n4.  现在你可以享受拥有文件上传、知识库检索（RAG）等高级功能的本地 AI 聊天体验了。\n\n### 3. 命令行简易调用\n\n如果不使用 Web 界面，也可以直接在命令行进行非交互式调用：\n\n```bash\nollama run qwen2.5 \"请用一句话介绍本地大模型的优势\"\n```\n\n---\n*提示：更多工具（如 `llama.cpp`, `text-generation-webui`, `Jan` 等）的安装方式类似，通常只需遵循其 GitHub 仓库中的 `README` 指示即可。*","某初创团队的技术负责人需要在本地服务器部署一套低延迟、高隐私的 AI 客服系统，面对 GitHub 上数百个开源推理引擎和前端界面，急需筛选出既活跃又稳定的技术栈。\n\n### 没有 awesome-local-llms 时\n- **选型盲目且耗时**：需要在搜索引擎和 GitHub 中手动翻阅大量项目，难以区分哪些是真正维护活跃的“僵尸项目”，哪些是社区热门方案，耗费数天时间调研。\n- **指标分散难对比**：无法直观对比 `ollama`、`llama.cpp` 或 `vllm` 等项目的具体数据（如最近提交时间、贡献者数量、Issue 响应速度），只能凭印象或单一星级做决定。\n- **踩坑风险极高**：容易误选那些虽然星级高但已停止更新的项目，导致部署后遇到兼容性 bug 无人修复，或缺乏对新模型（如 DeepSeek-R1）的支持。\n- **生态匹配困难**：难以快速判断哪些后端引擎能完美搭配特定的前端 UI（如 Open WebUI 或 Lobe Chat），往往需要反复试错才能跑通全流程。\n\n### 使用 awesome-local-llms 后\n- **精准锁定活跃项目**：直接查看按“最近提交时间”和“贡献者数量”排序的清单，迅速锁定如 `llama.cpp`（每日更新）和 `open-webui` 等高活跃度核心组件。\n- **多维数据辅助决策**：通过表格一键对比各项目的 Stars、Forks、Releases 及 License 信息，快速评估社区热度与商用合规性，将选型时间从几天缩短至几小时。\n- **规避维护陷阱**：利用\"60 天内无提交即过滤”的隐含标准，自动排除掉看似流行实则停更的项目，确保所选技术栈能持续获得新模型适配和安全补丁。\n- **高效构建最佳组合**：清晰识别后端引擎与前端界面的分工与重叠，快速制定出\"llama.cpp 后端 + Open WebUI 前端”的稳定架构方案，立即进入开发阶段。\n\nawesome-local-llms 通过量化社区活跃度指标，帮助开发者在纷繁复杂的开源生态中一眼识破“伪繁荣”，以最低成本构建最可靠的本地大模型应用。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvince-lam_awesome-local-llms_8f061928.png","vince-lam","Vince Lam","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fvince-lam_4676ac3b.jpg","Data scientist @h2oai","https:\u002F\u002Fh2o.ai","Singapore",null,"https:\u002F\u002Fvinlam.com","https:\u002F\u002Fgithub.com\u002Fvince-lam",735,67,"2026-04-03T00:51:12","未说明 (该仓库为工具列表汇总，各子项目支持平台不同，涵盖 Windows, macOS, Linux, iOS, Android)","未说明 (依赖具体选用的工具：llama.cpp 等支持 CPU 运行；vllm, TensorRT-LLM 等需要 NVIDIA GPU；LocalAI 声称消费级硬件无需专用 GPU)","未说明 (取决于运行的模型大小，通常建议 16GB+ 以运行 7B 参数以上模型)",{"notes":91,"python":92,"dependencies":93},"此仓库并非单一软件，而是本地大语言模型（Local LLM）开源工具的精选列表。它涵盖了推理后端引擎、前端 UI 和一体化桌面应用。用户需根据列表中具体选择的项目（如 Ollama, llama.cpp, vllm, Open WebUI 等）去查阅其各自的安装文档以获取准确的系统配置、驱动版本及依赖库要求。列表中部分工具支持完全离线运行，部分工具针对特定硬件（如 NVIDIA TensorRT）进行了优化。","未说明 (部分基于 Python 的工具如 transformers, vllm 通常需要 Python 3.8+)","未说明 (不同工具依赖各异，常见包括 torch, transformers, llama.cpp, GGUF 格式支持等)",[26,13],"2026-03-27T02:49:30.150509","2026-04-06T07:16:06.324070",[],[]]