[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Sumanth077--ai-engineering-toolkit":3,"tool-Sumanth077--ai-engineering-toolkit":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":80,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":80,"stars":85,"forks":86,"last_commit_at":87,"license":88,"difficulty_score":89,"env_os":90,"env_gpu":91,"env_ram":91,"env_deps":92,"category_tags":95,"github_topics":80,"view_count":23,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":96,"updated_at":97,"faqs":98,"releases":99},2392,"Sumanth077\u002Fai-engineering-toolkit","ai-engineering-toolkit","A curated list of 100+ libraries and frameworks for AI engineers building with LLMs","ai-engineering-toolkit 是一份专为大语言模型（LLM）开发者精心整理的开源资源清单，收录了超过 100 个经过实战验证的库、框架和模板。在 AI 应用开发中，工程师往往面临工具选型困难、技术栈分散以及从原型到生产落地周期长等挑战。这份工具箱通过系统化分类，涵盖了向量数据库、工作流编排、RAG（检索增强生成）、模型评估、智能体框架以及本地部署优化等关键环节，帮助开发者快速找到适合的工具组合，从而更高效地构建稳定、智能且可投入生产的 LLM 应用。\n\n无论是希望快速搭建原型的初创团队，还是需要优化大规模推理系统的资深工程师，亦或是专注于算法研究的研究人员，都能从中获益。其独特亮点在于不仅列出了如 LangChain、LlamaIndex 等主流框架，还细致区分了各类工具的许可证类型、编程语言及适用场景（如 Pinecone 等托管服务与 Weaviate 等开源方案的对比），甚至包含了 PDF 提取等细分领域的实用工具。ai-engineering-toolkit 就像一位经验丰富的技术顾问，为 AI 工程化之路提供了清晰、全面的导航，让开发者能将更多精力集中在核心业","ai-engineering-toolkit 是一份专为大语言模型（LLM）开发者精心整理的开源资源清单，收录了超过 100 个经过实战验证的库、框架和模板。在 AI 应用开发中，工程师往往面临工具选型困难、技术栈分散以及从原型到生产落地周期长等挑战。这份工具箱通过系统化分类，涵盖了向量数据库、工作流编排、RAG（检索增强生成）、模型评估、智能体框架以及本地部署优化等关键环节，帮助开发者快速找到适合的工具组合，从而更高效地构建稳定、智能且可投入生产的 LLM 应用。\n\n无论是希望快速搭建原型的初创团队，还是需要优化大规模推理系统的资深工程师，亦或是专注于算法研究的研究人员，都能从中获益。其独特亮点在于不仅列出了如 LangChain、LlamaIndex 等主流框架，还细致区分了各类工具的许可证类型、编程语言及适用场景（如 Pinecone 等托管服务与 Weaviate 等开源方案的对比），甚至包含了 PDF 提取等细分领域的实用工具。ai-engineering-toolkit 就像一位经验丰富的技术顾问，为 AI 工程化之路提供了清晰、全面的导航，让开发者能将更多精力集中在核心业务逻辑的创新上。","# AI Engineering Toolkit🔥\n\n**Build better LLM apps — faster, smarter, production-ready.**\n\nA curated, list of 100+ libraries and frameworks for AI engineers building with Large Language Models. This toolkit includes battle-tested tools, frameworks, templates, and reference implementations for developing, deploying, and optimizing LLM-powered systems.\n\n[![Toolkit banner](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSumanth077_ai-engineering-toolkit_readme_20ad8224fcf7.jpg)](https:\u002F\u002Faiengineering.beehiiv.com\u002Fsubscribe)\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-yellow.svg\" alt=\"License: MIT\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 📋 Table of Contents\n\n- [🛠️ Tooling for AI Engineers](#%EF%B8%8F-tooling-for-ai-engineers)\n  - [Vector Databases](#vector-databases)\n  - [Orchestration & Workflows](#orchestration--workflows)\n  - [RAG (Retrieval-Augmented Generation)](#rag-retrieval-augmented-generation)\n  - [Evaluation & Testing](#evaluation--testing)\n  - [Model Management](#model-management)\n  - [Data Collection & Web Scraping](#data-collection--web-scraping)\n- [🤖 Agent Frameworks](#-agent-frameworks)\n- [📦 LLM Development & Optimization](#llm-development--optimization)\n  - [Open Source LLM Inference](#open-source-llm-inference)\n  - [LLM Safety & Security](#llm-safety--security)\n  - [AI App Development Frameworks](#ai-app-development-frameworks)\n  - [Local Development & Serving](#local-development--serving)\n  - [LLM Inference Platforms](#llm-inference-platforms)\n- [🤝 Contributing](#-contributing)\n\n## 🛠️ Tooling for AI Engineers\n\n### Vector Databases\n\n| Tool | Description | Language | License |\n|------|-------------|----------|---------|\n| [Pinecone](https:\u002F\u002Fwww.pinecone.io\u002F) | Managed vector database for production AI applications | API\u002FSDK | Commercial |\n| [Weaviate](https:\u002F\u002Fgithub.com\u002Fweaviate\u002Fweaviate) | Open-source vector database with GraphQL API | Go | BSD-3 | \n| [Qdrant](https:\u002F\u002Fgithub.com\u002Fqdrant\u002Fqdrant) | Vector similarity search engine with extended filtering | Rust | Apache-2.0 |\n| [Chroma](https:\u002F\u002Fgithub.com\u002Fchroma-core\u002Fchroma) | Open-source embedding database for LLM apps | Python | Apache-2.0 |\n| [Milvus](https:\u002F\u002Fgithub.com\u002Fmilvus-io\u002Fmilvus) | Cloud-native vector database for scalable similarity search | Go\u002FC++ | Apache-2.0 | \n| [FAISS](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffaiss) | Library for efficient similarity search and clustering | C++\u002FPython | MIT | \n| [Deep Lake](https:\u002F\u002Fgithub.com\u002Factiveloopai\u002Fdeeplake) | AI-native data lake with versioned datasets, optimized for embeddings and multimodal storage | Python | Apache-2.0 | \n| [Vectara](https:\u002F\u002Fgithub.com\u002Fvectara) | Managed RAG platform with APIs for retrieval and generation | Python\u002FGo | Commercial |\n\n### Orchestration & Workflows\n\n| Tool | Description | Language | License | \n|------|-------------|----------|---------|\n| [LangChain](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangchain) | Framework for developing LLM applications | Python\u002FJS | MIT | \n| [LlamaIndex](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fllama_index) | Data framework for LLM applications | Python | MIT | \n| [Haystack](https:\u002F\u002Fgithub.com\u002Fdeepset-ai\u002Fhaystack) | End-to-end NLP framework for production | Python | Apache-2.0 | \n| [DSPy](https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy) | Framework for algorithmically optimizing LM prompts | Python | MIT |\n| [Semantic Kernel](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fsemantic-kernel) | SDK for integrating AI into conventional programming languages | C#\u002FPython\u002FJava | MIT | \n| [Langflow](https:\u002F\u002Fgithub.com\u002Flangflow-ai\u002Flangflow) | Visual no-code platform for building and deploying LLM workflows | Python\u002FTypeScript | MIT |\n| [Flowise](https:\u002F\u002Fgithub.com\u002FFlowiseAI\u002FFlowise) | Drag-and-drop UI for creating LLM chains and agents | TypeScript | MIT |\n| [Promptflow](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fpromptflow) | Workflow orchestration for LLM pipelines, evaluation, and deployment | Python | MIT |\n\n### PDF Extraction Tools\n\n| Tool | Description | Language | License |\n|------|-------------|----------|---------|\n| [Docling](https:\u002F\u002Fgithub.com\u002Fdocling-project\u002Fdocling) | AI-powered toolkit converting PDF, DOCX, PPTX, HTML, images into structured JSON\u002FMarkdown with layout, OCR, table, and code recognition | Python | MIT |\n| [pdfplumber](https:\u002F\u002Fgithub.com\u002Fjsvine\u002Fpdfplumber) | Drill through PDFs at a character level, extract text & tables, and visually debug extraction | Python | MIT | \n| [PyMuPDF (fitz)](https:\u002F\u002Fgithub.com\u002Fpymupdf\u002FPyMuPDF) | Lightweight, high-performance PDF parser for text\u002Fimage extraction and manipulation | Python \u002F C | AGPL-3.0 |\n| [PDF.js](https:\u002F\u002Fgithub.com\u002Fmozilla\u002Fpdf.js) | Browser-based PDF renderer with text extraction capabilities | JavaScript | Apache-2.0 | \n| [Camelot](https:\u002F\u002Fgithub.com\u002Fcamelot-dev\u002Fcamelot) | Extracts structured tabular data from PDFs into DataFrames and CSVs | Python | MIT |\n| [Unstructured](https:\u002F\u002Fgithub.com\u002FUnstructured-IO\u002Funstructured) | Parse PDFs, DOCX, HTML into structured JSON for LLM workflows | Python | Apache-2.0 |\n| [pdfminer.six](https:\u002F\u002Fgithub.com\u002Fpdfminer\u002Fpdfminer.six) | Detailed PDF text extraction and layout analysis | Python | MIT |\n| [Llama Parse](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fllama_parse) | Structured parsing of PDFs and documents optimized for LLMs | Python | Apache-2.0 |\n| [MegaParse](https:\u002F\u002Fgithub.com\u002Fmegaparse\u002Fmegaparse) | Universal parser for PDFs, HTML, and semi-structured documents | Python | Apache-2.0 |\n| [ExtractThinker](https:\u002F\u002Fgithub.com\u002Fextract-thinker\u002Fextract-thinker) | Intelligent document extraction framework with schema mapping | Python | MIT |\n| [PyMuPDF4LLM](https:\u002F\u002Fgithub.com\u002FJKamlah\u002FpyMuPDF4LLM) | Wrapper around PyMuPDF for LLM-ready text, tables, and image extraction | Python | Apache-2.0 |\n\n### RAG (Retrieval-Augmented Generation)\n\n| Tool | Description | Language | License |\n|------|-------------|----------|---------|\n| [RAGFlow](https:\u002F\u002Fgithub.com\u002Finfiniflow\u002Fragflow) | Open-source RAG engine based on deep document understanding | Python | Apache-2.0 | \n| [Verba](https:\u002F\u002Fgithub.com\u002Fweaviate\u002FVerba) | Retrieval Augmented Generation (RAG) chatbot | Python | BSD-3 | \n| [PrivateGPT](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT) | Interact with documents using local LLMs | Python | Apache-2.0 | \n| [AnythingLLM](https:\u002F\u002Fgithub.com\u002FMintplex-Labs\u002Fanything-llm) | All-in-one AI application for any LLM | JavaScript | MIT |\n| [Quivr](https:\u002F\u002Fgithub.com\u002FQuivrHQ\u002Fquivr) | Your GenAI second brain | Python\u002FTypeScript | Apache-2.0 |\n| [Jina](https:\u002F\u002Fgithub.com\u002Fjina-ai\u002Fjina) | Cloud-native neural search framework for multimodal RAG | Python | Apache-2.0 |\n| [txtai](https:\u002F\u002Fgithub.com\u002Fneuml\u002Ftxtai) | All-in-one embeddings database for semantic search and workflows | Python | Apache-2.0 |\n| [FastGraph RAG](https:\u002F\u002Fgithub.com\u002Fcirclemind-ai\u002Ffast-graphrag) | Graph-based RAG framework for structured retrieval | Python | MIT |\n| [Chonkie](https:\u002F\u002Fgithub.com\u002Fbhavnicksm\u002Fchonkie-main) | Chunking utility for efficient document processing in RAG | Python | - |\n| [FlashRAG](https:\u002F\u002Fgithub.com\u002FRUC-NLPIR\u002FFlashRAG) | Low-latency RAG research toolkit with modular design and benchmarks | Python | - |\n| [Llmware](https:\u002F\u002Fgithub.com\u002Fllmware-ai\u002Fllmware) | Lightweight framework for building RAG-based apps | Python | Apache-2.0 |\n\n### Evaluation & Testing\n\n| Tool | Description | Language | License |\n|------|-------------|----------|---------|\n| [Evals](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals) | OpenAI's framework for creating and running LLM evaluations | Python | MIT |\n| [Ragas](https:\u002F\u002Fgithub.com\u002Fexplodinggradients\u002Fragas) | Evaluation framework for RAG pipelines | Python | Apache-2.0 |\n| [Opik](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik) | DevOps platform for evaluation, monitoring, and observability | Python | Apache-2.0 |\n| [Phoenix](https:\u002F\u002Fgithub.com\u002FArize-ai\u002Fphoenix) | ML observability for LLM, vision, language, and tabular models | Python | Apache-2.0 |\n| [DeepEval](https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepeval) | LLM evaluation framework for unit testing LLM outputs | Python | Apache-2.0 |\n| [TruLens](https:\u002F\u002Fgithub.com\u002Ftruera\u002Ftrulens) | Evaluation and tracking for LLM experiments | Python | MIT |\n| [UpTrain](https:\u002F\u002Fgithub.com\u002Fuptrain-ai\u002Fuptrain) | Open-source tool to evaluate and improve LLM applications | Python | Apache-2.0 |\n| [Giskard](https:\u002F\u002Fgithub.com\u002FGiskard-AI\u002Fgiskard) | Testing framework for ML\u002FLLMs with bias and robustness checks | Python | Apache-2.0 |\n| [Weave](https:\u002F\u002Fgithub.com\u002Fwandb\u002Fweave) | Experiment tracking, debugging, and logging for LLM workflows | Python | Apache-2.0 |\n| [Lighteval](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Flighteval) | Lightweight and fast evaluation framework from Hugging Face | Python | Apache-2.0 |\n\n### Model Management\n\n| Tool | Description | Language | License |\n|------|-------------|----------|---------|\n| [Hugging Face Hub](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fhuggingface_hub) | Client library for Hugging Face Hub | Python | Apache-2.0 | \n| [MLflow](https:\u002F\u002Fgithub.com\u002Fmlflow\u002Fmlflow) | Platform for ML lifecycle management | Python | Apache-2.0 |\n| [Weights & Biases](https:\u002F\u002Fgithub.com\u002Fwandb\u002Fwandb) | Developer tools for ML | Python | MIT |\n| [DVC](https:\u002F\u002Fgithub.com\u002Fiterative\u002Fdvc) | Data version control for ML projects | Python | Apache-2.0 |\n| [ClearML](https:\u002F\u002Fgithub.com\u002Fallegroai\u002Fclearml) | End-to-end MLOps platform with LLM support | Python | Apache-2.0 |\n\n### Data Collection & Web Scraping\n\n| Tool | Description | Language | License |\n|------|-------------|----------|---------|\n| [Firecrawl](https:\u002F\u002Fgithub.com\u002Fmendableai\u002Ffirecrawl) | AI-powered web crawler that extracts and structures content for LLM pipelines | TypeScript | MIT |\n| [Scrapy](https:\u002F\u002Fgithub.com\u002Fscrapy\u002Fscrapy) | Fast, high-level web crawling & scraping framework | Python | BSD-3 |\n| [Playwright](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fplaywright) | Web automation & scraping with headless browsers | TypeScript\u002FPython\u002FJava\u002F.NET | Apache-2.0 | \n| [BeautifulSoup](https:\u002F\u002Fwww.crummy.com\u002Fsoftware\u002FBeautifulSoup\u002F) | Easy HTML\u002FXML parsing for quick scraping tasks | Python | MIT |\n| [Selenium](https:\u002F\u002Fgithub.com\u002FSeleniumHQ\u002Fselenium) | Browser automation framework (supports scraping) | Multiple | Apache-2.0 |\n| [Newspaper3k](https:\u002F\u002Fgithub.com\u002Fcodelucas\u002Fnewspaper) | News & article extraction library | Python | MIT |\n| [Crawl4AI](https:\u002F\u002Fgithub.com\u002Funclecode\u002Fcrawl4ai) | Fast, lightweight, and modern web crawling & scraping library for AI data pipelines | Python | Apache-2.0 |\n| [Colly](https:\u002F\u002Fgithub.com\u002Fgocolly\u002Fcolly) | High-performance scraping framework for Go | Go | BSD-2 |\n| [Trafilatura](https:\u002F\u002Fgithub.com\u002Fadbar\u002Ftrafilatura) | Extract clean text from web pages for LLM training corpora | Python | MIT |\n| [ScrapeGraphAI](https:\u002F\u002Fgithub.com\u002FVinciGit00\u002FScrapegraph-ai) | Use LLMs to extract structured data from websites and documents | Python | MIT |\n| [Crawlee](https:\u002F\u002Fgithub.com\u002Fapify\u002Fcrawlee) | Web scraping and crawling framework for large-scale data collection | TypeScript | Apache-2.0 |\n\n## 🤖 Agent Frameworks\n\n| Framework | Description | Language | License |\n|-----------|-------------|----------|---------|\n| [Google's ADK](https:\u002F\u002Fgoogle.github.io\u002Fadk-docs\u002F) | Flexible and modular framework for developing and deploying AI agents | Python \u002F Java | Apache-2.0 |\n| [AutoGen](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fautogen) | Multi-agent conversation framework | Python | CC-BY-4.0 | \n| [CrewAI](https:\u002F\u002Fgithub.com\u002Fjoaomdmoura\u002FcrewAI) | Framework for orchestrating role-playing autonomous AI agents | Python | MIT | \n| [LangGraph](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flanggraph) | Build resilient language agents as graphs | Python | MIT |\n| [AgentOps](https:\u002F\u002Fgithub.com\u002FAgentOps-AI\u002Fagentops) | Python SDK for AI agent monitoring, LLM cost tracking, benchmarking | Python | MIT |\n| [Swarm](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fswarm) | Educational framework for exploring ergonomic, lightweight multi-agent orchestration | Python | MIT | \n| [Agency Swarm](https:\u002F\u002Fgithub.com\u002FVRSEN\u002Fagency-swarm) | An open-source agent framework designed to automate your workflows | Python | MIT | \n| [Multi-Agent Systems](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fmulti-agent-systems) | Research into multi-agent systems and applications | Python | MIT | \n| [Auto-GPT](https:\u002F\u002Fgithub.com\u002FSignificant-Gravitas\u002FAuto-GPT) | Autonomous AI agent for task execution using GPT models | Python | MIT |\n| [BabyAGI](https:\u002F\u002Fgithub.com\u002Fyoheinakajima\u002Fbabyagi) | Task-driven autonomous agent inspired by AGI | Python | MIT |\n| [SuperAGI](https:\u002F\u002Fgithub.com\u002FTransformerOptimus\u002FSuperAGI) | Infrastructure for building and managing autonomous agents | Python | MIT |\n| [Griptape](https:\u002F\u002Fgithub.com\u002Fgriptape-ai\u002Fgriptape) | Framework for building AI agents with structured pipelines and memory | Python | Apache-2.0 |\n| [Letta (MemGPT)](https:\u002F\u002Fgithub.com\u002FLettaAI\u002Fmemgpt) | Long-term memory management for LLM agents | Python | MIT |\n| [Agno](https:\u002F\u002Fgithub.com\u002Fagno-ai\u002Fagno) | Framework for building AI agents with RAG, workflows, and memory | Python | Apache-2.0 |\n| [Agents SDK](https:\u002F\u002Fgithub.com\u002Fvercel\u002Fai) | SDK from Vercel for building agentic workflows and applications | TypeScript | Apache-2.0 |\n| [Smolagents](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fsmolagents) | Lightweight agent framework from Hugging Face | Python | Apache-2.0 |\n| [Pydantic AI](https:\u002F\u002Fgithub.com\u002Fpydantic\u002Fpydantic-ai) | Agent framework built on Pydantic for structured reasoning | Python | MIT |\n| [CAMEL](https:\u002F\u002Fgithub.com\u002Fcamel-ai\u002Fcamel) | Multi-agent framework enabling role-play and collaboration | Python | Apache-2.0 |\n| [Swarms](https:\u002F\u002Fgithub.com\u002Fkyegomez\u002Fswarms) | Enterprise agent orchestration framework (“Agency Swarm”) | Python | MIT |\n| [Langroid](https:\u002F\u002Fgithub.com\u002Flangroid\u002Flangroid) | Framework for building multi-agent conversational systems | Python | Apache-2.0 |\n| [Upsonic](https:\u002F\u002Fgithub.com\u002Fupsonic\u002Fupsonic) | Agent framework focused on context management and tool use | Python | Apache-2.0 |\n\n## 📦 LLM Development & Optimization\n\n### LLM Training and Fine-Tuning\n\n| Tool | Description | Language | License |\n|------|-------------|----------|---------|\n| [PyTorch Lightning](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Fpytorch-lightning) | High-level PyTorch interface for LLMs | Python | Apache-2.0 | \n| [unsloth](https:\u002F\u002Fgithub.com\u002Funslothai\u002Funsloth) | Fine-tune LLMs faster with less memory | Python | Apache-2.0 |\n| [Axolotl](https:\u002F\u002Fgithub.com\u002FOpenAccess-AI-Collective\u002Faxolotl) | Post-training pipeline for AI models | Python | Apache-2.0 |\n| [LLaMA-Factory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory) | Easy & efficient LLM fine-tuning | Python | Apache-2.0 |\n| [PEFT](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft) | Parameter-Efficient Fine-Tuning library | Python | Apache-2.0 |\n| [DeepSpeed](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeed) | Distributed training & inference optimization | Python | MIT | \n| [TRL](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftrl) | Train transformer LMs with reinforcement learning | Python | Apache-2.0 |\n| [Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) | Pretrained models for text, vision, and audio tasks | Python | Apache-2.0 |\n| [LitGPT](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002FLitGPT) | Train and fine-tune LLMs lightning fast | Python | Apache-2.0 |\n| [Ludwig](https:\u002F\u002Fgithub.com\u002Fludwig-ai\u002Fludwig) | Low-code framework for custom LLMs | Python | Apache-2.0 |\n| [xTuring](https:\u002F\u002Fgithub.com\u002Fstochasticai\u002FxTuring) | Fast fine-tuning of open-source LLMs | Python | Apache-2.0 |\n| [RL4LMs](https:\u002F\u002Fgithub.com\u002Fallenai\u002FRL4LMs) | RL library to fine-tune LMs to human preferences | Python | Apache-2.0 |\n| [torchtune](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ftorchtune) | PyTorch-native library for fine-tuning LLMs | Python | BSD-3 |\n| [Accelerate](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Faccelerate) | Library to easily train on multiple GPUs\u002FTPUs with mixed precision | Python | Apache-2.0 |\n\n### Open Source LLM Inference\n\n| Tool | Description | Language | License | \n|------|-------------|----------|---------|\n| [LLM Compressor](https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fllm-compressor) | Transformers-compatible library for applying various compression algorithms to LLMs for optimized deployment | Python | Apache-2.0 |\n| [LightLLM](https:\u002F\u002Fgithub.com\u002FModelTC\u002Flightllm) | Lightweight Python-based LLM inference and serving framework with easy scalability and high performance | Python | Apache-2.0 |\n| [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) | High-throughput and memory-efficient inference and serving engine for LLMs | Python | Apache-2.0 |\n| [TensorRT-LLM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM) | NVIDIA library for optimizing LLM inference with TensorRT | C++\u002FPython | Apache-2.0 |\n| [WebLLM](https:\u002F\u002Fgithub.com\u002Fmlc-ai\u002Fweb-llm) | High-performance in-browser LLM inference engine | TypeScript\u002FPython | Apache-2.0 |\n| [SkyPilot](https:\u002F\u002Fgithub.com\u002Fskypilot-org\u002Fskypilot) | Unified framework to run ML workloads and LLMs on any cloud (AWS, GCP, Azure, Lambda, etc.) with auto-spot, data syncing, and cost optimization. | Python | Apache-2.0 |\n\n### LLM Safety and Security\n\n| Tool | Description | Language | License |\n|------|-------------|----------|---------|\n| [Guardrails](https:\u002F\u002Fgithub.com\u002FShreyaR\u002Fguardrails) | Add guardrails to large language models | Python | MIT |\n| [NeMo Guardrails](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo-Guardrails) | Toolkit for adding programmable guardrails to LLM conversational systems | Python | Apache-2.0 |\n| [Garak](https:\u002F\u002Fgithub.com\u002Fleondz\u002Fgarak) | LLM vulnerability scanner | Python | MIT |\n| [DeepTeam](https:\u002F\u002Fgithub.com\u002FDeepTeamAI\u002Fdeepteam) | LLM red teaming framework | Python | Apache-2.0 |\n\n### AI App Development Frameworks\n\n| Tool | Description | Language | License |\n|------|-------------|----------|---------|\n| [Reflex](https:\u002F\u002Fgithub.com\u002Freflex-dev\u002Freflex) | Build full-stack web apps powered by LLMs with Python-only workflows and reactive UIs. | Python | Apache-2.0 |\n| [Gradio](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio) | Create quick, interactive UIs for LLM demos and prototypes. | Python | Apache-2.0 |\n| [Streamlit](https:\u002F\u002Fgithub.com\u002Fstreamlit\u002Fstreamlit) | Build and share AI\u002FML apps fast with Python scripts and interactive widgets. | Python | Apache-2.0 |\n| [Taipy](https:\u002F\u002Fgithub.com\u002FAvaiga\u002Ftaipy) | End-to-end Python framework for building production-ready AI apps with dashboards and pipelines. | Python | Apache-2.0 |\n| [AI SDK UI](https:\u002F\u002Fgithub.com\u002Fvercel\u002Fai) | Vercel’s AI SDK for building chat & generative UIs | TypeScript | Apache-2.0 |\n| [Simpleaichat](https:\u002F\u002Fgithub.com\u002Fminimaxir\u002Fsimpleaichat) | Minimal Python interface for prototyping conversational LLMs | Python | MIT |\n| [Chainlit](https:\u002F\u002Fgithub.com\u002FChainlit\u002Fchainlit) | Framework for building and debugging LLM apps with a rich UI | Python | Apache-2.0 |\n\n### Local Development & Serving\n\n| Tool | Description | Language | License |\n|------|-------------|----------|---------|\n| [Ollama](https:\u002F\u002Fgithub.com\u002Follama\u002Follama) | Get up and running with large language models locally | Go | MIT |\n| [LM Studio](https:\u002F\u002Flmstudio.ai\u002F) | Desktop app for running local LLMs | - | Commercial |\n| [GPT4All](https:\u002F\u002Fgithub.com\u002Fnomic-ai\u002Fgpt4all) | Open-source chatbot ecosystem | C++ | MIT |\n| [LocalAI](https:\u002F\u002Fgithub.com\u002Fmudler\u002FLocalAI) | Self-hosted OpenAI-compatible API | Go | MIT |\n| [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp) | Lightweight, high-performance inference engine for running LLMs locally across CPU, GPU, and mobile backends | C++ | MIT |\n| [LiteLLM](https:\u002F\u002Fgithub.com\u002FBerriAI\u002Flitellm) | Lightweight OpenAI-compatible gateway for multiple LLM providers | Python | MIT |\n| [AI Gateway](https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fai-gateway) | Gateway for managing LLM requests, caching, and routing | Python | Apache-2.0 |\n| [Langcorn](https:\u002F\u002Fgithub.com\u002Flangcorn\u002Flangcorn) | Serve LangChain applications via FastAPI with production-ready endpoints | Python | MIT |\n| [LitServe](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002FLitServe) | High-speed GPU inference server with autoscaling and batch support | Python | Apache-2.0 |\n\n### LLM Inference Platforms\n\n| Platform | Description | Pricing | Features |\n|----------|-------------|---------|----------|\n| [Clarifai](https:\u002F\u002Fwww.clarifai.com\u002F) | Lightning-fast compute for AI models & agents | Free tier + Pay-as-you-go | Pre-trained models, Deploy your own models on Dedicated compute, Model training, Workflow automation | \n| [Modal](https:\u002F\u002Fmodal.com\u002F) | Serverless platform for AI\u002FML workloads | Pay-per-use | Serverless GPU, Auto-scaling |\n| [Replicate](https:\u002F\u002Freplicate.com\u002F) | Run open-source models with a cloud API | Pay-per-use | Pre-built models, Custom training |\n| [Together AI](https:\u002F\u002Fwww.together.ai\u002F) | Cloud platform for open-source models | Various | Open models, Fine-tuning |\n| [Anyscale](https:\u002F\u002Fwww.anyscale.com\u002F) | Ray-based platform for AI applications | Enterprise | Distributed training, Serving |\n| [Groq](https:\u002F\u002Fgroq.com\u002F) | Ultra-fast LPU inference engine for running open AI models |Free tier + Pay-per-use | Blazing fast speed, High throughput, Low latency, Open model support |\n| [OpenRouter](https:\u002F\u002Fopenrouter.ai\u002F) | Universal API to find and route to the best LLMs from various providers | Free tier + Pay-per-use | Multi-provider access, Unified API, Model comparison, Caching |\n| [RouteLLM](https:\u002F\u002Fgithub.com\u002FrouteLLM\u002FrouteLLM) | Dynamic router for selecting best LLMs based on cost & performance | Open-source | Cost optimization, Multi-LLM routing |\n\n## 🤝 Contributing\n\nWe welcome contributions! This toolkit grows stronger with community input.\n\n### How to Contribute\n\n1. **Fork the repository**\n2. **Create a feature branch** (`git checkout -b feature\u002Famazing-tool`)\n3. **Add your contribution** (new tool, template, or tutorial)\n4. **Submit a pull request**\n\n### Contribution Guidelines\n\n- **Quality over quantity** - Focus on tools and resources that provide real value\n- **Production-ready** - Include tools that work in real-world scenarios\n- **Well-documented** - Provide clear descriptions and usage examples\n- **Up-to-date** - Ensure tools are actively maintained\n\n---\n\n## 📧 Stay Connected\n\n### Newsletter\nGet weekly AI engineering insights, tool reviews, and exclusive demos and AI Projects delivered to your inbox:\n\n**[📧 Subscribe to AI Engineering Newsletter →](https:\u002F\u002Faiengineering.beehiiv.com\u002Fsubscribe)**\n\n*Join 100,000+ engineers building better LLM applications*\n\n### Social Media\n[![X Follow](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002FSumanth_077?style=social&logo=x)](https:\u002F\u002Fx.com\u002FSumanth_077)\n[![LinkedIn Follow](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLinkedIn-Follow-blue?style=social&logo=linkedin)](https:\u002F\u002Fwww.linkedin.com\u002Fcompany\u002Ftheaiengineering\u002F)\n\n---\n\n**Built with ❤️ for the AI Engineering community**\n\n*Star ⭐ this repo if you find it helpful!*\n","# AI 工程工具包🔥\n\n**更快、更智能、更贴近生产环境，构建更优秀的 LLM 应用。**\n\n这是一份为使用大型语言模型进行开发的 AI 工程师精心整理的清单，包含 100 多个库和框架。该工具包汇集了久经考验的工具、框架、模板以及参考实现，用于开发、部署和优化基于 LLM 的系统。\n\n[![工具包横幅](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSumanth077_ai-engineering-toolkit_readme_20ad8224fcf7.jpg)](https:\u002F\u002Faiengineering.beehiiv.com\u002Fsubscribe)\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-yellow.svg\" alt=\"许可证：MIT\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 📋 目录\n\n- [🛠️ AI 工程师工具链](#%EF%B8%8F-tooling-for-ai-engineers)\n  - [向量数据库](#vector-databases)\n  - [编排与工作流](#orchestration--workflows)\n  - [RAG（检索增强生成）](#rag-retrieval-augmented-generation)\n  - [评估与测试](#evaluation--testing)\n  - [模型管理](#model-management)\n  - [数据采集与网页抓取](#data-collection--web-scraping)\n- [🤖 代理框架](#-agent-frameworks)\n- [📦 LLM 开发与优化](#llm-development--optimization)\n  - [开源 LLM 推理](#open-source-llm-inference)\n  - [LLM 安全与防护](#llm-safety--security)\n  - [AI 应用开发框架](#ai-app-development-frameworks)\n  - [本地开发与服务](#local-development--serving)\n  - [LLM 推理平台](#llm-inference-platforms)\n- [🤝 贡献](#-contributing)\n\n## 🛠️ AI 工程师工具链\n\n### 向量数据库\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [Pinecone](https:\u002F\u002Fwww.pinecone.io\u002F) | 面向生产级 AI 应用的托管向量数据库 | API\u002FSDK | 商业 |\n| [Weaviate](https:\u002F\u002Fgithub.com\u002Fweaviate\u002Fweaviate) | 具有 GraphQL API 的开源向量数据库 | Go | BSD-3 |\n| [Qdrant](https:\u002F\u002Fgithub.com\u002Fqdrant\u002Fqdrant) | 支持扩展过滤功能的向量相似度搜索引擎 | Rust | Apache-2.0 |\n| [Chroma](https:\u002F\u002Fgithub.com\u002Fchroma-core\u002Fchroma) | 专为 LLM 应用设计的开源嵌入数据库 | Python | Apache-2.0 |\n| [Milvus](https:\u002F\u002Fgithub.com\u002Fmilvus-io\u002Fmilvus) | 面向云原生、可扩展相似度搜索的向量数据库 | Go\u002FC++ | Apache-2.0 |\n| [FAISS](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffaiss) | 高效相似度搜索与聚类库 | C++\u002FPython | MIT |\n| [Deep Lake](https:\u002F\u002Fgithub.com\u002Factiveloopai\u002Fdeeplake) | 原生支持 AI 的数据湖，提供版本化数据集，专为嵌入和多模态存储优化 | Python | Apache-2.0 |\n| [Vectara](https:\u002F\u002Fgithub.com\u002Fvectara) | 提供检索与生成 API 的托管 RAG 平台 | Python\u002FGo | 商业 |\n\n### 编排与工作流\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [LangChain](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangchain) | 用于开发 LLM 应用的框架 | Python\u002FJS | MIT |\n| [LlamaIndex](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fllama_index) | 面向 LLM 应用的数据框架 | Python | MIT |\n| [Haystack](https:\u002F\u002Fgithub.com\u002Fdeepset-ai\u002Fhaystack) | 生产级端到端 NLP 框架 | Python | Apache-2.0 |\n| [DSPy](https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy) | 用于算法优化 LM 提示词的框架 | Python | MIT |\n| [Semantic Kernel](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fsemantic-kernel) | 将 AI 集成到传统编程语言中的 SDK | C#\u002FPython\u002FJava | MIT |\n| [Langflow](https:\u002F\u002Fgithub.com\u002Flangflow-ai\u002Flangflow) | 用于构建和部署 LLM 工作流的可视化无代码平台 | Python\u002FTypeScript | MIT |\n| [Flowise](https:\u002F\u002Fgithub.com\u002FFlowiseAI\u002FFlowise) | 用于创建 LLM 链和代理的拖放式 UI | TypeScript | MIT |\n| [Promptflow](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fpromptflow) | 用于 LLM 流水线编排、评估和部署的工作流 | Python | MIT |\n\n### PDF 提取工具\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [Docling](https:\u002F\u002Fgithub.com\u002Fdocling-project\u002Fdocling) | 基于 AI 的工具包，能够将 PDF、DOCX、PPTX、HTML 和图像转换为结构化 JSON\u002FMarkdown，支持布局、OCR、表格及代码识别 | Python | MIT |\n| [pdfplumber](https:\u002F\u002Fgithub.com\u002Fjsvine\u002Fpdfplumber) | 可以逐字符深入解析 PDF，提取文本和表格，并对提取过程进行可视化调试 | Python | MIT |\n| [PyMuPDF (fitz)](https:\u002F\u002Fgithub.com\u002Fpymupdf\u002FPyMuPDF) | 轻量级、高性能的 PDF 解析器，可用于文本、图像的提取和操作 | Python \u002F C | AGPL-3.0 |\n| [PDF.js](https:\u002F\u002Fgithub.com\u002Fmozilla\u002Fpdf.js) | 基于浏览器的 PDF 渲染器，具备文本提取功能 | JavaScript | Apache-2.0 |\n| [Camelot](https:\u002F\u002Fgithub.com\u002Fcamelot-dev\u002Fcamelot) | 从 PDF 中提取结构化的表格数据，输出为 DataFrame 和 CSV 格式 | Python | MIT |\n| [Unstructured](https:\u002F\u002Fgithub.com\u002FUnstructured-IO\u002Funstructured) | 可以将 PDF、DOCX、HTML 等文档解析为结构化 JSON，适用于 LLM 工作流 | Python | Apache-2.0 |\n| [pdfminer.six](https:\u002F\u002Fgithub.com\u002Fpdfminer\u002Fpdfminer.six) | 提供详细的 PDF 文本提取和版面分析功能 | Python | MIT |\n| [Llama Parse](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fllama_parse) | 针对 LLM 优化的 PDF 和文档结构化解析工具 | Python | Apache-2.0 |\n| [MegaParse](https:\u002F\u002Fgithub.com\u002Fmegaparse\u002Fmegaparse) | 通用的 PDF、HTML 和半结构化文档解析器 | Python | Apache-2.0 |\n| [ExtractThinker](https:\u002F\u002Fgithub.com\u002Fextract-thinker\u002Fextract-thinker) | 具有模式映射功能的智能文档提取框架 | Python | MIT |\n| [PyMuPDF4LLM](https:\u002F\u002Fgithub.com\u002FJKamlah\u002FpyMuPDF4LLM) | 基于 PyMuPDF 的封装，专门用于提取 LLM 所需的文本、表格和图像 | Python | Apache-2.0 |\n\n### RAG（检索增强生成）\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [RAGFlow](https:\u002F\u002Fgithub.com\u002Finfiniflow\u002Fragflow) | 基于深度文档理解的开源RAG引擎 | Python | Apache-2.0 | \n| [Verba](https:\u002F\u002Fgithub.com\u002Fweaviate\u002FVerba) | 检索增强生成（RAG）聊天机器人 | Python | BSD-3 | \n| [PrivateGPT](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT) | 使用本地大模型与文档交互 | Python | Apache-2.0 | \n| [AnythingLLM](https:\u002F\u002Fgithub.com\u002FMintplex-Labs\u002Fanything-llm) | 适用于任何大模型的一体化AI应用 | JavaScript | MIT |\n| [Quivr](https:\u002F\u002Fgithub.com\u002FQuivrHQ\u002Fquivr) | 您的生成式AI第二大脑 | Python\u002FTypeScript | Apache-2.0 |\n| [Jina](https:\u002F\u002Fgithub.com\u002Fjina-ai\u002Fjina) | 面向多模态RAG的云原生神经搜索框架 | Python | Apache-2.0 |\n| [txtai](https:\u002F\u002Fgithub.com\u002Fneuml\u002Ftxtai) | 用于语义搜索和工作流的一体化嵌入数据库 | Python | Apache-2.0 |\n| [FastGraph RAG](https:\u002F\u002Fgithub.com\u002Fcirclemind-ai\u002Ffast-graphrag) | 用于结构化检索的基于图的RAG框架 | Python | MIT |\n| [Chonkie](https:\u002F\u002Fgithub.com\u002Fbhavnicksm\u002Fchonkie-main) | 用于RAG中高效文档处理的分块工具 | Python | - |\n| [FlashRAG](https:\u002F\u002Fgithub.com\u002FRUC-NLPIR\u002FFlashRAG) | 具有模块化设计和基准测试的低延迟RAG研究工具包 | Python | - |\n| [Llmware](https:\u002F\u002Fgithub.com\u002Fllmware-ai\u002Fllmware) | 用于构建RAG应用的轻量级框架 | Python | Apache-2.0 |\n\n### 评估与测试\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [Evals](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals) | OpenAI用于创建和运行大模型评估的框架 | Python | MIT |\n| [Ragas](https:\u002F\u002Fgithub.com\u002Fexplodinggradients\u002Fragas) | RAG流水线的评估框架 | Python | Apache-2.0 |\n| [Opik](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik) | 用于评估、监控和可观测性的DevOps平台 | Python | Apache-2.0 |\n| [Phoenix](https:\u002F\u002Fgithub.com\u002FArize-ai\u002Fphoenix) | 面向大模型、视觉、语言和表格数据模型的机器学习可观测性平台 | Python | Apache-2.0 |\n| [DeepEval](https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepeval) | 用于对大模型输出进行单元测试的评估框架 | Python | Apache-2.0 |\n| [TruLens](https:\u002F\u002Fgithub.com\u002Ftruera\u002Ftrulens) | 大模型实验的评估与跟踪工具 | Python | MIT |\n| [UpTrain](https:\u002F\u002Fgithub.com\u002Fuptrain-ai\u002Fuptrain) | 用于评估和改进大模型应用的开源工具 | Python | Apache-2.0 |\n| [Giskard](https:\u002F\u002Fgithub.com\u002FGiskard-AI\u002Fgiskard) | 包含偏差和鲁棒性检查的机器学习\u002F大模型测试框架 | Python | Apache-2.0 |\n| [Weave](https:\u002F\u002Fgithub.com\u002Fwandb\u002Fweave) | 大模型工作流的实验跟踪、调试和日志记录工具 | Python | Apache-2.0 |\n| [Lighteval](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Flighteval) | Hugging Face提供的轻量且快速的评估框架 | Python | Apache-2.0 |\n\n### 模型管理\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [Hugging Face Hub](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fhuggingface_hub) | Hugging Face Hub的客户端库 | Python | Apache-2.0 | \n| [MLflow](https:\u002F\u002Fgithub.com\u002Fmlflow\u002Fmlflow) | 用于机器学习生命周期管理的平台 | Python | Apache-2.0 |\n| [Weights & Biases](https:\u002F\u002Fgithub.com\u002Fwandb\u002Fwandb) | 用于机器学习的开发者工具 | Python | MIT |\n| [DVC](https:\u002F\u002Fgithub.com\u002Fiterative\u002Fdvc) | 用于机器学习项目的数据版本控制 | Python | Apache-2.0 |\n| [ClearML](https:\u002F\u002Fgithub.com\u002Fallegroai\u002Fclearml) | 具备大模型支持的端到端MLOps平台 | Python | Apache-2.0 |\n\n### 数据收集与网页抓取\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [Firecrawl](https:\u002F\u002Fgithub.com\u002Fmendableai\u002Ffirecrawl) | 基于AI的网页爬虫，可提取并结构化内容以供大模型流水线使用 | TypeScript | MIT |\n| [Scrapy](https:\u002F\u002Fgithub.com\u002Fscrapy\u002Fscrapy) | 快速、高级别的网页爬取与抓取框架 | Python | BSD-3 |\n| [Playwright](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fplaywright) | 使用无头浏览器进行网页自动化与抓取 | TypeScript\u002FPython\u002FJava\u002F.NET | Apache-2.0 | \n| [BeautifulSoup](https:\u002F\u002Fwww.crummy.com\u002Fsoftware\u002FBeautifulSoup\u002F) | 用于快速抓取任务的简单HTML\u002FXML解析工具 | Python | MIT |\n| [Selenium](https:\u002F\u002Fgithub.com\u002FSeleniumHQ\u002Fselenium) | 浏览器自动化框架（支持抓取） | 多种 | Apache-2.0 |\n| [Newspaper3k](https:\u002F\u002Fgithub.com\u002Fcodelucas\u002Fnewspaper) | 新闻与文章提取库 | Python | MIT |\n| [Crawl4AI](https:\u002F\u002Fgithub.com\u002Funclecode\u002Fcrawl4ai) | 专为AI数据管道设计的快速、轻量且现代的网页爬取与抓取库 | Python | Apache-2.0 |\n| [Colly](https:\u002F\u002Fgithub.com\u002Fgocolly\u002Fcolly) | 面向Go语言的高性能抓取框架 | Go | BSD-2 |\n| [Trafilatura](https:\u002F\u002Fgithub.com\u002Fadbar\u002Ftrafilatura) | 从网页中提取干净文本以用于大模型训练语料库 | Python | MIT |\n| [ScrapeGraphAI](https:\u002F\u002Fgithub.com\u002FVinciGit00\u002FScrapegraph-ai) | 利用大模型从网站和文档中提取结构化数据 | Python | MIT |\n| [Crawlee](https:\u002F\u002Fgithub.com\u002Fapify\u002Fcrawlee) | 用于大规模数据收集的网页抓取与爬取框架 | TypeScript | Apache-2.0 |\n\n## 🤖 代理框架\n\n| 框架 | 描述 | 语言 | 许可证 |\n|-----------|-------------|----------|---------|\n| [Google's ADK](https:\u002F\u002Fgoogle.github.io\u002Fadk-docs\u002F) | 灵活且模块化的框架，用于开发和部署AI代理 | Python \u002F Java | Apache-2.0 |\n| [AutoGen](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fautogen) | 多代理对话框架 | Python | CC-BY-4.0 |\n| [CrewAI](https:\u002F\u002Fgithub.com\u002Fjoaomdmoura\u002FcrewAI) | 用于编排角色扮演型自主AI代理的框架 | Python | MIT |\n| [LangGraph](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flanggraph) | 将鲁棒的语言代理构建为图结构 | Python | MIT |\n| [AgentOps](https:\u002F\u002Fgithub.com\u002FAgentOps-AI\u002Fagentops) | 用于AI代理监控、LLM成本跟踪和基准测试的Python SDK | Python | MIT |\n| [Swarm](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fswarm) | 用于探索符合人体工学、轻量级多代理编排的教育性框架 | Python | MIT |\n| [Agency Swarm](https:\u002F\u002Fgithub.com\u002FVRSEN\u002Fagency-swarm) | 一个开源代理框架，旨在自动化您的工作流 | Python | MIT |\n| [Multi-Agent Systems](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fmulti-agent-systems) | 多代理系统及其应用的研究 | Python | MIT |\n| [Auto-GPT](https:\u002F\u002Fgithub.com\u002FSignificant-Gravitas\u002FAuto-GPT) | 使用GPT模型执行任务的自主AI代理 | Python | MIT |\n| [BabyAGI](https:\u002F\u002Fgithub.com\u002Fyoheinakajima\u002Fbabyagi) | 受AGI启发的任务驱动型自主代理 | Python | MIT |\n| [SuperAGI](https:\u002F\u002Fgithub.com\u002FTransformerOptimus\u002FSuperAGI) | 用于构建和管理自主代理的基础设施 | Python | MIT |\n| [Griptape](https:\u002F\u002Fgithub.com\u002Fgriptape-ai\u002Fgriptape) | 用于构建具有结构化管道和记忆的AI代理的框架 | Python | Apache-2.0 |\n| [Letta (MemGPT)](https:\u002F\u002Fgithub.com\u002FLettaAI\u002Fmemgpt) | 针对LLM代理的长期记忆管理 | Python | MIT |\n| [Agno](https:\u002F\u002Fgithub.com\u002Fagno-ai\u002Fagno) | 用于构建具备RAG、工作流和记忆功能的AI代理的框架 | Python | Apache-2.0 |\n| [Agents SDK](https:\u002F\u002Fgithub.com\u002Fvercel\u002Fai) | Vercel提供的用于构建代理式工作流和应用程序的SDK | TypeScript | Apache-2.0 |\n| [Smolagents](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fsmolagents) | Hugging Face推出的轻量级代理框架 | Python | Apache-2.0 |\n| [Pydantic AI](https:\u002F\u002Fgithub.com\u002Fpydantic\u002Fpydantic-ai) | 基于Pydantic构建的结构化推理代理框架 | Python | MIT |\n| [CAMEL](https:\u002F\u002Fgithub.com\u002Fcamel-ai\u002Fcamel) | 支持角色扮演和协作的多代理框架 | Python | Apache-2.0 |\n| [Swarms](https:\u002F\u002Fgithub.com\u002Fkyegomez\u002Fswarms) | 企业级代理编排框架（“Agency Swarm”） | Python | MIT |\n| [Langroid](https:\u002F\u002Fgithub.com\u002Flangroid\u002Flangroid) | 用于构建多代理对话系统的框架 | Python | Apache-2.0 |\n| [Upsonic](https:\u002F\u002Fgithub.com\u002Fupsonic\u002Fupsonic) | 专注于上下文管理和工具使用的代理框架 | Python | Apache-2.0 |\n\n## 📦 LLM开发与优化\n\n### LLM训练与微调\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [PyTorch Lightning](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Fpytorch-lightning) | 高层次的PyTorch接口，适用于LLM | Python | Apache-2.0 |\n| [unsloth](https:\u002F\u002Fgithub.com\u002Funslothai\u002Funsloth) | 以更少的内存更快地微调LLM | Python | Apache-2.0 |\n| [Axolotl](https:\u002F\u002Fgithub.com\u002FOpenAccess-AI-Collective\u002Faxolotl) | 用于AI模型的后训练流水线 | Python | Apache-2.0 |\n| [LLaMA-Factory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory) | 简单高效的LLM微调工具 | Python | Apache-2.0 |\n| [PEFT](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft) | 参数高效微调库 | Python | Apache-2.0 |\n| [DeepSpeed](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeed) | 分布式训练与推理优化 | Python | MIT |\n| [TRL](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftrl) | 使用强化学习训练Transformer LM | Python | Apache-2.0 |\n| [Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) | 用于文本、视觉和音频任务的预训练模型 | Python | Apache-2.0 |\n| [LitGPT](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002FLitGPT) | 极速训练和微调LLM | Python | Apache-2.0 |\n| [Ludwig](https:\u002F\u002Fgithub.com\u002Fludwig-ai\u002Fludwig) | 用于自定义LLM的低代码框架 | Python | Apache-2.0 |\n| [xTuring](https:\u002F\u002Fgithub.com\u002Fstochasticai\u002FxTuring) | 快速微调开源LLM | Python | Apache-2.0 |\n| [RL4LMs](https:\u002F\u002Fgithub.com\u002Fallenai\u002FRL4LMs) | 用于将LM微调至人类偏好方向的强化学习库 | Python | Apache-2.0 |\n| [torchtune](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ftorchtune) | PyTorch原生的LLM微调库 | Python | BSD-3 |\n| [Accelerate](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Faccelerate) | 用于轻松在多GPU\u002FTPU上以混合精度训练的库 | Python | Apache-2.0 |\n\n### 开源LLM推理\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [LLM Compressor](https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fllm-compressor) | 兼容Transformers的库，可应用于各种压缩算法以优化LLM的部署 | Python | Apache-2.0 |\n| [LightLLM](https:\u002F\u002Fgithub.com\u002FModelTC\u002Flightllm) | 轻量级的基于Python的LLM推理与服务框架，易于扩展且性能卓越 | Python | Apache-2.0 |\n| [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) | 高吞吐量且内存高效的LLM推理与服务引擎 | Python | Apache-2.0 |\n| [TensorRT-LLM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM) | NVIDIA用于通过TensorRT优化LLM推理的库 | C++\u002FPython | Apache-2.0 |\n| [WebLLM](https:\u002F\u002Fgithub.com\u002Fmlc-ai\u002Fweb-llm) | 高性能的浏览器内LLM推理引擎 | TypeScript\u002FPython | Apache-2.0 |\n| [SkyPilot](https:\u002F\u002Fgithub.com\u002Fskypilot-org\u002Fskypilot) | 统一框架，可在任何云平台（AWS、GCP、Azure、Lambda等）上运行ML工作loads和LLMs，并具备自动竞价、数据同步和成本优化功能。 | Python | Apache-2.0 |\n\n### LLM安全与保障\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [Guardrails](https:\u002F\u002Fgithub.com\u002FShreyaR\u002Fguardrails) | 为大型语言模型添加护栏 | Python | MIT |\n| [NeMo Guardrails](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo-Guardrails) | 用于为LLM对话系统添加可编程护栏的工具包 | Python | Apache-2.0 |\n| [Garak](https:\u002F\u002Fgithub.com\u002Fleondz\u002Fgarak) | LLM漏洞扫描器 | Python | MIT |\n| [DeepTeam](https:\u002F\u002Fgithub.com\u002FDeepTeamAI\u002Fdeepteam) | LLM红队框架 | Python | Apache-2.0 |\n\n### AI 应用开发框架\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [Reflex](https:\u002F\u002Fgithub.com\u002Freflex-dev\u002Freflex) | 使用纯 Python 工作流和响应式 UI 构建由大语言模型驱动的全栈 Web 应用。 | Python | Apache-2.0 |\n| [Gradio](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio) | 快速创建用于大语言模型演示和原型的交互式 UI。 | Python | Apache-2.0 |\n| [Streamlit](https:\u002F\u002Fgithub.com\u002Fstreamlit\u002Fstreamlit) | 通过 Python 脚本和交互式组件快速构建并分享 AI\u002FML 应用。 | Python | Apache-2.0 |\n| [Taipy](https:\u002F\u002Fgithub.com\u002FAvaiga\u002Ftaipy) | 端到端 Python 框架，用于构建带有仪表盘和工作流的生产就绪型 AI 应用。 | Python | Apache-2.0 |\n| [AI SDK UI](https:\u002F\u002Fgithub.com\u002Fvercel\u002Fai) | Vercel 的 AI SDK，用于构建聊天和生成式 UI | TypeScript | Apache-2.0 |\n| [Simpleaichat](https:\u002F\u002Fgithub.com\u002Fminimaxir\u002Fsimpleaichat) | 用于原型化对话式大语言模型的极简 Python 接口 | Python | MIT |\n| [Chainlit](https:\u002F\u002Fgithub.com\u002FChainlit\u002Fchainlit) | 用于构建和调试具有丰富 UI 的大语言模型应用的框架 | Python | Apache-2.0 |\n\n### 本地开发与服务\n\n| 工具 | 描述 | 语言 | 许可证 |\n|------|-------------|----------|---------|\n| [Ollama](https:\u002F\u002Fgithub.com\u002Follama\u002Follama) | 在本地快速启动并运行大型语言模型 | Go | MIT |\n| [LM Studio](https:\u002F\u002Flmstudio.ai\u002F) | 用于运行本地大语言模型的桌面应用 | - | 商业 |\n| [GPT4All](https:\u002F\u002Fgithub.com\u002Fnomic-ai\u002Fgpt4all) | 开源聊天机器人生态系统 | C++ | MIT |\n| [LocalAI](https:\u002F\u002Fgithub.com\u002Fmudler\u002FLocalAI) | 自托管的 OpenAI 兼容 API | Go | MIT |\n| [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp) | 轻量级、高性能的推理引擎，可在 CPU、GPU 和移动设备后端上本地运行大语言模型 | C++ | MIT |\n| [LiteLLM](https:\u002F\u002Fgithub.com\u002FBerriAI\u002Flitellm) | 轻量级的 OpenAI 兼容网关，支持多个大语言模型提供商 | Python | MIT |\n| [AI Gateway](https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fai-gateway) | 用于管理大语言模型请求、缓存和路由的网关 | Python | Apache-2.0 |\n| [Langcorn](https:\u002F\u002Fgithub.com\u002Flangcorn\u002Flangcorn) | 通过 FastAPI 提供 LangChain 应用程序，并具备生产就绪的端点 | Python | MIT |\n| [LitServe](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002FLitServe) | 高速 GPU 推理服务器，支持自动扩展和批处理 | Python | Apache-2.0 |\n\n### 大语言模型推理平台\n\n| 平台 | 描述 | 定价 | 特性 |\n|----------|-------------|---------|----------|\n| [Clarifai](https:\u002F\u002Fwww.clarifai.com\u002F) | 为 AI 模型和智能体提供闪电般的计算能力 | 免费层 + 按使用付费 | 预训练模型、在专用计算资源上部署自定义模型、模型训练、工作流自动化 |\n| [Modal](https:\u002F\u002Fmodal.com\u002F) | 用于 AI\u002FML 工作负载的无服务器平台 | 按使用付费 | 无服务器 GPU、自动扩展 |\n| [Replicate](https:\u002F\u002Freplicate.com\u002F) | 通过云 API 运行开源模型 | 按使用付费 | 预构建模型、自定义训练 |\n| [Together AI](https:\u002F\u002Fwww.together.ai\u002F) | 用于开源模型的云平台 | 多种方案 | 开源模型、微调 |\n| [Anyscale](https:\u002F\u002Fwww.anyscale.com\u002F) | 基于 Ray 的 AI 应用平台 | 企业版 | 分布式训练、模型服务 |\n| [Groq](https:\u002F\u002Fgroq.com\u002F) | 用于运行开放 AI 模型的超高速 LPU 推理引擎 | 免费层 + 按使用付费 | 极速、高吞吐量、低延迟、支持开源模型 |\n| [OpenRouter](https:\u002F\u002Fopenrouter.ai\u002F) | 通用 API，可从不同提供商中找到并路由到最佳的大语言模型 | 免费层 + 按使用付费 | 多提供商访问、统一 API、模型比较、缓存 |\n| [RouteLLM](https:\u002F\u002Fgithub.com\u002FrouteLLM\u002FrouteLLM) | 根据成本和性能动态选择最佳大语言模型的路由器 | 开源 | 成本优化、多大语言模型路由 |\n\n## 🤝 贡献\n\n我们欢迎各位的贡献！这个工具集将因社区的支持而愈发强大。\n\n### 如何贡献\n\n1. **fork 仓库**\n2. **创建功能分支** (`git checkout -b feature\u002Famazing-tool`)\n3. **添加你的贡献**（新工具、模板或教程）\n4. **提交拉取请求**\n\n### 贡献指南\n\n- **质量胜于数量** - 专注于能提供真正价值的工具和资源\n- **生产就绪** - 包含可在实际场景中使用的工具\n- **文档完善** - 提供清晰的描述和使用示例\n- **保持更新** - 确保工具处于积极维护状态\n\n---\n\n## 📧 保持联系\n\n### 新闻通讯\n每周获取 AI 工程领域的洞察、工具评测以及独家演示和 AI 项目，直接送达您的邮箱：\n\n**[📧 订阅 AI 工程新闻通讯 →](https:\u002F\u002Faiengineering.beehiiv.com\u002Fsubscribe)**\n\n*加入超过 10 万名致力于构建更优秀大语言模型应用的工程师*\n\n### 社交媒体\n[![X 关注](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002FSumanth_077?style=social&logo=x)](https:\u002F\u002Fx.com\u002FSumanth_077)\n[![LinkedIn 关注](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLinkedIn-Follow-blue?style=social&logo=linkedin)](https:\u002F\u002Fwww.linkedin.com\u002Fcompany\u002Ftheaiengineering\u002F)\n\n---\n\n**专为 AI 工程社区打造 ❤️**\n\n*如果你觉得这个仓库有用，请给它点个赞 ⭐！*","# AI Engineering Toolkit 快速上手指南\n\n**AI Engineering Toolkit** 并非单一的软件包，而是一个精选的开源工具、框架和库的集合（清单），旨在帮助工程师构建、部署和优化基于大语言模型（LLM）的生产级应用。本指南将指导你如何根据需求选择工具并进行环境配置。\n\n## 🛠️ 环境准备\n\n由于该工具箱包含多种不同技术栈的工具（主要是 Python 和 Node.js\u002FTypeScript），请根据你的具体需求准备相应的开发环境。\n\n### 系统要求\n- **操作系统**: Linux, macOS, 或 Windows (推荐 WSL2)\n- **内存**: 建议 16GB 以上（运行本地向量数据库或大模型推理时）\n- **GPU**: 可选，若需本地运行开源大模型或加速向量检索，建议配备 NVIDIA GPU\n\n### 前置依赖\n大多数核心工具基于 **Python**，部分前端或爬虫工具基于 **Node.js**。\n\n1. **Python 环境** (推荐版本 3.9 - 3.11)\n   ```bash\n   python --version\n   pip --version\n   ```\n2. **Node.js 环境** (如需使用 Flowise, Firecrawl 等)\n   ```bash\n   node --version\n   npm --version\n   ```\n3. **容器环境** (可选，用于快速部署向量数据库如 Qdrant, Weaviate)\n   ```bash\n   docker --version\n   docker-compose --version\n   ```\n\n> **💡 国内开发者提示**：\n> 建议配置国内镜像源以加速依赖安装：\n> *   **PyPI**: `pip config set global.index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n> *   **NPM**: `npm config set registry https:\u002F\u002Fregistry.npmmirror.com`\n\n---\n\n## 📦 安装步骤\n\n由于这是一个工具清单，你需要根据项目需求安装特定的库。以下是几类核心工具的通用安装命令。\n\n### 1. 安装编排与工作流框架 (最常用)\n如果你需要构建 LLM 应用链路：\n```bash\n# LangChain (生态最丰富)\npip install langchain langchain-community langchain-core\n\n# LlamaIndex (专注数据索引与 RAG)\npip install llama-index\n\n# DSPy (提示词自动优化)\npip install dspy-ai\n```\n\n### 2. 安装向量数据库客户端\n用于存储和检索嵌入向量：\n```bash\n# Chroma (轻量级，适合本地开发)\npip install chromadb\n\n# Qdrant (高性能，支持 Docker 部署)\npip install qdrant-client\n\n# Milvus (大规模分布式)\npip install pymilvus\n```\n\n### 3. 安装 Agent 框架\n用于构建多智能体协作系统：\n```bash\n# CrewAI (角色扮演的智能体编排)\npip install crewai crewai-tools\n\n# AutoGen (微软多智能体对话框架)\npip install pyautogen\n\n# LangGraph (基于图的复杂代理流程)\npip install langgraph\n```\n\n### 4. 安装评估与测试工具\n用于监控和评估 LLM 输出质量：\n```bash\n# Ragas (RAG  pipeline 评估)\npip install ragas\n\n# DeepEval (LLM 单元测试)\npip install deepeval\n```\n\n### 5. 安装文档解析工具 (RAG 必备)\n用于处理 PDF、Word 等非结构化数据：\n```bash\n# Unstructured (通用文档解析)\npip install unstructured\n\n# Docling (IBM 开源，高精度布局识别)\npip install docling\n```\n\n---\n\n## 🚀 基本使用\n\n以下是一个基于 **LangChain** 和 **Chroma** 构建最简单 RAG（检索增强生成）应用的示例，展示如何使用该工具集中的组件。\n\n### 场景：构建一个本地文档问答机器人\n\n#### 1. 准备数据\n创建一个名为 `data.txt` 的文件，填入一些测试文本。\n\n#### 2. 编写代码 (`main.py`)\n此示例演示了加载文档、创建向量存储、并执行检索生成的完整流程。\n\n```python\nimport os\nfrom langchain_community.document_loaders import TextLoader\nfrom langchain_text_splitters import CharacterTextSplitter\nfrom langchain_community.embeddings import HuggingFaceEmbeddings\nfrom langchain_community.vectorstores import Chroma\nfrom langchain.chains import RetrievalQA\n\n# 1. 加载文档\nloader = TextLoader(\".\u002Fdata.txt\", encoding=\"utf-8\")\ndocuments = loader.load()\n\n# 2. 分割文本 (Chunking)\ntext_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)\ntexts = text_splitter.split_documents(documents)\n\n# 3. 初始化嵌入模型 (使用开源模型，无需 API Key)\n# 首次运行会自动下载模型，国内网络较慢建议配置 HF_ENDPOINT\nos.environ[\"HF_ENDPOINT\"] = \"https:\u002F\u002Fhf-mirror.com\" \nembeddings = HuggingFaceEmbeddings(model_name=\"sentence-transformers\u002Fparaphrase-multilingual-MiniLM-L12-v2\")\n\n# 4. 创建向量数据库\ndb = Chroma.from_documents(texts, embeddings)\n\n# 5. 构建检索问答链 (此处使用模拟的 LLM，实际使用请替换为真实的 LLM 实例)\n# 注意：生产环境建议接入 OpenAI, ZhipuAI, 或本地 Ollama\nfrom langchain_community.llms import FakeListLLM \nllm = FakeListLLM(responses=[\"这是基于检索到的内容生成的回答示例。\"])\n\nqa_chain = RetrievalQA.from_chain_type(\n    llm=llm,\n    retriever=db.as_retriever()\n)\n\n# 6. 执行查询\nquery = \"文档里主要讲了什么？\"\nresult = qa_chain.run(query)\n\nprint(f\"用户问题: {query}\")\nprint(f\"AI 回答: {result}\")\n```\n\n#### 3. 运行应用\n```bash\npython main.py\n```\n\n### 进阶：使用可视化工具 (无代码方案)\n如果你不想编写代码，可以使用工具集中的 **Langflow** 或 **Flowise** 进行拖拽式开发。\n\n**启动 Langflow (可视化编排):**\n```bash\npip install langflow\nlangflow run\n```\n*启动后访问 http:\u002F\u002F127.0.0.1:7860 即可在浏览器中通过拖拽组件构建 LLM 工作流。*\n\n**启动 Flowise (低代码平台):**\n```bash\nnpm install -g flowise\nnpx flowise start\n```\n*启动后访问 http:\u002F\u002Flocalhost:3000 即可使用。*","某初创团队正紧急开发一款面向法律行业的智能合同审查助手，需要快速构建包含文档解析、向量检索及工作流编排的生产级系统。\n\n### 没有 ai-engineering-toolkit 时\n- **选型迷茫耗时**：工程师在 GitHub 大海捞针，花费数周对比各类向量数据库和编排框架，难以判断哪些工具适合生产环境。\n- **组件集成困难**：手动拼凑 LangChain、Chroma 和 PDF 解析库时，因版本兼容性和接口差异导致大量调试时间浪费在“胶水代码”上。\n- **缺乏最佳实践**：由于缺少经过验证的参考实现，团队在 RAG 检索精度优化和 LLM 安全防御上反复试错，上线初期频繁出现幻觉和漏洞。\n- **评估体系缺失**：不知道如何引入专业的评估工具，只能靠人工主观判断回答质量，无法量化模型迭代效果。\n\n### 使用 ai-engineering-toolkit 后\n- **精准快速选型**：直接查阅分类清晰的清单，迅速锁定 Qdrant 作为向量引擎、LangChain 作为编排核心，将技术调研周期从数周缩短至两天。\n- **架构稳健落地**：依据工具集中推荐的“战斗测试”组合与模板，一次性打通数据清洗到推理的全链路，避免了常见的集成陷阱。\n- **内置安全与优化**：直接采纳列表中集成的 LLM 安全防护库和 DSPy 优化框架，显著提升了合同条款提取的准确率并阻断了恶意注入。\n- **科学量化评估**：引入 Promptflow 等专用评估工具，建立了自动化的测试流水线，确保每次模型更新都有明确的质量数据支撑。\n\nai-engineering-toolkit 通过提供经过验证的工具地图和最佳实践，帮助团队将原本充满不确定性的探索过程转化为高效、可控的工程交付。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSumanth077_ai-engineering-toolkit_20ad8224.jpg","Sumanth077","Sumanth","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FSumanth077_7e6a9f3a.png","Machine Learning Engineer | Developer Advocate | ML Educator and YouTuber",null,"India","Sumanth_077","https:\u002F\u002Flinktr.ee\u002Fsumanth_07","https:\u002F\u002Fgithub.com\u002FSumanth077",3018,556,"2026-04-02T13:30:20","MIT",1,"","未说明",{"notes":93,"python":91,"dependencies":94},"该仓库并非单一可运行的软件工具，而是一个包含 100+ 个 AI 工程相关库、框架和模板的精选列表（Curated List）。列表中各项工具（如 LangChain, Chroma, vLLM 等）拥有各自独立的运行环境、依赖库及硬件需求。用户需根据具体选用的子工具查阅其对应的官方文档以获取详细的系统要求。",[],[26,13,51,15],"2026-03-27T02:49:30.150509","2026-04-06T08:45:23.527028",[],[]]