[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-KalyanKS-NLP--llm-engineer-toolkit":3,"tool-KalyanKS-NLP--llm-engineer-toolkit":65},[4,17,27,35,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",155373,2,"2026-04-14T11:34:08",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,43,46],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":54,"last_commit_at":63,"category_tags":64,"status":16},6590,"gpt4all","nomic-ai\u002Fgpt4all","GPT4All 是一款让普通电脑也能轻松运行大型语言模型（LLM）的开源工具。它的核心目标是打破算力壁垒，让用户无需依赖昂贵的显卡（GPU）或云端 API，即可在普通的笔记本电脑和台式机上私密、离线地部署和使用大模型。\n\n对于担心数据隐私、希望完全掌控本地数据的企业用户、研究人员以及技术爱好者来说，GPT4All 提供了理想的解决方案。它解决了传统大模型必须联网调用或需要高端硬件才能运行的痛点，让日常设备也能成为强大的 AI 助手。无论是希望构建本地知识库的开发者，还是单纯想体验私有化 AI 聊天的普通用户，都能从中受益。\n\n技术上，GPT4All 基于高效的 `llama.cpp` 后端，支持多种主流模型架构（包括最新的 DeepSeek R1 蒸馏模型），并采用 GGUF 格式优化推理速度。它不仅提供界面友好的桌面客户端，支持 Windows、macOS 和 Linux 等多平台一键安装，还为开发者提供了便捷的 Python 库，可轻松集成到 LangChain 等生态中。通过简单的下载和配置，用户即可立即开始探索本地大模型的无限可能。",77307,"2026-04-11T06:52:37",[15,13],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":81,"owner_website":80,"owner_url":82,"languages":80,"stars":83,"forks":84,"last_commit_at":85,"license":86,"difficulty_score":54,"env_os":87,"env_gpu":88,"env_ram":88,"env_deps":89,"category_tags":92,"github_topics":93,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":99,"updated_at":100,"faqs":101,"releases":102},7492,"KalyanKS-NLP\u002Fllm-engineer-toolkit","llm-engineer-toolkit","A curated list of 120+ LLM libraries category wise. ","llm-engineer-toolkit 是一份精心整理的开源资源清单，汇聚了 120 多个大语言模型（LLM）相关库，并按功能类别进行了系统化分类。面对当前 AI 生态中工具繁多、选型困难的现状，它帮助开发者快速定位所需技术组件，覆盖从模型训练微调、推理服务、RAG 构建、智能体开发，到评估监控、提示工程及安全防御等全流程环节。\n\n这份清单特别适合 LLM 应用开发者、AI 研究人员以及希望深入理解大模型技术栈的工程人员使用。无论是初学者寻找入门工具，还是资深工程师对比不同方案的性能差异，都能从中获得清晰指引。其独特亮点在于不仅列出工具名称和链接，还按实际工作流划分章节，如“训练与微调”、“数据提取”、“结构化输出”等，极大提升了查阅效率。此外，项目作者还关联了面试题库、提示工程技术集和综述论文合集等衍生资源，形成了一套完整的学习与实战支持体系。通过 llm-engineer-toolkit，用户可以少走弯路，更高效地构建和优化自己的大模型应用。","# 👨🏻‍💻 LLM Engineer Toolkit \nThis repository contains a curated list of 120+ LLM libraries category wise.\n\u003Cp align=\"center\">\n \u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fkalyanksnlp\u002F\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKalyanKS-NLP_llm-engineer-toolkit_readme_e4c42d093d16.png\" alt=\"LinkedIn\">\n \u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fx.com\u002Fkalyan_kpl\">\n \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FKalyan%20KS-%23000000.svg?logo=X&logoColor=white\" alt=\"Twitter\">\n \u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002F@kalyanksnlp\">\n \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FKalyan%20KS-%23FF0000.svg?logo=YouTube&logoColor=white\" alt=\"Twitter\">\n \u003C\u002Fa>\n\t\n\u003C\u002Fp>\n\n## AI Research Workflow (Webinar)\n\nIn this webinar, you will learn how to do AI research step-by-step. [Register](https:\u002F\u002Ftopmate.io\u002Fkalyan_ksnlp\u002F2033856)\n\nThis webinar covers the different phases in AI Research workflow\n\n- Learning Research Pre-Requisites\n- Research Problem Selection\n- Research Gaps Identification\n- Research Idea Formulation\n- Research Idea Implementation\n- Conference \u002F Journal Selection\n- Research Paper Writing\n\n## Related Repositories\n- 👨🏻‍💻[LLM Interview Questions and Answers Hub](https:\u002F\u002Fgithub.com\u002FKalyanKS-NLP\u002FLLM-Interview-Questions-and-Answers-Hub) - 100+ LLM interview questions and answers (basic to advanced). \n- 🚀[Prompt Engineering Techniques Hub](https:\u002F\u002Fgithub.com\u002FKalyanKS-NLP\u002FPrompt-Engineering-Techniques-Hub) - 25+ prompt engineering techniques with LangChain implementations.\n- 🩸[LLM, RAG and Agents Survey Papers Collection](https:\u002F\u002Fgithub.com\u002FKalyanKS-NLP\u002FLLM-Survey-Papers-Collection) - Category wise collection of 200+ survey papers.\n\n\n## Stay Updated with Generative AI, LLMs, Agents and RAG.\n\nJoin 🚀 [**AIxFunda** free newsletter](https:\u002F\u002Faixfunda.substack.com\u002F) to get *latest updates* and *interesting tutorials* related to Generative AI, LLMs, Agents and RAG. \n- ✨ Weekly GenAI updates\n- 📄 Weekly LLM, Agents and RAG paper updates\n- 📝 1 fresh blog post on an interesting topic every week\n\n## Quick links\n||||\n|---|---|---|\n| [🚀 LLM Training](#llm-training-and-fine-tuning) | [🧱 LLM Application Development](#llm-application-development) | [🩸LLM RAG](#llm-rag) | \n| [🟩 LLM Inference](#llm-inference)| [🚧 LLM Serving](#llm-serving) | [📤 LLM Data Extraction](#llm-data-extraction) |\n| [🌠 LLM Data Generation](#llm-data-generation) | [💎 LLM Agents](#llm-agents)|[⚖️ LLM Evaluation](#llm-evaluation) | \n| [🔍 LLM Monitoring](#llm-monitoring) | [📅 LLM Prompts](#llm-prompts) | [📝 LLM Structured Outputs](#llm-structured-outputs) |\n| [🛑 LLM Safety and Security](#llm-safety-and-security) | [💠 LLM Embedding Models](#llm-embedding-models) | [❇️ Others](#others) |\n\n\n\n## LLM Training and Fine-Tuning\n| Library | Description | Link |\n|---------------------|-------------------------------------------------------------------------------------------------|------|\n| unsloth | Fine-tune LLMs faster with less memory. | [Link](https:\u002F\u002Fgithub.com\u002Funslothai\u002Funsloth) |\n| PEFT | State-of-the-art Parameter-Efficient Fine-Tuning library. | [Link](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft) |\n| TRL | Train transformer language models with reinforcement learning. | [Link](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftrl) |\n| Transformers | Transformers provides thousands of pretrained models to perform tasks on different modalities such as text, vision, and audio. | [Link](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) |\n| Axolotl | Tool designed to streamline post-training for various AI models. | [Link](https:\u002F\u002Fgithub.com\u002Faxolotl-ai-cloud\u002Faxolotl\u002F) |\n| LLMBox | A comprehensive library for implementing LLMs, including a unified training pipeline and comprehensive model evaluation. | [Link](https:\u002F\u002Fgithub.com\u002FRUCAIBox\u002FLLMBox) |\n| LitGPT | Train and fine-tune LLM lightning fast. | [Link](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitgpt) |\n| Mergoo | A library for easily merging multiple LLM experts, and efficiently train the merged LLM. | [Link](https:\u002F\u002Fgithub.com\u002FLeeroo-AI\u002Fmergoo) |\n| Llama-Factory | Easy and efficient LLM fine-tuning. | [Link](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory) |\n| Ludwig | Low-code framework for building custom LLMs, neural networks, and other AI models. | [Link](https:\u002F\u002Fgithub.com\u002Fludwig-ai\u002Fludwig) |\n| Txtinstruct | A framework for training instruction-tuned models. | [Link](https:\u002F\u002Fgithub.com\u002Fneuml\u002Ftxtinstruct) |\n| Lamini | An integrated LLM inference and tuning platform. | [Link](https:\u002F\u002Fgithub.com\u002Flamini-ai\u002Flamini) |\n| XTuring | xTuring provides fast, efficient and simple fine-tuning of open-source LLMs, such as Mistral, LLaMA, GPT-J, and more. | [Link](https:\u002F\u002Fgithub.com\u002Fstochasticai\u002FxTuring) |\n| RL4LMs | A modular RL library to fine-tune language models to human preferences. | [Link](https:\u002F\u002Fgithub.com\u002Fallenai\u002FRL4LMs) |\n| DeepSpeed | DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective. | [Link](https:\u002F\u002Fgithub.com\u002Fdeepspeedai\u002FDeepSpeed) |\n| torchtune | A PyTorch-native library specifically designed for fine-tuning LLMs. | [Link](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ftorchtune) |\n| PyTorch Lightning | A library that offers a high-level interface for pretraining and fine-tuning LLMs. | [Link](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Fpytorch-lightning) |\n\n\n## LLM Application Development\n\u003Cp align = \"center\"> \u003Cb> Frameworks \u003C\u002Fb> \u003C\u002Fp>\n\n| Library | Description | Link |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| LangChain | LangChain is a framework for developing applications powered by large language models (LLMs). | [Link](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangchain) |\n| Llama Index | LlamaIndex is a data framework for your LLM applications. | [Link](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fllama_index) |\n| HayStack | Haystack is an end-to-end LLM framework that allows you to build applications powered by LLMs, Transformer models, vector search and more. | [Link](https:\u002F\u002Fgithub.com\u002Fdeepset-ai\u002Fhaystack) |\n| Prompt flow | A suite of development tools designed to streamline the end-to-end development cycle of LLM-based AI applications. | [Link](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fpromptflow) |\n| Griptape | A modular Python framework for building AI-powered applications. | [Link](https:\u002F\u002Fgithub.com\u002Fgriptape-ai\u002Fgriptape) |\n| Weave | Weave is a toolkit for developing Generative AI applications. | [Link](https:\u002F\u002Fgithub.com\u002Fwandb\u002Fweave) |\n| Llama Stack | Build Llama Apps. | [Link](https:\u002F\u002Fgithub.com\u002Fmeta-llama\u002Fllama-stack) |\n\n\n\u003Cp align = \"center\"> \u003Cb> Data Preparation \u003C\u002Fb> \u003C\u002Fp>\n\n| Library | Description | Link |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| Data Prep Kit | Data Prep Kit accelerates unstructured data preparation for LLM app developers. Developers can use Data Prep Kit to cleanse, transform, and enrich use case-specific unstructured data to pre-train LLMs, fine-tune LLMs, instruct-tune LLMs, or build RAG applications. | [Link](https:\u002F\u002Fgithub.com\u002Fdata-prep-kit\u002Fdata-prep-kit) | \n\n\u003Cp align = \"center\"> \u003Cb> Multi API Access \u003C\u002Fb> \u003C\u002Fp>\n\n| Library | Description | Link |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| LiteLLM | Library to call 100+ LLM APIs in OpenAI format. | [Link](https:\u002F\u002Fgithub.com\u002FBerriAI\u002Flitellm) |\n| AI Gateway | A Blazing Fast AI Gateway with integrated Guardrails. Route to 200+ LLMs, 50+ AI Guardrails with 1 fast & friendly API. | [Link](https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fgateway) |\n\n\u003Cp align = \"center\"> \u003Cb> Routers \u003C\u002Fb> \u003C\u002Fp>\n\n| Library | Description | Link |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| RouteLLM | Framework for serving and evaluating LLM routers - save LLM costs without compromising quality. Drop-in replacement for OpenAI's client to route simpler queries to cheaper models. | [Link](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FRouteLLM) |\n\n\n\u003Cp align = \"center\"> \u003Cb> Memory \u003C\u002Fb> \u003C\u002Fp>\n\n| Library | Description | Link |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| mem0 | The Memory layer for your AI apps. | [Link](https:\u002F\u002Fgithub.com\u002Fmem0ai\u002Fmem0) |\n| Memoripy | An AI memory layer with short- and long-term storage, semantic clustering, and optional memory decay for context-aware applications. | [Link](https:\u002F\u002Fgithub.com\u002Fcaspianmoon\u002Fmemoripy) |\n| Letta (MemGPT) | An open-source framework for building stateful LLM applications with advanced reasoning capabilities and transparent long-term memory | [Link](https:\u002F\u002Fgithub.com\u002Fletta-ai\u002Fletta) |\n| Memobase | A user profile-based memory system designed to bring long-term user memory to your Generative AI applications. | [Link](https:\u002F\u002Fgithub.com\u002Fmemodb-io\u002Fmemobase) |\n\n\u003Cp align = \"center\"> \u003Cb> Interface \u003C\u002Fb> \u003C\u002Fp>\n\n| Library | Description | Link |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| Streamlit | A faster way to build and share data apps. Streamlit lets you transform Python scripts into interactive web apps in minutes | [Link](https:\u002F\u002Fgithub.com\u002Fstreamlit\u002Fstreamlit) |\n| Gradio | Build and share delightful machine learning apps, all in Python. | [Link](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio) |\n| AI SDK UI | Build chat and generative user interfaces. | [Link](https:\u002F\u002Fsdk.vercel.ai\u002Fdocs\u002Fintroduction) |\n| AI-Gradio | Create AI apps powered by various AI providers. | [Link](https:\u002F\u002Fgithub.com\u002FAK391\u002Fai-gradio) |\n| Simpleaichat | Python package for easily interfacing with chat apps, with robust features and minimal code complexity. | [Link](https:\u002F\u002Fgithub.com\u002Fminimaxir\u002Fsimpleaichat) |\n| Chainlit | Build production-ready Conversational AI applications in minutes. | [Link](https:\u002F\u002Fgithub.com\u002FChainlit\u002Fchainlit) |\n\n\n\u003Cp align = \"center\"> \u003Cb> Low Code \u003C\u002Fb> \u003C\u002Fp>\n\n| Library | Description | Link |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| LangFlow | LangFlow is a low-code app builder for RAG and multi-agent AI applications. It’s Python-based and agnostic to any model, API, or database. | [Link](https:\u002F\u002Fgithub.com\u002Flangflow-ai\u002Flangflow) |\n\n\u003Cp align = \"center\"> \u003Cb> Cache \u003C\u002Fb> \u003C\u002Fp>\n\n| Library | Description | Link |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| GPTCache | A Library for Creating Semantic Cache for LLM Queries. Slash Your LLM API Costs by 10x 💰, Boost Speed by 100x. Fully integrated with LangChain and LlamaIndex. | [Link](https:\u002F\u002Fgithub.com\u002Fzilliztech\u002Fgptcache) |\n\n\n## LLM RAG\n\n| Library | Description | Link |\n|---------------|----------------------------------------------------------------------------------------------------------------|-------|\n| FastGraph RAG | Streamlined and promptable Fast GraphRAG framework designed for interpretable, high-precision, agent-driven retrieval workflows. | [Link](https:\u002F\u002Fgithub.com\u002Fcirclemind-ai\u002Ffast-graphrag) |\n| Chonkie | RAG chunking library that is lightweight, lightning-fast, and easy to use. | [Link](https:\u002F\u002Fgithub.com\u002Fchonkie-ai\u002Fchonkie) |\n| RAGChecker | A Fine-grained Framework For Diagnosing RAG. | [Link](https:\u002F\u002Fgithub.com\u002Famazon-science\u002FRAGChecker) |\n| RAG to Riches | Build, scale, and deploy state-of-the-art Retrieval-Augmented Generation applications. | [Link](https:\u002F\u002Fgithub.com\u002FSciPhi-AI\u002FR2R) |\n| BeyondLLM | Beyond LLM offers an all-in-one toolkit for experimentation, evaluation, and deployment of Retrieval-Augmented Generation (RAG) systems. | [Link](https:\u002F\u002Fgithub.com\u002Faiplanethub\u002Fbeyondllm) |\n| SQLite-Vec | A vector search SQLite extension that runs anywhere! | [Link](https:\u002F\u002Fgithub.com\u002Fasg017\u002Fsqlite-vec) |\n| fastRAG | fastRAG is a research framework for efficient and optimized retrieval-augmented generative pipelines, incorporating state-of-the-art LLMs and Information Retrieval. | [Link](https:\u002F\u002Fgithub.com\u002FIntelLabs\u002FfastRAG) |\n| FlashRAG | A Python Toolkit for Efficient RAG Research. | [Link](https:\u002F\u002Fgithub.com\u002FRUC-NLPIR\u002FFlashRAG) |\n| Llmware | Unified framework for building enterprise RAG pipelines with small, specialized models. | [Link](https:\u002F\u002Fgithub.com\u002Fllmware-ai\u002Fllmware) |\n| Rerankers | A lightweight unified API for various reranking models. | [Link](https:\u002F\u002Fgithub.com\u002FAnswerDotAI\u002Frerankers) |\n| Vectara | Build Agentic RAG applications. | [Link](https:\u002F\u002Fvectara.github.io\u002Fpy-vectara-agentic\u002Flatest\u002F) |\n\n\n## LLM Inference\n\n| Library | Description | Link |\n|---------------|------------------------------------------------------------------------------------------------------|-------|\n| llama.cpp | LLM inference in C\u002FC++. | [Link](https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp) | \n| Ollama | Local LLM inference. | [Link](https:\u002F\u002Fgithub.com\u002Follama\u002Follama) | \n| vLLM | High-throughput and memory-efficient inference and serving engine for LLMs. | [Link](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) |\n| TensorRT-LLM | TensorRT-LLM is a library for optimizing Large Language Model (LLM) inference. | [Link](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM) |\n| WebLLM | High-performance In-browser LLM Inference Engine. | [Link](https:\u002F\u002Fgithub.com\u002Fmlc-ai\u002Fweb-llm) |\n| LLM Compressor | Transformers-compatible library for applying various compression algorithms to LLMs for optimized deployment. | [Link](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fllm-compressor) |\n| LightLLM | Python-based LLM inference and serving framework, notable for its lightweight design, easy scalability, and high-speed performance. | [Link](https:\u002F\u002Fgithub.com\u002FModelTC\u002Flightllm) |\n| torchchat | Run PyTorch LLMs locally on servers, desktop, and mobile. | [Link](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ftorchchat) |\n\n\n## LLM Serving\n\n| Library | Description | Link |\n|-----------|--------------------------------------------------------------------------|-------|\n| Langcorn | Serving LangChain LLM apps and agents automagically with FastAPI. | [Link](https:\u002F\u002Fgithub.com\u002Fmsoedov\u002Flangcorn) |\n| LitServe | Lightning-fast serving engine for any AI model of any size. It augments FastAPI with features like batching, streaming, and GPU autoscaling. | [Link](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002FLitServe) |\n\n\n## LLM Data Extraction\n\n| Library | Description | Link |\n|----------------|---------------------------------------------------------------------------------------------------------------------------------------|-------|\n| Crawl4AI | Open-source LLM Friendly Web Crawler & Scraper. | [Link](https:\u002F\u002Fgithub.com\u002Funclecode\u002Fcrawl4ai) |\n| ScrapeGraphAI | A web scraping Python library that uses LLM and direct graph logic to create scraping pipelines for websites and local documents (XML, HTML, JSON, Markdown, etc.). | [Link](https:\u002F\u002Fgithub.com\u002FScrapeGraphAI\u002FScrapegraph-ai) |\n| Docling | Docling parses documents and exports them to the desired format with ease and speed. | [Link](https:\u002F\u002Fgithub.com\u002FDS4SD\u002Fdocling) |\n| Llama Parse | GenAI-native document parser that can parse complex document data for any downstream LLM use case (RAG, agents). | [Link](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fllama_cloud_services) |\n| PyMuPDF4LLM | PyMuPDF4LLM library makes it easier to extract PDF content in the format you need for LLM & RAG environments. | [Link](https:\u002F\u002Fpymupdf.readthedocs.io\u002Fen\u002Flatest\u002Fpymupdf4llm\u002F) |\n| Crawlee | A web scraping and browser automation library. | [Link](https:\u002F\u002Fgithub.com\u002Fapify\u002Fcrawlee-python) |\n| MegaParse | Parser for every type of document. | [Link](https:\u002F\u002Fgithub.com\u002Fquivrhq\u002Fmegaparse) |\n| ExtractThinker | Document Intelligence library for LLMs. | [Link](https:\u002F\u002Fgithub.com\u002Fenoch3712\u002FExtractThinker) |\n\n\n## LLM Data Generation\n\n| Library | Description | Link |\n|--------------|--------------------------------------------------------------------------------------------------|-------|\n| DataDreamer | DataDreamer is a powerful open-source Python library for prompting, synthetic data generation, and training workflows. | [Link](https:\u002F\u002Fgithub.com\u002Fdatadreamer-dev\u002FDataDreamer) |\n| fabricator | A flexible open-source framework to generate datasets with large language models. | [Link](https:\u002F\u002Fgithub.com\u002FflairNLP\u002Ffabricator) |\n| Promptwright | Synthetic Dataset Generation Library. | [Link](https:\u002F\u002Fgithub.com\u002Fstacklok\u002Fpromptwright) |\n| EasyInstruct | An Easy-to-use Instruction Processing Framework for Large Language Models. | [Link](https:\u002F\u002Fgithub.com\u002Fzjunlp\u002FEasyInstruct) |\n\n\n## LLM Agents\n\n| Library | Description | Link |\n|----------------|---------------------------------------------------------------------------------------------------------|-------|\n| CrewAI | Framework for orchestrating role-playing, autonomous AI agents. | [Link](https:\u002F\u002Fgithub.com\u002FcrewAIInc\u002FcrewAI) |\n| LangGraph | Build resilient language agents as graphs. | [Link](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flanggraph) |\n| Agno | Build AI Agents with memory, knowledge, tools, and reasoning. Chat with them using a beautiful Agent UI. | [Link](https:\u002F\u002Fgithub.com\u002Fagno-agi\u002Fagno) |\n| Agents SDK | Build agentic apps using LLMs with context, tools, hand off to other specialized agents. | [Link](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fguides\u002Fagents-sdk) |\n| AutoGen | An open-source framework for building AI agent systems. | [Link](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fautogen) |\n| Smolagents | Library to build powerful agents in a few lines of code. | [Link](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fsmolagents) |\n| Pydantic AI | Python agent framework to build production grade applications with Generative AI. | [Link](https:\u002F\u002Fai.pydantic.dev\u002F) |\n| CAMEL | Open-source multi-agent framework with various toolkits and use-cases available. | [Link](https:\u002F\u002Fgithub.com\u002Fcamel-ai\u002Fcamel) |\n| BeeAI | Build production-ready multi-agent systems in Python. | [Link](https:\u002F\u002Fgithub.com\u002Fi-am-bee\u002Fbeeai-framework\u002Ftree\u002Fmain\u002Fpython) | \n| gradio-tools | A Python library for converting Gradio apps into tools that can be leveraged by an LLM-based agent to complete its task. | [Link](https:\u002F\u002Fgithub.com\u002Ffreddyaboulton\u002Fgradio-tools) |\n| Composio | Production Ready Toolset for AI Agents. | [Link](https:\u002F\u002Fgithub.com\u002FComposioHQ\u002Fcomposio) |\n| Atomic Agents | Building AI agents, atomically. | [Link](https:\u002F\u002Fgithub.com\u002FBrainBlend-AI\u002Fatomic-agents) |\n| Memary | Open Source Memory Layer For Autonomous Agents. | [Link](https:\u002F\u002Fgithub.com\u002Fkingjulio8238\u002FMemary) |\n| Browser Use | Make websites accessible for AI agents. | [Link](https:\u002F\u002Fgithub.com\u002Fbrowser-use\u002Fbrowser-use) |\n| OpenWebAgent | An Open Toolkit to Enable Web Agents on Large Language Models. | [Link](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FOpenWebAgent\u002F) |\n| Lagent | A lightweight framework for building LLM-based agents. | [Link](https:\u002F\u002Fgithub.com\u002FInternLM\u002Flagent) |\n| LazyLLM | A Low-code Development Tool For Building Multi-agent LLMs Applications. | [Link](https:\u002F\u002Fgithub.com\u002FLazyAGI\u002FLazyLLM) |\n| Swarms | The Enterprise-Grade Production-Ready Multi-Agent Orchestration Framework. | [Link](https:\u002F\u002Fgithub.com\u002Fkyegomez\u002Fswarms) |\n| ChatArena | ChatArena is a library that provides multi-agent language game environments and facilitates research about autonomous LLM agents and their social interactions. | [Link](https:\u002F\u002Fgithub.com\u002FFarama-Foundation\u002Fchatarena) |\n| Swarm | Educational framework exploring ergonomic, lightweight multi-agent orchestration. | [Link](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fswarm) |\n| AgentStack | The fastest way to build robust AI agents. | [Link](https:\u002F\u002Fgithub.com\u002FAgentOps-AI\u002FAgentStack) |\n| Archgw | Intelligent gateway for Agents. | [Link](https:\u002F\u002Fgithub.com\u002Fkatanemo\u002Farchgw) |\n| Flow | A lightweight task engine for building AI agents. | [Link](https:\u002F\u002Fgithub.com\u002Flmnr-ai\u002Fflow) |\n| AgentOps | Python SDK for AI agent monitoring. | [Link](https:\u002F\u002Fgithub.com\u002FAgentOps-AI\u002Fagentops) |\n| Langroid | Multi-Agent framework. | [Link](https:\u002F\u002Fgithub.com\u002Flangroid\u002Flangroid) |\n| Agentarium | Framework for creating and managing simulations populated with AI-powered agents. | [Link](https:\u002F\u002Fgithub.com\u002FThytu\u002FAgentarium) |\n| Upsonic | Reliable AI agent framework that supports MCP. | [Link](https:\u002F\u002Fgithub.com\u002Fupsonic\u002Fupsonic) |\n\n\n## LLM Evaluation\n\n| Library | Description | Link |\n|------------|-----------------------------------------------------------------------------------------------------------------|-------|\n| Ragas | Ragas is your ultimate toolkit for evaluating and optimizing Large Language Model (LLM) applications. | [Link](https:\u002F\u002Fgithub.com\u002Fexplodinggradients\u002Fragas) |\n| Giskard | Open-Source Evaluation & Testing for ML & LLM systems. | [Link](https:\u002F\u002Fgithub.com\u002FGiskard-AI\u002Fgiskard) |\n| DeepEval | LLM Evaluation Framework | [Link](https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepeval) |\n| Lighteval | All-in-one toolkit for evaluating LLMs. | [Link](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Flighteval) |\n| Trulens | Evaluation and Tracking for LLM Experiments | [Link](https:\u002F\u002Fgithub.com\u002Ftruera\u002Ftrulens) | \n| PromptBench | A unified evaluation framework for large language models. | [Link](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fpromptbench) |\n| LangTest | Deliver Safe & Effective Language Models. 60+ Test Types for Comparing LLM & NLP Models on Accuracy, Bias, Fairness, Robustness & More. | [Link](https:\u002F\u002Fgithub.com\u002FJohnSnowLabs\u002Flangtest) |\n| EvalPlus | A rigorous evaluation framework for LLM4Code. | [Link](https:\u002F\u002Fgithub.com\u002Fevalplus\u002Fevalplus) |\n| FastChat | An open platform for training, serving, and evaluating large language model-based chatbots. | [Link](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat) |\n| judges | A small library of LLM judges. | [Link](https:\u002F\u002Fgithub.com\u002Fquotient-ai\u002Fjudges) |\n| Evals | Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks. | [Link](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals) |\n| AgentEvals | Evaluators and utilities for evaluating the performance of your agents. | [Link](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Fagentevals) |\n| LLMBox | A comprehensive library for implementing LLMs, including a unified training pipeline and comprehensive model evaluation. | [Link](https:\u002F\u002Fgithub.com\u002FRUCAIBox\u002FLLMBox) |\n| Opik | An open-source end-to-end LLM Development Platform which also includes LLM evaluation. | [Link](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik) |\n| PydanticAI Evals | A powerful evaluation framework designed to help you systematically evaluate the performance of LLM applications. | [Link](https:\u002F\u002Fai.pydantic.dev\u002Fevals\u002F) |\n| UQLM | A Python package for generation-time, zero-resource LLM hallucination using state-of-the-art uncertainty quantification techniques. | [Link](https:\u002F\u002Fgithub.com\u002Fcvs-health\u002Fuqlm) |\n\n\n\n## LLM Monitoring\n\n| Library | Description | Link |\n|----------------------|-------------------------------------------------------------------------------------------------|-------|\n| MLflow | An open-source end-to-end MLOps\u002FLLMOps Platform for tracking, evaluating, and monitoring LLM applications. | [Link](https:\u002F\u002Fgithub.com\u002Fmlflow\u002Fmlflow) |\n| Opik | An open-source end-to-end LLM Development Platform which also includes LLM monitoring. | [Link](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik) |\n| LangSmith | Provides tools for logging, monitoring, and improving your LLM applications. | [Link](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangsmith-sdk) |\n| Weights & Biases (W&B) | W&B provides features for tracking LLM performance. | [Link](https:\u002F\u002Fgithub.com\u002Fwandb) |\n| Helicone | Open source LLM-Observability Platform for Developers. One-line integration for monitoring, metrics, evals, agent tracing, prompt management, playground, etc. | [Link](https:\u002F\u002Fgithub.com\u002FHelicone\u002Fhelicone) |\n| Evidently | An open-source ML and LLM observability framework. | [Link](https:\u002F\u002Fgithub.com\u002Fevidentlyai\u002Fevidently) |\n| Phoenix | An open-source AI observability platform designed for experimentation, evaluation, and troubleshooting. | [Link](https:\u002F\u002Fgithub.com\u002FArize-ai\u002Fphoenix) |\n| Observers | A Lightweight Library for AI Observability. | [Link](https:\u002F\u002Fgithub.com\u002Fcfahlgren1\u002Fobservers) |\n\n\n## LLM Prompts\n\n| Library | Description | Link |\n|---------------------|----------------------------------------------------------------------------------------------------------------|-------|\n| PCToolkit | A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models. | [Link](https:\u002F\u002Fgithub.com\u002F3DAgentWorld\u002FToolkit-for-Prompt-Compression) |\n| Selective Context | Selective Context compresses your prompt and context to allow LLMs (such as ChatGPT) to process 2x more content. | [Link](https:\u002F\u002Fpypi.org\u002Fproject\u002Fselective-context\u002F) |\n| LLMLingua | Library for compressing prompts to accelerate LLM inference. | [Link](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLLMLingua) |\n| betterprompt | Test suite for LLM prompts before pushing them to production. | [Link](https:\u002F\u002Fgithub.com\u002Fstjordanis\u002Fbetterprompt) |\n| Promptify | Solve NLP Problems with LLMs & easily generate different NLP Task prompts for popular generative models like GPT, PaLM, and more with Promptify. | [Link](https:\u002F\u002Fgithub.com\u002Fpromptslab\u002FPromptify) |\n| PromptSource | PromptSource is a toolkit for creating, sharing, and using natural language prompts. | [Link](https:\u002F\u002Fpypi.org\u002Fproject\u002Fpromptsource\u002F) |\n| DSPy | DSPy is the open-source framework for programming—rather than prompting—language models. | [Link](https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy) |\n| Py-priompt | Prompt design library. | [Link](https:\u002F\u002Fgithub.com\u002Fzenbase-ai\u002Fpy-priompt) |\n| Promptimizer | Prompt optimization library. | [Link](https:\u002F\u002Fgithub.com\u002Fhinthornw\u002Fpromptimizer) |\n\n\n## LLM Structured Outputs\n| Library |\tDescription |\tLink |\n|------------|--------------------------------------------------------|------|\n|Instructor |\tPython library for working with structured outputs from large language models (LLMs). Built on top of Pydantic, it provides a simple, transparent, and user-friendly API. | [Link](https:\u002F\u002Fgithub.com\u002Finstructor-ai\u002Finstructor) |\n| XGrammar | An open-source library for efficient, flexible, and portable structured generation. | [Link](https:\u002F\u002Fgithub.com\u002Fmlc-ai\u002Fxgrammar) |\n| Outlines | Robust (structured) text generation | [Link](https:\u002F\u002Fgithub.com\u002Fdottxt-ai\u002Foutlines) |\n| Guidance | Guidance is an efficient programming paradigm for steering language models. | [Link](https:\u002F\u002Fgithub.com\u002Fguidance-ai\u002Fguidance) |\n| LMQL | A language for constraint-guided and efficient LLM programming. | [Link](https:\u002F\u002Fgithub.com\u002Feth-sri\u002Flmql) |\n| Jsonformer | A Bulletproof Way to Generate Structured JSON from Language Models. | [Link](https:\u002F\u002Fgithub.com\u002F1rgs\u002Fjsonformer) |\n\n\n## LLM Safety and Security\n| Library | Description | Link |\n|---------------|-----------------------------------------------------------|------|\n| JailbreakEval | A collection of automated evaluators for assessing jailbreak attempts. | [Link](https:\u002F\u002Fgithub.com\u002FThuCCSLab\u002FJailbreakEval) |\n| EasyJailbreak | An easy-to-use Python framework to generate adversarial jailbreak prompts. | [Link](https:\u002F\u002Fgithub.com\u002FEasyJailbreak\u002FEasyJailbreak) |\n| Guardrails | Adding guardrails to large language models. | [Link](https:\u002F\u002Fgithub.com\u002Fguardrails-ai\u002Fguardrails) |\n| LLM Guard | The Security Toolkit for LLM Interactions. | [Link](https:\u002F\u002Fgithub.com\u002Fprotectai\u002Fllm-guard) |\n| AuditNLG | AuditNLG is an open-source library that can help reduce the risks associated with using generative AI systems for language. | [Link](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FAuditNLG) |\n| NeMo Guardrails | NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems. | [Link](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo-Guardrails) |\n| Garak | LLM vulnerability scanner | [Link](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fgarak) |\n| DeepTeam | The LLM Red Teaming Framework | [Link](https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepteam)|\n\n\n## LLM Embedding Models\n| Library | Description | Link |\n|---------------------------|-----------------------------------------------------|------|\n| Sentence-Transformers | State-of-the-Art Text Embeddings | [Link](https:\u002F\u002Fgithub.com\u002FUKPLab\u002Fsentence-transformers) |\n| Model2Vec | Fast State-of-the-Art Static Embeddings | [Link](https:\u002F\u002Fgithub.com\u002FMinishLab\u002Fmodel2vec) |\n| Text Embedding Inference | A blazing fast inference solution for text embeddings models. TEI enables high-performance extraction for the most popular models, including FlagEmbedding, Ember, GTE and E5. | [Link](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftext-embeddings-inference) |\n\n\n## Others\n| Library | Description | Link |\n|-------------------------|----------------------------------------------------------------------------------------------------------------------------------|------|\n| Text Machina | A modular and extensible Python framework, designed to aid in the creation of high-quality, unbiased datasets to build robust models for MGT-related tasks such as detection, attribution, and boundary detection. | [Link](https:\u002F\u002Fgithub.com\u002FGenaios\u002FTextMachina) |\n| LLM Reasoners | A library for advanced large language model reasoning. | [Link](https:\u002F\u002Fgithub.com\u002Fmaitrix-org\u002Fllm-reasoners) |\n| EasyEdit | An Easy-to-use Knowledge Editing Framework for Large Language Models. | [Link](https:\u002F\u002Fgithub.com\u002Fzjunlp\u002FEasyEdit) |\n| CodeTF | CodeTF: One-stop Transformer Library for State-of-the-art Code LLM. | [Link](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FCodeTF) |\n| spacy-llm | This package integrates Large Language Models (LLMs) into spaCy, featuring a modular system for fast prototyping and prompting, and turning unstructured responses into robust outputs for various NLP tasks. | [Link](https:\u002F\u002Fgithub.com\u002Fexplosion\u002Fspacy-llm) |\n| pandas-ai | Chat with your database (SQL, CSV, pandas, polars, MongoDB, NoSQL, etc.). | [Link](https:\u002F\u002Fgithub.com\u002FSinaptik-AI\u002Fpandas-ai) |\n| LLM Transparency Tool | An open-source interactive toolkit for analyzing internal workings of Transformer-based language models. | [Link](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllm-transparency-tool) |\n| Vanna | Chat with your SQL database. Accurate Text-to-SQL Generation via LLMs using RAG. | [Link](https:\u002F\u002Fgithub.com\u002Fvanna-ai\u002Fvanna) |\n| mergekit | Tools for merging pretrained large language models. | [Link](https:\u002F\u002Fgithub.com\u002Farcee-ai\u002FMergeKit) |\n| MarkLLM | An Open-Source Toolkit for LLM Watermarking. | [Link](https:\u002F\u002Fgithub.com\u002FTHU-BPM\u002FMarkLLM) |\n| LLMSanitize | An open-source library for contamination detection in NLP datasets and Large Language Models (LLMs). | [Link](https:\u002F\u002Fgithub.com\u002Fntunlp\u002FLLMSanitize) |\n| Annotateai | Automatically annotate papers using LLMs. | [Link](https:\u002F\u002Fgithub.com\u002Fneuml\u002Fannotateai) |\n| LLM Reasoner | Make any LLM think like OpenAI o1 and DeepSeek R1. | [Link](https:\u002F\u002Fgithub.com\u002Fharishsg993010\u002FLLM-Reasoner) |\n\n\n## ⭐️ Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKalyanKS-NLP_llm-engineer-toolkit_readme_8cfd8e3c9c53.png)](https:\u002F\u002Fstar-history.com\u002F#)\n\nPlease consider giving a star, if you find this repository useful. \n\n","# 👨🏻‍💻 大语言模型工程师工具包\n本仓库按类别整理了120+个大语言模型相关的库。\n\u003Cp align=\"center\">\n \u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fkalyanksnlp\u002F\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKalyanKS-NLP_llm-engineer-toolkit_readme_e4c42d093d16.png\" alt=\"LinkedIn\">\n \u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fx.com\u002Fkalyan_kpl\">\n \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FKalyan%20KS-%23000000.svg?logo=X&logoColor=white\" alt=\"Twitter\">\n \u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002F@kalyanksnlp\">\n \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FKalyan%20KS-%23FF0000.svg?logo=YouTube&logoColor=white\" alt=\"Twitter\">\n \u003C\u002Fa>\n\t\n\u003C\u002Fp>\n\n## AI研究工作流程（网络研讨会）\n\n在本次网络研讨会上，您将学习如何逐步开展AI研究。[立即报名](https:\u002F\u002Ftopmate.io\u002Fkalyan_ksnlp\u002F2033856)\n\n本次网络研讨会涵盖了AI研究工作流程的各个阶段：\n\n- 学习研究所需的基础知识\n- 确定研究课题\n- 发现研究空白\n- 提出研究思路\n- 实施研究方案\n- 选择会议或期刊投稿\n- 撰写研究论文\n\n## 相关仓库\n- 👨🏻‍💻[LLM面试题与答案集](https:\u002F\u002Fgithub.com\u002FKalyanKS-NLP\u002FLLM-Interview-Questions-and-Answers-Hub) - 100+道从基础到高级的大语言模型面试题及答案。\n- 🚀[提示工程技巧集](https:\u002F\u002Fgithub.com\u002FKalyanKS-NLP\u002FPrompt-Engineering-Techniques-Hub) - 包含LangChain实现的25+种提示工程技巧。\n- 🩸[LLM、RAG和智能体综述论文合集](https:\u002F\u002Fgithub.com\u002FKalyanKS-NLP\u002FLLM-Survey-Papers-Collection) - 按类别整理的200+篇综述论文。\n\n## 关注生成式AI、大语言模型、智能体和RAG最新动态\n\n加入🚀 [**AIxFunda** 免费通讯](https:\u002F\u002Faixfunda.substack.com\u002F)，获取与生成式AI、大语言模型、智能体和RAG相关的*最新资讯*以及*有趣教程*。\n- ✨ 每周生成式AI动态\n- 📄 每周LLM、智能体和RAG论文更新\n- 📝 每周一篇关于有趣主题的新博客文章\n\n## 快速链接\n||||\n|---|---|---|\n| [🚀 LLM训练](#llm-training-and-fine-tuning) | [🧱 LLM应用开发](#llm-application-development) | [🩸LLM RAG](#llm-rag) | \n| [🟩 LLM推理](#llm-inference)| [🚧 LLM服务](#llm-serving) | [📤 LLM数据提取](#llm-data-extraction) |\n| [🌠 LLM数据生成](#llm-data-generation) | [💎 LLM智能体](#llm-agents)|[⚖️ LLM评估](#llm-evaluation) | \n| [🔍 LLM监控](#llm-monitoring) | [📅 LLM提示词](#llm-prompts) | [📝 LLM结构化输出](#llm-structured-outputs) |\n| [🛑 LLM安全与保障](#llm-safety-and-security) | [💠 LLM嵌入模型](#llm-embedding-models) | [❇️ 其他](#others) |\n\n\n\n## LLM训练与微调\n| 库名 | 描述 | 链接 |\n|---------------------|-------------------------------------------------------------------------------------------------|------|\n| unsloth | 用更少的内存更快地微调大语言模型。 | [链接](https:\u002F\u002Fgithub.com\u002Funslothai\u002Funsloth) |\n| PEFT | 业界领先的参数高效微调库。 | [链接](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft) |\n| TRL | 使用强化学习训练Transformer语言模型。 | [链接](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftrl) |\n| Transformers | Transformers提供了数千个预训练模型，可用于处理文本、视觉和音频等多种模态的任务。 | [链接](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) |\n| Axolotl | 旨在简化各类AI模型后训练过程的工具。 | [链接](https:\u002F\u002Fgithub.com\u002Faxolotl-ai-cloud\u002Faxolotl\u002F) |\n| LLMBox | 一个用于实现大语言模型的综合库，包括统一的训练流水线和全面的模型评估。 | [链接](https:\u002F\u002Fgithub.com\u002FRUCAIBox\u002FLLMBox) |\n| LitGPT | 极速训练和微调大语言模型。 | [链接](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitgpt) |\n| Mergoo | 一个可轻松合并多个LLM专家，并高效训练合并后模型的库。 | [链接](https:\u002F\u002Fgithub.com\u002FLeeroo-AI\u002Fmergoo) |\n| Llama-Factory | 轻松高效的LLM微调。 | [链接](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory) |\n| Ludwig | 低代码框架，用于构建自定义LLM、神经网络及其他AI模型。 | [链接](https:\u002F\u002Fgithub.com\u002Fludwig-ai\u002Fludwig) |\n| Txtinstruct | 一个用于训练指令微调模型的框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fneuml\u002Ftxtinstruct) |\n| Lamini | 一个集成的LLM推理与微调平台。 | [链接](https:\u002F\u002Fgithub.com\u002Flamini-ai\u002Flamini) |\n| XTuring | xTuring提供对开源LLM（如Mistral、LLaMA、GPT-J等）进行快速、高效且简单的微调。 | [链接](https:\u002F\u002Fgithub.com\u002Fstochasticai\u002FxTuring) |\n| RL4LMs | 一个模块化的强化学习库，用于根据人类偏好微调语言模型。 | [链接](https:\u002F\u002Fgithub.com\u002Fallenai\u002FRL4LMs) |\n| DeepSpeed | DeepSpeed是一个深度学习优化库，使分布式训练和推理变得简单、高效且有效。 | [链接](https:\u002F\u002Fgithub.com\u002Fdeepspeedai\u002FDeepSpeed) |\n| torchtune | 一个专为微调LLM设计的PyTorch原生库。 | [链接](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ftorchtune) |\n| PyTorch Lightning | 一个提供高层次接口以进行LLM预训练和微调的库。 | [链接](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Fpytorch-lightning) |\n\n\n## LLM应用开发\n\u003Cp align = \"center\"> \u003Cb> 框架 \u003C\u002Fb> \u003C\u002Fp>\n\n| 库名称 | 描述 | 链接 |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| LangChain | LangChain 是一个用于开发由大型语言模型（LLMs）驱动的应用程序的框架。 | [链接](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangchain) |\n| Llama Index | LlamaIndex 是一个专为您的 LLM 应用程序设计的数据框架。 | [链接](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fllama_index) |\n| HayStack | Haystack 是一个端到端的 LLM 框架，允许您构建由 LLM、Transformer 模型、向量搜索等技术驱动的应用程序。 | [链接](https:\u002F\u002Fgithub.com\u002Fdeepset-ai\u002Fhaystack) |\n| Prompt flow | 一套旨在简化基于 LLM 的 AI 应用程序端到端开发流程的开发工具套件。 | [链接](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fpromptflow) |\n| Griptape | 一个用于构建 AI 驱动应用程序的模块化 Python 框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fgriptape-ai\u002Fgriptape) |\n| Weave | Weave 是一个用于开发生成式 AI 应用程序的工具包。 | [链接](https:\u002F\u002Fgithub.com\u002Fwandb\u002Fweave) |\n| Llama Stack | 构建 Llama 应用程序。 | [链接](https:\u002F\u002Fgithub.com\u002Fmeta-llama\u002Fllama-stack) |\n\n\n\u003Cp align = \"center\"> \u003Cb> 数据准备 \u003C\u002Fb> \u003C\u002Fp>\n\n| 库名称 | 描述 | 链接 |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| Data Prep Kit | Data Prep Kit 加速了 LLM 应用开发者对非结构化数据的准备工作。开发者可以使用 Data Prep Kit 清洗、转换和丰富特定于用例的非结构化数据，以用于 LLM 的预训练、微调、指令微调或构建 RAG 应用程序。 | [链接](https:\u002F\u002Fgithub.com\u002Fdata-prep-kit\u002Fdata-prep-kit) | \n\n\u003Cp align = \"center\"> \u003Cb> 多 API 访问 \u003C\u002Fb> \u003C\u002Fp>\n\n| 库名称 | 描述 | 链接 |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| LiteLLM | 一个以 OpenAI 格式调用 100 多个 LLM API 的库。 | [链接](https:\u002F\u002Fgithub.com\u002FBerriAI\u002Flitellm) |\n| AI Gateway | 一个集成护栏的超高速 AI 网关。通过一个快速友好的 API 路由至 200 多个 LLM 和 50 多个 AI 护栏。 | [链接](https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fgateway) |\n\n\u003Cp align = \"center\"> \u003Cb> 路由器 \u003C\u002Fb> \u003C\u002Fp>\n\n| 库名称 | 描述 | 链接 |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| RouteLLM | 一个用于部署和评估 LLM 路由器的框架——在不牺牲质量的前提下节省 LLM 成本。可直接替代 OpenAI 客户端，将较简单的查询路由到更便宜的模型。 | [链接](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FRouteLLM) |\n\n\n\u003Cp align = \"center\"> \u003Cb> 内存 \u003C\u002Fb> \u003C\u002Fp>\n\n| 库名称 | 描述 | 链接 |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| mem0 | 您的 AI 应用程序的内存层。 | [链接](https:\u002F\u002Fgithub.com\u002Fmem0ai\u002Fmem0) |\n| Memoripy | 一个具有短期和长期存储、语义聚类以及可选记忆衰退功能的 AI 内存层，适用于上下文感知的应用程序。 | [链接](https:\u002F\u002Fgithub.com\u002Fcaspianmoon\u002Fmemoripy) |\n| Letta (MemGPT) | 一个开源框架，用于构建具有高级推理能力和透明长期记忆的状态感知 LLM 应用程序 | [链接](https:\u002F\u002Fgithub.com\u002Fletta-ai\u002Fletta) |\n| Memobase | 一个基于用户档案的内存系统，旨在为您的生成式 AI 应用程序引入长期用户记忆。 | [链接](https:\u002F\u002Fgithub.com\u002Fmemodb-io\u002Fmemobase) |\n\n\u003Cp align = \"center\"> \u003Cb> 界面 \u003C\u002Fb> \u003C\u002Fp>\n\n| 库名称 | 描述 | 链接 |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| Streamlit | 一种更快捷的方式来构建和分享数据应用。Streamlit 可让您在几分钟内将 Python 脚本转化为交互式 Web 应用。 | [链接](https:\u002F\u002Fgithub.com\u002Fstreamlit\u002Fstreamlit) |\n| Gradio | 使用纯 Python 构建并分享令人愉悦的机器学习应用。 | [链接](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio) |\n| AI SDK UI | 构建聊天和生成式用户界面。 | [链接](https:\u002F\u002Fsdk.vercel.ai\u002Fdocs\u002Fintroduction) |\n| AI-Gradio | 创建由各种 AI 提供商驱动的 AI 应用程序。 | [链接](https:\u002F\u002Fgithub.com\u002FAK391\u002Fai-gradio) |\n| Simpleaichat | 一个易于与聊天应用对接的 Python 包，具有强大的功能且代码复杂度极低。 | [链接](https:\u002F\u002Fgithub.com\u002Fminimaxir\u002Fsimpleaichat) |\n| Chainlit | 在几分钟内构建可用于生产的对话式 AI 应用程序。 | [链接](https:\u002F\u002Fgithub.com\u002FChainlit\u002Fchainlit) |\n\n\n\u003Cp align = \"center\"> \u003Cb> 低代码 \u003C\u002Fb> \u003C\u002Fp>\n\n| 库名称 | 描述 | 链接 |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| LangFlow | LangFlow 是一个用于构建 RAG 和多智能体 AI 应用程序的低代码应用生成器。它基于 Python，且不依赖于任何特定的模型、API 或数据库。 | [链接](https:\u002F\u002Fgithub.com\u002Flangflow-ai\u002Flangflow) |\n\n\u003Cp align = \"center\"> \u003Cb> 缓存 \u003C\u002Fb> \u003C\u002Fp>\n\n| 库 | 描述 | 链接 |\n|--------------|------------------------------------------------------------------------------------------------------|-------|\n| GPTCache | 用于为大语言模型查询创建语义缓存的库。将您的 LLM API 成本降低 10 倍 💰，速度提升 100 倍。与 LangChain 和 LlamaIndex 完全集成。 | [链接](https:\u002F\u002Fgithub.com\u002Fzilliztech\u002Fgptcache) |\n\n\n\n\n## LLM RAG\n\n| 库 | 描述 | 链接 |\n|---------------|----------------------------------------------------------------------------------------------------------------|-------|\n| FastGraph RAG | 针对可解释、高精度、代理驱动的检索工作流设计的简化且可提示的 Fast GraphRAG 框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fcirclemind-ai\u002Ffast-graphrag) |\n| Chonkie | 轻量级、极速且易于使用的 RAG 分块库。 | [链接](https:\u002F\u002Fgithub.com\u002Fchonkie-ai\u002Fchonkie) |\n| RAGChecker | 用于诊断 RAG 的细粒度框架。 | [链接](https:\u002F\u002Fgithub.com\u002Famazon-science\u002FRAGChecker) |\n| RAG to Riches | 构建、扩展并部署最先进的检索增强生成应用。 | [链接](https:\u002F\u002Fgithub.com\u002FSciPhi-AI\u002FR2R) |\n| BeyondLLM | Beyond LLM 提供了一个用于检索增强生成 (RAG) 系统实验、评估和部署的一体化工具包。 | [链接](https:\u002F\u002Fgithub.com\u002Faiplanethub\u002Fbeyondllm) |\n| SQLite-Vec | 一种可在任何地方运行的向量搜索 SQLite 扩展！ | [链接](https:\u002F\u002Fgithub.com\u002Fasg017\u002Fsqlite-vec) |\n| fastRAG | fastRAG 是一个高效优化的检索增强生成流水线研究框架，集成了最先进的大语言模型和信息检索技术。 | [链接](https:\u002F\u002Fgithub.com\u002FIntelLabs\u002FfastRAG) |\n| FlashRAG | 用于高效 RAG 研究的 Python 工具包。 | [链接](https:\u002F\u002Fgithub.com\u002FRUC-NLPIR\u002FFlashRAG) |\n| Llmware | 使用小型专用模型构建企业级 RAG 流水线的统一框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fllmware-ai\u002Fllmware) |\n| Rerankers | 各种重排序模型的轻量级统一 API。 | [链接](https:\u002F\u002Fgithub.com\u002FAnswerDotAI\u002Frerankers) |\n| Vectara | 构建代理式 RAG 应用程序。 | [链接](https:\u002F\u002Fvectara.github.io\u002Fpy-vectara-agentic\u002Flatest\u002F) |\n\n\n## LLM 推理\n\n| 库 | 描述 | 链接 |\n|---------------|------------------------------------------------------------------------------------------------------|-------|\n| llama.cpp | C\u002FC++ 中的 LLM 推理。 | [链接](https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp) | \n| Ollama | 本地 LLM 推理。 | [链接](https:\u002F\u002Fgithub.com\u002Follama\u002Follama) | \n| vLLM | 高吞吐量、内存高效的 LLM 推理与服务引擎。 | [链接](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) |\n| TensorRT-LLM | TensorRT-LLM 是一个用于优化大型语言模型 (LLM) 推理的库。 | [链接](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM) |\n| WebLLM | 高性能的浏览器内 LLM 推理引擎。 | [链接](https:\u002F\u002Fgithub.com\u002Fmlc-ai\u002Fweb-llm) |\n| LLM Compressor | 兼容 Transformers 的库，可用于将各种压缩算法应用于 LLM，以实现优化部署。 | [链接](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fllm-compressor) |\n| LightLLM | 基于 Python 的 LLM 推理和服务框架，以其轻量级设计、易扩展性和高速性能而著称。 | [链接](https:\u002F\u002Fgithub.com\u002FModelTC\u002Flightllm) |\n| torchchat | 在服务器、桌面和移动设备上本地运行 PyTorch LLM。 | [链接](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ftorchchat) |\n\n\n## LLM 服务\n\n| 库 | 描述 | 链接 |\n|-----------|--------------------------------------------------------------------------|-------|\n| Langcorn | 使用 FastAPI 自动化地部署 LangChain LLM 应用和代理。 | [链接](https:\u002F\u002Fgithub.com\u002Fmsoedov\u002Flangcorn) |\n| LitServe | 适用于任何规模 AI 模型的闪电般快速的服务引擎。它通过批处理、流式传输和 GPU 自动扩展等功能增强了 FastAPI。 | [链接](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002FLitServe) |\n\n## LLM 数据提取\n\n| 库 | 描述 | 链接 |\n|----------------|---------------------------------------------------------------------------------------------------------------------------------------|-------|\n| Crawl4AI | 开源的适合大模型的网络爬虫与数据抓取工具。 | [链接](https:\u002F\u002Fgithub.com\u002Funclecode\u002Fcrawl4ai) |\n| ScrapeGraphAI | 一个基于大模型和直接图逻辑的网页爬取 Python 库，用于为网站和本地文档（XML、HTML、JSON、Markdown 等）构建爬取流水线。 | [链接](https:\u002F\u002Fgithub.com\u002FScrapeGraphAI\u002FScrapegraph-ai) |\n| Docling | Docling 能够轻松快速地解析文档并将其导出为所需格式。 | [链接](https:\u002F\u002Fgithub.com\u002FDS4SD\u002Fdocling) |\n| Llama Parse | 原生支持生成式 AI 的文档解析器，可为任何下游大模型应用场景（RAG、智能体）解析复杂文档数据。 | [链接](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fllama_cloud_services) |\n| PyMuPDF4LLM | PyMuPDF4LLM 库使在 LLM 和 RAG 环境中以所需格式提取 PDF 内容变得更加容易。 | [链接](https:\u002F\u002Fpymupdf.readthedocs.io\u002Fen\u002Flatest\u002Fpymupdf4llm\u002F) |\n| Crawlee | 一个用于网页爬取和浏览器自动化的库。 | [链接](https:\u002F\u002Fgithub.com\u002Fapify\u002Fcrawlee-python) |\n| MegaParse | 适用于各类文档的解析器。 | [链接](https:\u002F\u002Fgithub.com\u002Fquivrhq\u002Fmegaparse) |\n| ExtractThinker | 面向大模型的文档智能库。 | [链接](https:\u002F\u002Fgithub.com\u002Fenoch3712\u002FExtractThinker) |\n\n\n## LLM 数据生成\n\n| 库 | 描述 | 链接 |\n|--------------|--------------------------------------------------------------------------------------------------|-------|\n| DataDreamer | DataDreamer 是一个功能强大的开源 Python 库，用于提示工程、合成数据生成和训练工作流。 | [链接](https:\u002F\u002Fgithub.com\u002Fdatadreamer-dev\u002FDataDreamer) |\n| fabricator | 一个灵活的开源框架，可用于利用大型语言模型生成数据集。 | [链接](https:\u002F\u002Fgithub.com\u002FflairNLP\u002Ffabricator) |\n| Promptwright | 合成数据生成库。 | [链接](https:\u002F\u002Fgithub.com\u002Fstacklok\u002Fpromptwright) |\n| EasyInstruct | 一个易于使用的大型语言模型指令处理框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fzjunlp\u002FEasyInstruct) |\n\n## 大语言模型代理\n\n| 库 | 描述 | 链接 |\n|----------------|---------------------------------------------------------------------------------------------------------|-------|\n| CrewAI | 用于编排角色扮演、自主AI代理的框架。 | [链接](https:\u002F\u002Fgithub.com\u002FcrewAIInc\u002FcrewAI) |\n| LangGraph | 将语言代理构建为图结构，以提高系统的鲁棒性。 | [链接](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flanggraph) |\n| Agno | 构建具有记忆、知识、工具和推理能力的AI代理。可通过美观的代理UI与之对话。 | [链接](https:\u002F\u002Fgithub.com\u002Fagno-agi\u002Fagno) |\n| Agents SDK | 使用上下文、工具以及与其他专业代理协作的能力，基于LLM构建代理型应用。 | [链接](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fguides\u002Fagents-sdk) |\n| AutoGen | 一个用于构建AI代理系统的开源框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fautogen) |\n| Smolagents | 一个只需几行代码就能构建强大代理的库。 | [链接](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fsmolagents) |\n| Pydantic AI | 一个基于Python的代理框架，用于构建生产级别的生成式AI应用。 | [链接](https:\u002F\u002Fai.pydantic.dev\u002F) |\n| CAMEL | 开源的多代理框架，提供多种工具包和应用场景。 | [链接](https:\u002F\u002Fgithub.com\u002Fcamel-ai\u002Fcamel) |\n| BeeAI | 在Python中构建可投入生产的多代理系统。 | [链接](https:\u002F\u002Fgithub.com\u002Fi-am-bee\u002Fbeeai-framework\u002Ftree\u002Fmain\u002Fpython) | \n| gradio-tools | 一个Python库，用于将Gradio应用转换为工具，供基于LLM的代理使用，以完成其任务。 | [链接](https:\u002F\u002Fgithub.com\u002Ffreddyaboulton\u002Fgradio-tools) |\n| Composio | 适用于AI代理的生产就绪工具集。 | [链接](https:\u002F\u002Fgithub.com\u002FComposioHQ\u002Fcomposio) |\n| Atomic Agents | 以原子化方式构建AI代理。 | [链接](https:\u002F\u002Fgithub.com\u002FBrainBlend-AI\u002Fatomic-agents) |\n| Memary | 自主代理的开源记忆层。 | [链接](https:\u002F\u002Fgithub.com\u002Fkingjulio8238\u002FMemary) |\n| Browser Use | 让网站对AI代理可用。 | [链接](https:\u002F\u002Fgithub.com\u002Fbrowser-use\u002Fbrowser-use) |\n| OpenWebAgent | 一个开放的工具包，用于在大型语言模型上启用网络代理。 | [链接](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FOpenWebAgent\u002F) |\n| Lagent | 一个轻量级的框架，用于构建基于LLM的代理。 | [链接](https:\u002F\u002Fgithub.com\u002FInternLM\u002Flagent) |\n| LazyLLM | 一个低代码开发工具，用于构建多代理LLM应用。 | [链接](https:\u002F\u002Fgithub.com\u002FLazyAGI\u002FLazyLLM) |\n| Swarms | 企业级、生产就绪的多代理编排框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fkyegomez\u002Fswarms) |\n| ChatArena | ChatArena是一个提供多代理语言游戏环境的库，促进了关于自主LLM代理及其社会互动的研究。 | [链接](https:\u002F\u002Fgithub.com\u002FFarama-Foundation\u002Fchatarena) |\n| Swarm | 一个探索符合人体工学、轻量级多代理编排的教育框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fswarm) |\n| AgentStack | 构建健壮AI代理的最快方式。 | [链接](https:\u002F\u002Fgithub.com\u002FAgentOps-AI\u002FAgentStack) |\n| Archgw | 代理的智能网关。 | [链接](https:\u002F\u002Fgithub.com\u002Fkatanemo\u002Farchgw) |\n| Flow | 一个轻量级的任务引擎，用于构建AI代理。 | [链接](https:\u002F\u002Fgithub.com\u002Flmnr-ai\u002Fflow) |\n| AgentOps | 用于AI代理监控的Python SDK。 | [链接](https:\u002F\u002Fgithub.com\u002FAgentOps-AI\u002Fagentops) |\n| Langroid | 多代理框架。 | [链接](https:\u002F\u002Fgithub.com\u002Flangroid\u002Flangroid) |\n| Agentarium | 一个用于创建和管理由AI驱动的代理组成的模拟环境的框架。 | [链接](https:\u002F\u002Fgithub.com\u002FThytu\u002FAgentarium) |\n| Upsonic | 一个可靠的AI代理框架，支持MCP。 | [链接](https:\u002F\u002Fgithub.com\u002Fupsonic\u002Fupsonic) |\n\n## LLM 评估\n\n| 库名称 | 描述 | 链接 |\n|------------|-----------------------------------------------------------------------------------------------------------------|-------|\n| Ragas | Ragas 是您评估和优化大型语言模型（LLM）应用的终极工具包。 | [链接](https:\u002F\u002Fgithub.com\u002Fexplodinggradients\u002Fragas) |\n| Giskard | 面向机器学习和 LLM 系统的开源评估与测试工具。 | [链接](https:\u002F\u002Fgithub.com\u002FGiskard-AI\u002Fgiskard) |\n| DeepEval | LLM 评估框架 | [链接](https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepeval) |\n| Lighteval | 用于评估 LLM 的一体化工具包。 | [链接](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Flighteval) |\n| Trulens | LLM 实验的评估与跟踪 | [链接](https:\u002F\u002Fgithub.com\u002Ftruera\u002Ftrulens) | \n| PromptBench | 大型语言模型的统一评估框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fpromptbench) |\n| LangTest | 提供安全有效的语言模型。60 多种测试类型，用于比较 LLM 和 NLP 模型在准确性、偏见、公平性、鲁棒性等方面的性能。 | [链接](https:\u002F\u002Fgithub.com\u002FJohnSnowLabs\u002Flangtest) |\n| EvalPlus | 针对 LLM4Code 的严格评估框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fevalplus\u002Fevalplus) |\n| FastChat | 一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。 | [链接](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat) |\n| judges | 一个小型的 LLM 评判库。 | [链接](https:\u002F\u002Fgithub.com\u002Fquotient-ai\u002Fjudges) |\n| Evals | Evals 是一个用于评估 LLM 及其系统的框架，同时也是一个基准测试的开源注册表。 | [链接](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals) |\n| AgentEvals | 用于评估您的智能体性能的评估工具和实用程序。 | [链接](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Fagentevals) |\n| LLMBox | 一个全面的库，用于实现 LLM，包括统一的训练流水线和全面的模型评估。 | [链接](https:\u002F\u002Fgithub.com\u002FRUCAIBox\u002FLLMBox) |\n| Opik | 一个开源的端到端 LLM 开发平台，同时也包含 LLM 评估功能。 | [链接](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik) |\n| PydanticAI Evals | 一个强大的评估框架，旨在帮助您系统地评估 LLM 应用的性能。 | [链接](https:\u002F\u002Fai.pydantic.dev\u002Fevals\u002F) |\n| UQLM | 一个 Python 包，利用最先进的不确定性量化技术，在生成时检测 LLM 幻觉，且无需额外资源。 | [链接](https:\u002F\u002Fgithub.com\u002Fcvs-health\u002Fuqlm) |\n\n\n\n## LLM 监控\n\n| 库名称 | 描述 | 链接 |\n|----------------------|-------------------------------------------------------------------------------------------------|-------|\n| MLflow | 一个开源的端到端 MLOps\u002FLLMOps 平台，用于跟踪、评估和监控 LLM 应用。 | [链接](https:\u002F\u002Fgithub.com\u002Fmlflow\u002Fmlflow) |\n| Opik | 一个开源的端到端 LLM 开发平台，同时也包含 LLM 监控功能。 | [链接](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik) |\n| LangSmith | 提供用于记录、监控和改进您的 LLM 应用的工具。 | [链接](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangsmith-sdk) |\n| Weights & Biases (W&B) | W&B 提供用于跟踪 LLM 性能的功能。 | [链接](https:\u002F\u002Fgithub.com\u002Fwandb) |\n| Helicone | 开源的面向开发者的 LLM 可观测性平台。一行代码即可集成，支持监控、指标、评估、智能体追踪、提示管理、实验环境等功能。 | [链接](https:\u002F\u002Fgithub.com\u002FHelicone\u002Fhelicone) |\n| Evidently | 一个开源的 ML 和 LLM 可观测性框架。 | [链接](https:\u002F\u002Fgithub.com\u002Fevidentlyai\u002Fevidently) |\n| Phoenix | 一个开源的 AI 可观测性平台，专为实验、评估和故障排除而设计。 | [链接](https:\u002F\u002Fgithub.com\u002FArize-ai\u002Fphoenix) |\n| Observers | 一个轻量级的 AI 可观测性库。 | [链接](https:\u002F\u002Fgithub.com\u002Fcfahlgren1\u002Fobservers) |\n\n\n## LLM 提示词\n\n| 库名称 | 描述 | 链接 |\n|---------------------|----------------------------------------------------------------------------------------------------------------|-------|\n| PCToolkit | 大型语言模型的统一即插即用提示压缩工具包。 | [链接](https:\u002F\u002Fgithub.com\u002F3DAgentWorld\u002FToolkit-for-Prompt-Compression) |\n| Selective Context | Selective Context 可以压缩您的提示和上下文，使 LLM（如 ChatGPT）能够处理两倍的内容。 | [链接](https:\u002F\u002Fpypi.org\u002Fproject\u002Fselective-context\u002F) |\n| LLMLingua | 用于压缩提示以加速 LLM 推理的库。 | [链接](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLLMLingua) |\n| betterprompt | 在将 LLM 提示推送到生产环境之前进行测试的套件。 | [链接](https:\u002F\u002Fgithub.com\u002Fstjordanis\u002Fbetterprompt) |\n| Promptify | 使用 LLM 解决 NLP 问题，并借助 Promptify 轻松为 GPT、PaLM 等流行生成式模型生成各种 NLP 任务提示。 | [链接](https:\u002F\u002Fgithub.com\u002Fpromptslab\u002FPromptify) |\n| PromptSource | PromptSource 是一个用于创建、分享和使用自然语言提示的工具包。 | [链接](https:\u002F\u002Fpypi.org\u002Fproject\u002Fpromptsource\u002F) |\n| DSPy | DSPy 是一个开源框架，用于编程而非提示的方式来操作语言模型。 | [链接](https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy) |\n| Py-priompt | 提示设计库。 | [链接](https:\u002F\u002Fgithub.com\u002Fzenbase-ai\u002Fpy-priompt) |\n| Promptimizer | 提示优化库。 | [链接](https:\u002F\u002Fgithub.com\u002Fhinthornw\u002Fpromptimizer) |\n\n## 大型語言模型結構化輸出\n| 庫名 | 描述 | 鏈接 |\n|------------|--------------------------------------------------------|------|\n|Instructor | 用於處理大型語言模型（LLMs）結構化輸出的 Python 庫。基於 Pydantic 構建，提供簡單、透明且易用的 API。 | [鏈接](https:\u002F\u002Fgithub.com\u002Finstructor-ai\u002Finstructor) |\n| XGrammar | 一個開源庫，用於高效、靈活且可移植的結構化生成。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fmlc-ai\u002Fxgrammar) |\n| Outlines | 強大的（結構化）文本生成工具 | [鏈接](https:\u002F\u002Fgithub.com\u002Fdottxt-ai\u002Foutlines) |\n| Guidance | Guidance 是一種高效的編程範式，用於引導語言模型。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fguidance-ai\u002Fguidance) |\n| LMQL | 一種用於約束引導和高效 LLM 編程的語言。 | [鏈接](https:\u002F\u002Fgithub.com\u002Feth-sri\u002Flmql) |\n| Jsonformer | 從語言模型生成結構化 JSON 的堅固方法。 | [鏈接](https:\u002F\u002Fgithub.com\u002F1rgs\u002Fjsonformer) |\n\n\n## LLM 安全與保障\n| 庫名 | 描述 | 鏈接 |\n|---------------|-----------------------------------------------------------|------|\n| JailbreakEval | 一套自動化評估工具，用於評估越獄攻擊嘗試。 | [鏈接](https:\u002F\u002Fgithub.com\u002FThuCCSLab\u002FJailbreakEval) |\n| EasyJailbreak | 一個易於使用的 Python 框架，用於生成對抗性越獄提示。 | [鏈接](https:\u002F\u002Fgithub.com\u002FEasyJailbreak\u002FEasyJailbreak) |\n| Guardrails | 為大型語言模型添加安全防護措施。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fguardrails-ai\u002Fguardrails) |\n| LLM Guard | LLM 交互的安全工具包。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fprotectai\u002Fllm-guard) |\n| AuditNLG | AuditNLG 是一個開源庫，有助於降低使用生成式 AI 語言系統相關的風險。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FAuditNLG) |\n| NeMo Guardrails | NeMo Guardrails 是一個開源工具包，可用於輕鬆為基於 LLM 的對話系統添加可編程的安全防護措施。 | [鏈接](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo-Guardrails) |\n| Garak | LLM 漏洞掃描器 | [鏈接](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fgarak) |\n| DeepTeam | LLM 紅隊框架 | [鏈接](https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepteam)|\n\n\n## LLM 嵌入模型\n| 庫名 | 描述 | 鏈接 |\n|---------------------------|-----------------------------------------------------|------|\n| Sentence-Transformers | 最先進的文本嵌入技術 | [鏈接](https:\u002F\u002Fgithub.com\u002FUKPLab\u002Fsentence-transformers) |\n| Model2Vec | 快速的最先進靜態嵌入技術 | [鏈接](https:\u002F\u002Fgithub.com\u002FMinishLab\u002Fmodel2vec) |\n| Text Embedding Inference | 一個極其快速的文本嵌入模型推理解決方案。TEI 支持對最流行的模型進行高性能提取，包括 FlagEmbedding、Ember、GTE 和 E5。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftext-embeddings-inference) |\n\n\n## 其他\n| 庫名 | 描述 | 鏈接 |\n|-------------------------|----------------------------------------------------------------------------------------------------------------------------------|------|\n| Text Machina | 一個模塊化且可擴展的 Python 框架，旨在幫助創建高質量、無偏見的數據集，以構建用於 MGT 相關任務的強大模型，例如檢測、歸因和邊界檢測。 | [鏈接](https:\u002F\u002Fgithub.com\u002FGenaios\u002FTextMachina) |\n| LLM Reasoners | 一個用於先進大型語言模型推理的庫。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fmaitrix-org\u002Fllm-reasoners) |\n| EasyEdit | 一個易於使用的大型語言模型知識編輯框架。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fzjunlp\u002FEasyEdit) |\n| CodeTF | CodeTF：最先進代碼 LLM 的一站式變壓器庫。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FCodeTF) |\n| spacy-llm | 此軟體包將大型語言模型（LLMs）集成到 spaCy 中，具備模塊化系統，可用於快速原型設計和提示生成，並將非結構化回應轉換為各種 NLP 任務的可靠輸出。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fexplosion\u002Fspacy-llm) |\n| pandas-ai | 與您的數據庫聊天（SQL、CSV、pandas、polars、MongoDB、NoSQL 等）。 | [鏈接](https:\u002F\u002Fgithub.com\u002FSinaptik-AI\u002Fpandas-ai) |\n| LLM Transparency Tool | 一個開源互動式工具包，用於分析基於變壓器的語言模型內部運作機制。 | [鏈接](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllm-transparency-tool) |\n| Vanna | 與您的 SQL 數據庫聊天。通過 RAG 利用 LLM 實現精確的文本到 SQL 生成。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fvanna-ai\u002Fvanna) |\n| mergekit | 用於合併預訓練大型語言模型的工具。 | [鏈接](https:\u002F\u002Fgithub.com\u002Farcee-ai\u002FMergeKit) |\n| MarkLLM | 一個開源的 LLM 水印工具包。 | [鏈接](https:\u002F\u002Fgithub.com\u002FTHU-BPM\u002FMarkLLM) |\n| LLMSanitize | 一個開源庫，用於檢測 NLP 數據集和大型語言模型（LLMs）中的污染問題。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fntunlp\u002FLLMSanitize) |\n| Annotateai | 使用 LLM 自動註釋論文。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fneuml\u002Fannotateai) |\n| LLM Reasoner | 讓任何 LLM 像 OpenAI o1 和 DeepSeek R1 一樣思考。 | [鏈接](https:\u002F\u002Fgithub.com\u002Fharishsg993010\u002FLLM-Reasoner) |\n\n\n## ⭐️ 星標歷史\n\n[![星標歷史圖](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKalyanKS-NLP_llm-engineer-toolkit_readme_8cfd8e3c9c53.png)](https:\u002F\u002Fstar-history.com\u002F#)\n\n如果您覺得這個倉庫很有用，請考慮給它點個星。","# LLM Engineer Toolkit 快速上手指南\n\n**LLM Engineer Toolkit** 并非一个单一的 Python 库，而是一个精选的 **120+ 个大语言模型（LLM）开源工具清单**。它按功能分类（如训练、应用开发、RAG、评估等），帮助开发者快速找到适合当前任务的工具。\n\n本指南将指导你如何利用该清单进行环境准备、安装核心工具并快速开始开发。\n\n## 环境准备\n\n由于该工具箱涵盖多种类型的库，建议根据你的具体需求（如微调、应用开发或推理）准备环境。以下是通用的基础环境要求：\n\n* **操作系统**: Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (WSL2 推荐)\n* **Python 版本**: Python 3.9 - 3.11 (大多数 LLM 库对此范围支持最好)\n* **硬件要求**:\n * **基础应用\u002F推理**: 任意现代 CPU，8GB+ 内存。\n * **微调\u002F训练**: 推荐 NVIDIA GPU (显存 16GB+ 为佳)，需安装 CUDA Toolkit。\n* **前置依赖**:\n * `pip` (包管理工具)\n * `git` (克隆仓库)\n * `conda` 或 `venv` (强烈建议使用虚拟环境隔离依赖)\n\n## 安装步骤\n\n由于这是一个工具清单，你需要根据项目需求选择并安装具体的库。以下是获取清单及安装几类最常用核心工具的步骤。\n\n### 1. 获取工具清单\n首先克隆仓库以浏览完整的分类列表：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FKalyanKS-NLP\u002Fllm-engineer-toolkit.git\ncd llm-engineer-toolkit\n```\n\n### 2. 创建虚拟环境\n```bash\npython -m venv llm-env\nsource llm-env\u002Fbin\u002Factivate # Windows 用户请使用: llm-env\\Scripts\\activate\n```\n\n### 3. 安装核心工具库\n根据你的开发阶段，选择以下一种或多种场景进行安装。**国内用户推荐使用清华源或阿里源加速下载**。\n\n#### 场景 A：LLM 应用开发 (最常用)\n如果你要构建基于 LLM 的应用（如 Chatbot、RAG 系统），推荐安装 **LangChain** 或 **LlamaIndex**。\n\n```bash\n# 使用清华源安装 LangChain 核心包\npip install langchain langchain-community langchain-core -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 或者安装 LlamaIndex\npip install llama-index -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n#### 场景 B：LLM 微调与训练\n如果你需要对模型进行微调，推荐安装 **Unsloth** (高效微调) 或 **PEFT**。\n\n```bash\n# 安装 Unsloth (需确保已安装 compatible 版本的 torch)\npip install \"unsloth[colab-new] @ git+https:\u002F\u002Fgithub.com\u002Funslothai\u002Funsloth.git\" -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装 Hugging Face PEFT 和 Transformers\npip install peft transformers accelerate -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n#### 场景 C：多模型 API 调用\n如果你需要统一调用不同厂商的 LLM API，推荐安装 **LiteLLM**。\n\n```bash\npip install litellm -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n#### 场景 D：快速构建界面\n如果你需要快速为模型搭建 Web 界面，推荐安装 **Streamlit** 或 **Gradio**。\n\n```bash\npip install streamlit gradio -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 基本使用\n\n以下展示两个最典型的使用示例，分别对应“应用开发”和“模型调用”。\n\n### 示例 1：使用 LangChain 构建简单的问答链\n这是构建 LLM 应用最基础的流程。\n\n```python\nfrom langchain_community.llms import Ollama\nfrom langchain_core.prompts import PromptTemplate\n\n# 1. 初始化模型 (此处以本地 Ollama 为例，也可替换为 OpenAI 等)\nllm = Ollama(model=\"llama3\")\n\n# 2. 定义提示词模板\ntemplate = \"\"\"你是一个专业的助手。请简要回答以下问题：\n{question}\"\"\"\nprompt = PromptTemplate.from_template(template)\n\n# 3. 创建链并运行\nchain = prompt | llm\nresponse = chain.invoke({\"question\": \"什么是大语言模型？\"})\n\nprint(response)\n```\n\n### 示例 2：使用 LiteLLM 统一调用不同模型\nLiteLLM 允许你用 OpenAI 的格式调用 100+ 种不同的模型提供商。\n\n```python\nimport litellm\nfrom litellm import completion\n\n# 设置代理或直接调用 (需配置环境变量或直接传入 api_key)\n# 示例：调用 Anthropic 的 Claude 模型，但使用 OpenAI 格式的 SDK\nresponse = completion(\n model=\"anthropic\u002Fclaude-3-opus-20240229\", \n messages=[{\"content\": \"Hello, how are you?\", \"role\": \"user\"}],\n api_key=\"YOUR_ANTHROPIC_API_KEY\" \n)\n\nprint(response.choices[0].message.content)\n```\n\n### 下一步建议\n查阅本地克隆的 `llm-engineer-toolkit` 目录中的 README 文件，根据表格分类（如 `LLM RAG`, `LLM Evaluation`, `LLM Agents`）探索更多专用工具，并根据官方文档链接进行深入集成。","某初创公司的算法团队正急于在两周内构建一个垂直领域的智能客服原型，需要快速选型并整合模型微调、推理加速及评估工具。\n\n### 没有 llm-engineer-toolkit 时\n- **选型效率极低**：工程师需在 GitHub 和海论文中盲目搜索\"LLM 微调”或“推理加速”，耗费数天筛选过时或不兼容的库。\n- **技术栈碎片化**：难以发现如 Unsloth（显存优化）与 TRL（强化学习）之间的最佳实践组合，导致自行摸索集成方案，增加试错成本。\n- **遗漏关键组件**：容易忽略 LLM 安全防御或结构化输出等冷门但必要的模块，致使原型上线后出现数据泄露或格式解析错误。\n- **重复造轮子**：团队成员各自调研，缺乏统一的知识索引，导致多人重复研究同一类库的文档和特性。\n\n### 使用 llm-engineer-toolkit 后\n- **一站式精准导航**：直接通过分类目录锁定 120+ 个经过验证的库，将原本数天的选型工作压缩至几小时，迅速确定技术路线。\n- **最佳实践组合**：依据清单推荐，快速串联起\"Unsloth 微调 + vLLM 推理 + LangChain 应用”的高效流水线，显著降低开发门槛。\n- **全链路覆盖**：借助涵盖从数据生成、Agent 构建到安全监控的全景视图，确保系统无死角，提前规避了潜在的生产环境风险。\n- **知识对齐与协同**：团队以该清单为统一参考标准，消除了信息差，让成员能立即基于成熟库开展代码实现而非基础调研。\n\nllm-engineer-toolkit 将大模型工程化从“大海捞针”转变为“按图索骥”，极大缩短了从创意到原型的落地周期。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKalyanKS-NLP_llm-engineer-toolkit_78f942eb.png","KalyanKS-NLP","Kalyan KS","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FKalyanKS-NLP_ce1c9d8b.jpg","NLP Consultant & Researcher || 7+ years of research experience with 1000+ citations ",null,"kalyan_kpl","https:\u002F\u002Fgithub.com\u002FKalyanKS-NLP",10102,1599,"2026-04-13T21:47:43","Apache-2.0","","未说明",{"notes":90,"python":88,"dependencies":91},"该仓库（llm-engineer-toolkit）本身是一个包含 120+ 个 LLM 库的分类列表清单，并非一个可直接运行的单一软件工具。因此，README 中未提供具体的运行环境需求（如操作系统、GPU、内存、Python 版本等）。实际的环境需求取决于用户从列表中选择并安装的具体库（例如 unsloth, LangChain, vLLM 等），需参考各个子项目的独立文档。",[],[15],[94,95,96,97,98],"ai-engineer","generative-ai","large-language-models","llms","llm-engineer","2026-03-27T02:49:30.150509","2026-04-15T04:33:38.353173",[],[]]