[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-a16z-infra--llm-app-stack":3,"tool-a16z-infra--llm-app-stack":61},[4,18,28,37,45,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,2,"2026-04-19T23:22:26",[16,14,13,15,27],"插件",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[13,36,27,14,15],"语言模型",{"id":38,"name":39,"github_repo":40,"description_zh":41,"stars":42,"difficulty_score":10,"last_commit_at":43,"category_tags":44,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":46,"name":47,"github_repo":48,"description_zh":49,"stars":50,"difficulty_score":24,"last_commit_at":51,"category_tags":52,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161692,"2026-04-20T11:33:57",[14,13,36],{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":24,"last_commit_at":59,"category_tags":60,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":65,"owner_company":65,"owner_location":65,"owner_email":65,"owner_twitter":65,"owner_website":65,"owner_url":74,"languages":65,"stars":75,"forks":76,"last_commit_at":77,"license":65,"difficulty_score":78,"env_os":79,"env_gpu":80,"env_ram":80,"env_deps":81,"category_tags":84,"github_topics":65,"view_count":24,"oss_zip_url":65,"oss_zip_packed_at":65,"status":17,"created_at":85,"updated_at":86,"faqs":87,"releases":88},10190,"a16z-infra\u002Fllm-app-stack","llm-app-stack",null,"llm-app-stack 是一份由知名投资机构 a16z 维护的开源清单，旨在全面梳理构建大语言模型（LLM）应用所需的技术栈。随着 AI 开发生态迅速膨胀，开发者往往面临工具选型困难、架构设计迷茫的挑战。llm-app-stack 通过将复杂的开发生态划分为数据管道、向量数据库、编排器、监控评估等十四个关键层级，为每个环节提供了详尽的工具、项目及供应商列表。\n\n这份资源不仅涵盖了从数据处理到应用托管的全流程选项，还区分了专有 API 与开源方案，并附带了实用的搜索提示模板，极大地降低了技术调研的成本。它特别适合正在规划或开发 LLM 应用的工程师、技术负责人及研究人员使用，能帮助大家快速对比不同方案的优劣，避免重复造轮子。其核心亮点在于“全景式”的分类视角和持续的社区更新机制，让使用者能够一目了然地掌握当前最前沿的架构趋势与可用工具，从而更高效地搭建稳健的 AI 应用系统。","# LLM App Stack\n\n*aka Emerging Architectures for LLM Applications*\n\n![2657 Emerging LLM App Stack R2 Clean](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fa16z-infra_llm-app-stack_readme_d3badbfad2bf.png)\n\nThis is a list of available tools, projects, and vendors at each layer of the LLM app stack. \n\nOur [original article](https:\u002F\u002Fa16z.com\u002F2023\u002F06\u002F20\u002Femerging-architectures-for-llm-applications\u002F) included only the most popular options, based on user interviews. This repo is meant to be more comprehensive, covering all available options in each category. We probably still missed some important projects, so please open a PR if you see anything missing.\n\nWe also included [Perplexity and Cursor.sh prompts](#formatting-prompt-templates) to make searching and markdown table formatting easier.\n\n\n## Table of Contents\n\n1. [Data Pipelines](#data-pipelines)\n2. [Embedding Models](#embedding-models)\n3. [Vector Databases](#vector-databases)\n4. [Playgrounds](#playgrounds)\n5. [Orchestrators](#orchestrators)\n6. [APIs \u002F Plugins](#apis--plugins)\n7. [LLM Caches](#llm-caches)\n8. [Logging \u002F Monitoring \u002F Eval](#logging--monitoring--eval)\n9. [Validators](#validators)\n10. [LLM APIs (proprietary)](#llm-apis-proprietary)\n11. [LLM APIs (open source)](#llm-apis-open-source)\n12. [App Hosting Platforms](#app-hosting-platforms)\n13. [Cloud Providers](#cloud-providers)\n14. [Opinionated Clouds](#opinionated-clouds)\n\n\n\n\n## Project List\n\n### Data Pipelines\n| Name (site) | Description | Github | Pip Installs |\n|------------|------------|------------|------------|\n| [Databricks](https:\u002F\u002Fdatabricks.com\u002F) | A unified data platform for building, deploying, and maintaining enterprise data solutions, including products (like MosaicML and MLflow) purpose-built for AI | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fapache\u002Fspark>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fapache\u002Fspark?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpyspark>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpyspark\" width=150\u002F>\u003C\u002Fa> |\n| [Airflow](https:\u002F\u002Fairflow.apache.org\u002F) | A data pipeline framework to programmatically author, schedule, and monitor data pipelines and workflows, including for LLMs | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fapache\u002Fairflow>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fapache\u002Fairflow?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fapache-airflow>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fapache-airflow\" width=150\u002F>\u003C\u002Fa> |\n| [Unstructured.io](https:\u002F\u002Funstructured.io\u002F) | Open-source components for pre-processing documents such as PDFs, HTML, and Word documents for usage with LLM apps | \u003Ca href=https:\u002F\u002Fgithub.com\u002FUnstructured-IO\u002Funstructured>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FUnstructured-IO\u002Funstructured?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Funstructured>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Funstructured\" width=150\u002F>\u003C\u002Fa> |\n| [Fivetran](https:\u002F\u002Fwww.fivetran.com\u002F) | A platform that extracts, loads, and transforms data from various sources for analytics, AI, and operations | N\u002FA | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Ffivetran>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Ffivetran\" width=150\u002F>\u003C\u002Fa> |\n| [Airbyte](https:\u002F\u002Fwww.airbyte.com\u002F) | An open-source data integration engine that helps consolidate data in data warehouses, lakes, and databases | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fairbytehq\u002Fairbyte>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fairbytehq\u002Fairbyte?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fairbyte-cdk>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fairbyte-cdk\" width=150\u002F>\u003C\u002Fa> |\n| [Anyscale](https:\u002F\u002Fwww.anyscale.com\u002F) | An AI compute platform that allows developers to scale data ingest, preprocessing, embedding, and inference computations using Ray | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fray-project\u002Fray>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fray-project\u002Fray?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fray>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fray\" width=150\u002F>\u003C\u002Fa> |\n| [Alluxio](https:\u002F\u002Fwww.alluxio.io\u002F) | An open-source data platform at the intersection of compute and storage, bringing data closer to compute, to accelerate model training and serving, boost GPU utilization, and reduce costs for AI workloads | \u003Ca href=https:\u002F\u002Fgithub.com\u002FAlluxio\u002Falluxio> \u003Cimg alt=\"GitHub Repo stars\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Falluxio\u002FAlluxio?style=social\" width=90>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Falluxio-python-library\u002F>\u003Cimg alt=\"PyPI - Downloads\" src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Falluxio-python-library\" width=150> \u003C\u002Fa> | \n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### Embedding Models\n| Name (site) | Description | Github | Pip Installs |\n|------------|------------|------------|------------|\n| [OpenAI Ada Embedding 2](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fguides\u002Fembeddings) | OpenAI's most popular embedding model for capturing semantic relationships in text | n\u002Fa | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fopenai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fopenai\" width=150\u002F>\u003C\u002Fa> |\n| [Cohere AI](https:\u002F\u002Fdocs.cohere.com\u002Fdocs\u002Fembeddings) | An independent commerical provider of LLMs, with particular focus on embeddings for semantic search, topic clustering, and vertical applications | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fcohere-ai\u002Fnotebooks>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fcohere-ai\u002Fnotebooks?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fcohere>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fcohere\" width=150\u002F>\u003C\u002Fa> |\n| [Sentence Transformers](https:\u002F\u002Fwww.sbert.net\u002F) | An open-source Python framework for sentence, text, and image embeddings | \u003Ca href=https:\u002F\u002Fgithub.com\u002FUKPLab\u002Fsentence-transformers>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FUKPLab\u002Fsentence-transformers?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fsentence-transformers>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fsentence-transformers\" width=150\u002F>\u003C\u002Fa> |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### Vector Databases\n| Name (site) | Description | Github | Pip Installs |\n|------------|------------|------------|------------|\n| [Pinecone](https:\u002F\u002Fpinecone.io\u002F) | A managed, cloud-native vector database with a simple API for high-performance AI applications | n\u002Fa | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpinecone-client>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpinecone-client\" width=150\u002F>\u003C\u002Fa> |\n| [Weaviate](https:\u002F\u002Fweaviate.io\u002F) | An open-source vector database that stores both objects and vectors | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fweaviate\u002Fweaviate>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fweaviate\u002Fweaviate?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fweaviate-client>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fweaviate-client\" width=150\u002F>\u003C\u002Fa> |\n| [ChromaDB](https:\u002F\u002Ftrychroma.com\u002F) | An AI-native, open-source embedding database platform for developers | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fchroma-core\u002Fchroma>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fchroma-core\u002Fchroma?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fchromadb>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fchromadb\" width=150\u002F>\u003C\u002Fa> |\n| [Pgvector](https:\u002F\u002Fgithub.com\u002Fpgvector\u002Fpgvector) | An open-source vector similarity search for Postgres, allowing for exact and approximate nearest-neighbor search | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fpgvector\u002Fpgvector>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fpgvector\u002Fpgvector?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpgvector>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpgvector\" width=150\u002F>\u003C\u002Fa> |\n| [Zilliz (Milvus)](https:\u002F\u002Fmilvus.io\u002F) | An open-source vector database, built for developing and maintaining AI applications | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fmilvus-io\u002Fmilvus>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fmilvus-io\u002Fmilvus?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpymilvus>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpymilvus\" width=150\u002F>\u003C\u002Fa> |\n| [Qdrant](https:\u002F\u002Fqdrant.tech\u002F) | A vector database and vector similarity search engine | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fqdrant\u002Fqdrant>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fqdrant\u002Fqdrant?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fqdrant-client>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fqdrant-client\" width=150\u002F>\u003C\u002Fa> |\n| [Metal io](https:\u002F\u002Fgetmetal.io\u002F) | A managed service for developers to build applications with ML embeddings | N\u002FA | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fmetal-python>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fmetal-python\" width=150\u002F>\u003C\u002Fa> |\n| [LanceDB](https:\u002F\u002Flancedb.com\u002F) | A serverless vector database for AI applications | \u003Ca href=https:\u002F\u002Fgithub.com\u002Flancedb\u002Flancedb>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Flancedb\u002Flancedb?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Flancedb>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Flancedb\" width=150\u002F>\u003C\u002Fa> |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### Playgrounds\n| Name (site)                                       | Description                                                                                                                               | Github                                                                                                                                                                        | Pip Installs                                                                                                             |\n|---------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------|\n| [OpenAI Playground](https:\u002F\u002Fplatform.openai.com\u002F) | A web-based platform for experimenting with various machine-learning models developed by OpenAI                                           | N\u002FA                                                                                                                                                                           | N\u002FA                                                                                                                      |\n| [nat.dev](https:\u002F\u002Fnat.dev)                        | A platform that allows users to test prompts with multiple language models and compare their performance                                  | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fnat\u002Fopenplayground>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fnat\u002Fopenplayground?style=social\" width=90\u002F>\u003C\u002Fa>                                   | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fopenplayground>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fopenplayground\" width=150\u002F>\u003C\u002Fa> |\n| [Humanloop](https:\u002F\u002Fhumanloop.com\u002F)               | A platform that helps developers build applications on top of LLMs                                                                        | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fhumanloop\u002Fhumanloop-tutorial-python>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fhumanloop\u002Fhumanloop-tutorial-python?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fhumanloop>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fhumanloop\" width=150\u002F>\u003C\u002Fa>           |\n| [Parea AI](https:\u002F\u002Fwww.parea.ai\u002F)                 | Platform and SDK for AI Engineers providing tools for LLM evaluation, observability, and a version-controlled enhanced prompt playground. | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fparea-ai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fparea-ai\u002Fparea-sdk-py?style=social\" width=90\u002F>\u003C\u002Fa>                                          | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fparea-ai\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fparea-ai\" width=150\u002F>\u003C\u002Fa>            |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### Orchestrators\n| Name (site) | Description | Github | Pip Installs |\n|------------|------------|------------|------------|\n| [Langchain](https:\u002F\u002Flangchain.com\u002F) | An open-source library that gives developers the tools to build applications powered by LLMs | \u003Ca href=https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangchain>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Flangchain-ai\u002Flangchain?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Flangchain>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Flangchain\" width=150\u002F>\u003C\u002Fa> |\n| [LlamaIndex](https:\u002F\u002Fllamaindex.ai\u002F) | A data framework for LLM applications to ingest, structure, and access private or domain-specific data | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fjerryjliu\u002Fllama_index>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fjerryjliu\u002Fllama_index?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fllama-index>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fllama-index\" width=150\u002F>\u003C\u002Fa> |\n| [Autogen](https:\u002F\u002Fmicrosoft.github.io\u002Fautogen\u002F) | A framework for automating and streamlining LLM workflows using customizable, conversable agents for complex AI applications | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fautogen>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fmicrosoft\u002Fautogen?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpyautogen>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpyautogen\" width=150\u002F>\u003C\u002Fa> |\n| [Microsoft Semantic Kernel](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fsemantic-kernel) | A lightweight open-source orchestration SDK  | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fsemantic-kernel>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fmicrosoft\u002Fsemantic-kernel?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fsemantic-kernel>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fsemantic-kernel\" width=150\u002F>\u003C\u002Fa> |\n| [Haystack](https:\u002F\u002Fhaystack.deepset.ai\u002F) | LLM orchestration framework to build customizable, production-ready LLM applications | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fdeepset-ai\u002Fhaystack>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fdeepset-ai\u002Fhaystack?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Ffarm-haystack\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Ffarm-haystack\" width=150\u002F>\u003C\u002Fa> |\n| [Vercel AI SDK](https:\u002F\u002Fsdk.vercel.ai\u002Fdocs) | An open-source library for developers to build streaming UIs in JavaScript and TypeScript | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fvercel\u002Fai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fvercel-labs\u002Fai?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fvercel-ai-sdk>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fnpm\u002Fdw\u002Fai\" width=150\u002F>\u003C\u002Fa>(node\u002Fnpm)|\n| [Vectara AI](https:\u002F\u002Fvectara.com\u002F) | A search and discovery platform for AI conversations utilizing your own data | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fvectara\u002Fvectara-ingest>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fvectara\u002Fvectara-ingest?style=social\" width=90\u002F>\u003C\u002Fa> | N\u002FA |\n| [ChatGPT](https:\u002F\u002Fchat.openai.com) | An AI chatbot that uses natural language processing to create humanlike conversational dialogue | N\u002FA| N\u002FA |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### APIs \u002F Plugins\n| Name (site) | Description | Github | Pip Installs |\n|------------|------------|------------|------------|\n| [Serp API](https:\u002F\u002Fserpapi.com\u002F) | A real-time API to access Google search results, as well as handling proxies, solving captchas, and parsing structured data | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fserpapi\u002Fgoogle-search-results-python>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fserpapi\u002Fgoogle-search-results-python?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fgoogle-search-results>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fgoogle-search-results\" width=150\u002F>\u003C\u002Fa> |\n| [Wolfram Alpha API](https:\u002F\u002Fwolframalpha.com\u002F) | A web-based API providing computational and presentation capabilities for integration into various applications | N\u002FA | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fwolframalpha>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fwolframalpha\" width=150\u002F>\u003C\u002Fa> |\n| [Zapier API AI Plugin](https:\u002F\u002Fzapier.com\u002F) | A plugin that allows you to connect 5,000+ apps and interact with them directly inside ChatGPT | N\u002FA | N\u002FA |\n\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### LLM Caches\n| Name (site) | Description | Github | Pip Installs |\n|------------|------------|------------|------------|\n| [Redis](https:\u002F\u002Fredis.io\u002F) | An in-memory data structure store used as a database, cache, message broker, and streaming engine | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fredis\u002Fredis>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fredis\u002Fredis?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fredis\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fredis\" width=150\u002F>\u003C\u002Fa> |\n| [SQLite](https:\u002F\u002Fsqlite.org\u002F) | A self-contained, serverless, zero-configuration, transactional SQL database engine | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fsqlite\u002Fsqlite>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fsqlite\u002Fsqlite?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpysqlite3\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpysqlite3\" width=150\u002F>\u003C\u002Fa> |\n| [GPTCache](https:\u002F\u002Fgithub.com\u002Fzilliztech\u002FGPTCache) | An open-source tool for improving the efficiency and speed of GPT-based applications by implementing a cache to store the responses | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fzilliztech\u002FGPTCache>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fzilliztech\u002FGPTCache?style=social\" width=90\u002F>\u003C\u002Fa> | N\u002FA |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### Logging \u002F Monitoring \u002F Eval\n| Name (site) | Description | Github | Pip Installs |\n|------------|------------|------------|------------|\n| [Braintrust Data](https:\u002F\u002Fwww.braintrustdata.com\u002F) | An AI product stack featuring evaluations, prompt playgrounds, continuous integration, dataset management, and access to various AI models through a single API | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fbraintrustdata\u002Fbraintrust-proxy>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fbraintrustdata\u002Fbraintrust-proxy?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fbraintrust>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fbraintrust\" width=150\u002F>\u003C\u002Fa> |\n| [Arize AI](https:\u002F\u002Farize.com\u002F) | An observability platform for both LLMs and supervised ML | \u003Ca href=https:\u002F\u002Fgithub.com\u002FArize-ai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FArize-ai?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Farize>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Farize\" width=150\u002F>\u003C\u002Fa> |\n| [Weights & Biases](https:\u002F\u002Fwandb.ai) | An MLOps platform for streamlining ML workflows | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fwandb\u002Fwandb>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fwandb\u002Fwandb?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fwandb>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fwandb\" width=150\u002F>\u003C\u002Fa> |\n| [MLflow](https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fllms\u002Findex.html#) | A platform to streamline ML development | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fmlflow\u002Fmlflow>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fmlflow\u002Fmlflow?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fmlflow>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fmlflow\" width=150\u002F>\u003C\u002Fa> |\n| [PromptLayer](https:\u002F\u002Fpromptlayer.com\u002F) | A platform for tracking, managing, and sharing LLM prompt engineering | \u003Ca href=https:\u002F\u002Fgithub.com\u002FMagnivOrg\u002Fprompt-layer-library>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FMagnivOrg\u002Fprompt-layer-library?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpromptlayer>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpromptlayer\" width=150\u002F>\u003C\u002Fa> |\n| [Helicone](https:\u002F\u002Fhelicone.ai\u002F) | An open-source observability platform for LLMs | \u003Ca href=https:\u002F\u002Fgithub.com\u002FHelicone\u002Fhelicone>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FHelicone\u002Fhelicone?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fhelicone>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fhelicone\" width=150\u002F>\u003C\u002Fa> |\n| [Quotient AI](https:\u002F\u002Fwww.quotientai.co\u002F) | Quotient AI is a platform for evaluating AI products on real-world use-cases, during research, development, and in production | N\u002FA | N\u002FA |\n| [Portkey AI](https:\u002F\u002Fportkey.ai\u002F) | A platform to develop, launch, maintain, and iterate generative AI apps and features  | N\u002FA | N\u002FA |\n| [Freeplay AI](https:\u002F\u002Ffreeplay.ai\u002F) | A platform to prototype, test, and optimize LLM features for customers | N\u002FA | N\u002FA |\n| [Gentrace](https:\u002F\u002Fgentrace.ai\u002F) | An API and SDKs for evaluating and observing generative data, with features like AI, heuristic, and human grading evaluations, as well as production data observation | N\u002FA | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fgentrace-py>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fgentrace-py\" width=150\u002F>\u003C\u002Fa> |\n| [Patronus AI](https:\u002F\u002Fwww.patronus.ai\u002F) | An automated evaluation and benchmarking platform for LLMs, providing tools for testing, scoring, and evaluating LLMs in real-world scenarios | N\u002FA | N\u002FA |\n| [Autoblocks AI](https:\u002F\u002Fwww.autoblocks.ai\u002F) | A collaborative cloud-based workspace designed for rapid iteration on GenAI products, offering features like prompt management, observability, continuous evaluations, fine-tuning, prototyping, debugging, and scalable data ingestion & search, all in a provider-agnostic environment | N\u002FA | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fautoblocksai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fautoblocksai\" width=150\u002F>\u003C\u002Fa> |\n| [Context AI](https:\u002F\u002Fcontext.ai\u002F) | Tools for pre-launch LLM evaluations and post-launch analytics, with features such as  testing, performance monitoring, user conversation analysis, and support for various models and libraries | N\u002FA | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fcontext-python>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fcontext-python\" width=150\u002F>\u003C\u002Fa> |\n| [E2b dev](https:\u002F\u002Fe2b.dev\u002F) | Services to deploy, test, and monitor AI agents, including a sandbox with a secure, long-running cloud environment for various LLMs with features like internet access | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fe2b-dev\u002Fe2b>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fe2b-dev\u002Fe2b?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fe2b>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fe2b\" width=150\u002F>\u003C\u002Fa> |\n| [Agentops](https:\u002F\u002Fwww.agentops.ai\u002F) | Toolkit for evaluating and developing AI agents, providing tools for agent development, monitoring capabilities, and replay analytics | \u003Ca href=https:\u002F\u002Fgithub.com\u002FAgentOps-AI\u002Fagentops>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FAgentOps-AI\u002Fagentops?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fagentops>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fagentops\" width=150\u002F>\u003C\u002Fa> |\n| [Zenoml](https:\u002F\u002Fzenoml.com\u002F) | AI evaluation platform that enables data visualization, model performance analysis, and the creation of interactive reports for various data types | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fzeno-ml\u002Fzeno-build>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fzeno-ml\u002Fzeno-build?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fzeno-client>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fzeno-client\" width=150\u002F>\u003C\u002Fa> |\n| [Baserun](https:\u002F\u002Fbaserun.ai\u002Fwelcome) | Tools for model configuration, prompt playground, monitoring, and prototype workflow, as well as features for full visibility into LLM workflows and end-to-end testing | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fbaserun-ai\u002Fbaserun-py>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fbaserun-ai\u002Fbaserun-py?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fbaserun>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fbaserun\" width=90\u002F>\u003C\u002Fa> |\n| [WhyLabs](https:\u002F\u002Fwhylabs.ai\u002F) | AI Observability platform for ML and GenAI including LLM monitoring, guardrails and security | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fwhylabs>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fwhylabs?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fwhylabs-client>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fwhylabs-client\" width=150\u002F>\u003C\u002Fa> |\n| [Log10](https:\u002F\u002Flog10.io\u002F) | AI-powered LLMOps platform that automatically optimizes prompts and models with built-in logging, debugging, metrics, feedback, evaluations and fine-tuning | \u003Ca href=https:\u002F\u002Fgithub.com\u002Flog10-io\u002Flog10>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Flog10-io\u002Flog10?style=social\" width=90\u002F>\u003C\u002Fa>\u003Cbr> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Flog10-io>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Flog10-io\" width=150\u002F>\u003C\u002Fa>\u003Cbr>\u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fllmeval>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fllmeval\" width=150\u002F>\u003C\u002Fa> |\n| [promptfoo](https:\u002F\u002Fwww.promptfoo.dev\u002F) | Open-source LLM eval framework with support for model\u002Fprompt\u002FRAG eval, dataset generation, local models, and self-hosting. | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fpromptfoo\u002Fpromptfoo>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fpromptfoo\u002Fpromptfoo?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fwww.npmjs.com\u002Fpackage\u002Fpromptfoo>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fnpm\u002Fdw\u002Fpromptfoo\" width=150\u002F>\u003C\u002Fa> (node\u002Fnpm) |\n| [Parea AI](https:\u002F\u002Fwww.parea.ai\u002F) | Platform and SDK for AI Engineers providing tools for LLM evaluation, observability, and a version-controlled enhanced prompt playground.                                                                                                                                                | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fparea-ai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fparea-ai\u002Fparea-sdk-py?style=social\" width=90\u002F>\u003C\u002Fa>                                  | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fparea-ai\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fparea-ai\" width=150\u002F>\u003C\u002Fa>                                                                                                              |\n| [Galileo](https:\u002F\u002Fwww.rungalileo.io\u002F) | Galileo is a platform for evaluation, fine-tuning and real-time observability, powered by high-accuracy hallucination guardrails. | N\u002FA | N\u002FA |\n\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n\n### Validators\n| Name (site) | Description | Github | Pip Installs |\n|------------|------------|------------|------------|\n| [Guardrails AI](https:\u002F\u002Fshreyar.github.io\u002Fguardrails\u002F) | An open-source Python package for specifying structure and type, validating, and correcting the outputs of LLMs | \u003Ca href=https:\u002F\u002Fgithub.com\u002FShreyaR\u002Fguardrails>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FShreyaR\u002Fguardrails?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fguardrails-ai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fguardrails-ai\" width=150\u002F>\u003C\u002Fa> |\n| [Rebuff](https:\u002F\u002Fgithub.com\u002Fwoop\u002Frebuff) | An open-source framework designed to detect and protect against prompt injection attacks in LLM apps | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fwoop\u002Frebuff>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fwoop\u002Frebuff?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Frebuff>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Frebuff\" width=150\u002F>\u003C\u002Fa> |\n| [Microsoft Guidance](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fguidance) | A guidance language for controlling LLMs, providing a syntax for architecting LLM workflows | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fguidance>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fmicrosoft\u002Fguidance?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fguidance>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fguidance\" width=150\u002F>\u003C\u002Fa> |\n| [LMQL](https:\u002F\u002Flmql.ai\u002F) | An open-source programming language and platform for language model interaction | \u003Ca href=https:\u002F\u002Fgithub.com\u002Feth-sri\u002Flmql>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Feth-sri\u002Flmql?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Flmql>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Flmql\" width=150\u002F>\u003C\u002Fa> |\n| [Outlines](https:\u002F\u002Foutlines-dev.github.io\u002Foutlines\u002F) | A tool for helping developers guide text generation to build robust interfaces with external systems and guarantee that outputs match a regex or JSON schema | \u003Ca href=https:\u002F\u002Fgithub.com\u002Foutlines-dev\u002Foutlines>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Foutlines-dev\u002Foutlines?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Foutlines>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Foutlines\" width=150\u002F>\u003C\u002Fa> |\n| [LLM Guard](https:\u002F\u002Fgithub.com\u002Flaiyer-ai\u002Fllm-guard) | An open-source, comprehensive tool designed to fortify the security of Large Language Models (LLMs). | \u003Ca href=https:\u002F\u002Fgithub.com\u002Flaiyer-ai\u002Fllm-guard>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Flaiyer-ai\u002Fllm-guard?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fllm-guard>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fllm-guard\" width=150\u002F>\u003C\u002Fa> |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### LLM APIs (proprietary)\n| Name (site) | Description | Github | Pip Installs |\n|------------|------------|------------|------------|\n| [OpenAI](https:\u002F\u002Fopenai.com) | A company providing many leading LLMs, including the GPT-3.5 and GPT-4 families | N\u002FA | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fopenai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fopenai\" width=150\u002F>\u003C\u002Fa> |\n| [Anthropic](https:\u002F\u002Fanthropic.com) | The developer of Claude, an AI assistant based on Anthropic’s research  | N\u002FA | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fanthropic>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fanthropic\" width=150\u002F>\u003C\u002Fa> |\n| [Cohere AI](https:\u002F\u002Fdocs.cohere.com\u002Fdocs\u002Fembeddings) | An LLM vendor with particular focus on embeddings for semantic search, topic clustering, and vertical applications | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fcohere-ai\u002Fnotebooks>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fcohere-ai\u002Fnotebooks?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fcohere>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fcohere\" width=150\u002F>\u003C\u002Fa> |\n| [LLM](https:\u002F\u002Fllm.datasette.io\u002Fen\u002Fstable\u002F) | A CLI utility and Python library for interacting with Large Language Models, both via remote APIs and models that can be installed and run on your own machine. | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fsimonw\u002Fllm>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fsimonw\u002Fllm?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fllm\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fllm\" width=150\u002F>\u003C\u002Fa> |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### LLM APIs (open source)\n| Name (site) | Description | Github | Pip Installs |\n|------------|------------|------------|------------|\n| [Hugging Face](https:\u002F\u002Fhuggingface.co\u002F) | A hub for open-source AI models and inference endpoints, including leading base LLMs and LoRAs\u002Ffine-tunes | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fhuggingface\u002Ftransformers?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Ftransformers>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Ftransformers\" width=150\u002F>\u003C\u002Fa> |\n| [Replicate](https:\u002F\u002Freplicate.com\u002F) | An AI hosting platform and model inference hub that allows software developers to integrate AI models into their apps | \u003Ca href=https:\u002F\u002Fgithub.com\u002Freplicate\u002Fcog>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Freplicate\u002Fcog?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Freplicate>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Freplicate\" width=150\u002F>\u003C\u002Fa> |\n| [Anyscale](https:\u002F\u002Fwww.anyscale.com\u002F) | An AI API and compute platform that allows developers to scale inference, training, and embedding computations with any model using Ray | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fray-project\u002Fray>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fray-project\u002Fray?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fray>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fray\" width=150\u002F>\u003C\u002Fa> |\n| [Ollama](https:\u002F\u002Follama.ai\u002F) | Get up and running with large language models locally | \u003Ca href=https:\u002F\u002Fgithub.com\u002Follama\u002Follama>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Follama\u002Follama?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Follama\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Follama\" width=150\u002F>\u003C\u002Fa> |\n| [GPT4ALL](https:\u002F\u002Fgpt4all.io\u002Findex.html) | An ecosystem of open-source on-edge large language models. | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fnomic-ai\u002Fgpt4all>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fnomic-ai\u002Fgpt4all?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fgpt4all\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fgpt4all\" width=150\u002F>\u003C\u002Fa> |\n\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### App Hosting Platforms\n| Name (site) | Description |\n|------------|------------|\n| [Vercel](https:\u002F\u002Fvercel.com\u002F) | A cloud platform designed for front-end engineers, built with first-class support for LLM apps |\n| [Netlify](https:\u002F\u002Fwww.netlify.com\u002F) | An enterprise cloud computing company that offers a development platform for web applications and dynamic websites |\n| [Steamship](https:\u002F\u002Fsteamship.com\u002F) | An SDK and hosting platform for AI agents and tools, both a package manager and package hosting service for AI |\n| [Streamlit](https:\u002F\u002Fstreamlit.io\u002F) | An open-source Python library designed for creating and sharing custom web apps for ML and data science |\n| [Modal](https:\u002F\u002Fmodal.com) | A platform that enables running distributed applications using the modal Python package | \n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### Cloud Providers\n| Name (site) | Description |\n|------------|------------|\n| [Amazon Web Services](https:\u002F\u002Faws.amazon.com\u002F) | A cloud computing platform, offering services from data centers globally |\n| [Google Cloud Platform](https:\u002F\u002Fcloud.google.com\u002F) | A cloud computing platform, offering services from data centers globally |\n| [Microsoft Azure](https:\u002F\u002Fazure.microsoft.com\u002F) | A cloud computing platform, offering services from data centers globally |\n| [CoreWeave](https:\u002F\u002Fcoreweave.com\u002F) | A specialized cloud provider that delivers GPUs on top of flexible deployment infrastructure |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n### Opinionated Clouds\n| Name (site) | Description |\n|------------|------------|\n| [Databricks (MosaicML)](https:\u002F\u002Fdatabricks.com\u002F) | Databricks acquired Mosaic ML in 2023, along with its tooling and platform for efficient pre-trainining, fine-tuning and inferencing LLMs |  \n| [Anyscale](https:\u002F\u002Fanyscale.com\u002F) | An AI compute platform that enables developers to scale inference, training, and embedding computations with any model using Ray |\n| [Modal](https:\u002F\u002Fmodal.com) | A platform that eables running distributed applications using the Modal Python package | \n| [Runpod](https:\u002F\u002Frunpod.io\u002F) | A cloud computing platform designed for AI and ML applications |\n| [OctoML](https:\u002F\u002Foctoml.ai\u002F) | A compute service that allows users to run, tune, and scale generative models |\n| [Baseten](https:\u002F\u002Fbaseten.co\u002F) | A inference service that allows users to deploy, serve, and scale custom and open-source models |\n| [E2B](https:\u002F\u002Fgithub.com\u002Fe2b-dev\u002Fe2b) | Secure sandboxed cloud environments made for AI agents and AI apps |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n\n\u003Cbr>\n\u003Cbr>\n\u003Cbr>\n\n\n## Formatting Prompt Templates\nWe were able to partialy automate this - particularly finding Github and PyPI links - using this [Perplexity search prompt](https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllm-app-stack\u002Fblob\u002Fmain\u002Ftable_construction_prompts\u002Fprompt_1_search.txt). It worked roughly ~75% of the time and could handle ~3 projects at a time, pulling data from 20-30 sources in each iteration. \n\n\u003Cimg width=\"709\" alt=\"image\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fa16z-infra_llm-app-stack_readme_af586a61ac41.png\">\n\n\nOnce you have the data you would like to add, if you don't want deal with the markdown formatting here, it is easy to correctly format using a tool like [Cursor](https:\u002F\u002Fcursor.sh\u002F). \n\nSee the prompt below that works as an inline edit, just make sure you highlight 4-5 previous examples so Cursor can infer the format itself:\n\n\u003Cimg width=\"838\" alt=\"image\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fa16z-infra_llm-app-stack_readme_273c3933670a.png\">\n\n\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ Back to Contents ^\u003C\u002Fa>\u003C\u002Fp>\n","# LLM 应用栈\n\n*又称 LLM 应用的新兴架构*\n\n![2657 Emerging LLM App Stack R2 Clean](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fa16z-infra_llm-app-stack_readme_d3badbfad2bf.png)\n\n这是 LLM 应用栈各层中可用工具、项目和供应商的列表。\n\n我们之前的[文章](https:\u002F\u002Fa16z.com\u002F2023\u002F06\u002F20\u002Femerging-architectures-for-llm-applications\u002F)仅列出了基于用户访谈的最受欢迎选项。而这个仓库旨在更加全面，涵盖每个类别中的所有可用选项。我们可能仍然遗漏了一些重要项目，因此如果您发现有遗漏，请提交 PR。\n\n我们还包含了[Perplexity 和 Cursor.sh 的提示模板](#formatting-prompt-templates)，以方便搜索和 Markdown 表格格式化。\n\n\n## 目录\n\n1. [数据管道](#data-pipelines)\n2. [嵌入模型](#embedding-models)\n3. [向量数据库](#vector-databases)\n4. [游乐场](#playgrounds)\n5. [编排器](#orchestrators)\n6. [API \u002F 插件](#apis--plugins)\n7. [LLM 缓存](#llm-caches)\n8. [日志记录 \u002F 监控 \u002F 评估](#logging--monitoring--eval)\n9. [验证器](#validators)\n10. [LLM API（专有）](#llm-apis-proprietary)\n11. [LLM API（开源）](#llm-apis-open-source)\n12. [应用托管平台](#app-hosting-platforms)\n13. [云服务商](#cloud-providers)\n14. [特定场景云](#opinionated-clouds)\n\n\n\n\n## 项目列表\n\n### 数据管道\n| 名称（网站） | 描述 | Github | Pip 安装数 |\n|------------|------------|------------|------------|\n| [Databricks](https:\u002F\u002Fdatabricks.com\u002F) | 一个统一的数据平台，用于构建、部署和维护企业级数据解决方案，包括专为 AI 打造的产品（如 MosaicML 和 MLflow） | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fapache\u002Fspark>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fapache\u002Fspark?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpyspark>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpyspark\" width=150\u002F>\u003C\u002Fa> |\n| [Airflow](https:\u002F\u002Fairflow.apache.org\u002F) | 一个数据管道框架，用于以编程方式编写、调度和监控数据管道及工作流，包括针对 LLM 的管道 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fapache\u002Fairflow>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fapache\u002Fairflow?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fapache-airflow>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fapache-airflow\" width=150\u002F>\u003C\u002Fa> |\n| [Unstructured.io](https:\u002F\u002Funstructured.io\u002F) | 开源组件，用于预处理 PDF、HTML 和 Word 文档等文件，以便在 LLM 应用中使用 | \u003Ca href=https:\u002F\u002Fgithub.com\u002FUnstructured-IO\u002Funstructured>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FUnstructured-IO\u002Funstructured?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Funstructured>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Funstructured\" width=150\u002F>\u003C\u002Fa> |\n| [Fivetran](https:\u002F\u002Fwww.fivetran.com\u002F) | 一个从各种来源提取、加载和转换数据的平台，用于分析、AI 和运营 | 无 | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Ffivetran>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Ffivetran\" width=150\u002F>\u003C\u002Fa> |\n| [Airbyte](https:\u002F\u002Fwww.airbyte.com\u002F) | 一个开源的数据集成引擎，帮助将数据整合到数据仓库、数据湖和数据库中 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fairbytehq\u002Fairbyte>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fairbytehq\u002Fairbyte?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fairbyte-cdk>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fairbyte-cdk\" width=150\u002F>\u003C\u002Fa> |\n| [Anyscale](https:\u002F\u002Fwww.anyscale.com\u002F) | 一个 AI 计算平台，允许开发者使用 Ray 扩展数据摄取、预处理、嵌入和推理计算 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fray-project\u002Fray>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fray-project\u002Fray?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fray>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fray\" width=150\u002F>\u003C\u002Fa> |\n| [Alluxio](https:\u002F\u002Fwww.alluxio.io\u002F) | 一个位于计算与存储交汇处的开源数据平台，使数据更接近计算资源，从而加速模型训练和推理，提高 GPU 利用率，并降低 AI 工作负载的成本 | \u003Ca href=https:\u002F\u002Fgithub.com\u002FAlluxio\u002Falluxio> \u003Cimg alt=\"GitHub Repo stars\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Falluxio\u002FAlluxio?style=social\" width=90>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Falluxio-python-library\u002F>\u003Cimg alt=\"PyPI - Downloads\" src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Falluxio-python-library\" width=150> \u003C\u002Fa> | \n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### 嵌入模型\n| 名称（网站） | 描述 | Github | Pip 安装数 |\n|------------|------------|------------|------------|\n| [OpenAI Ada Embedding 2](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fguides\u002Fembeddings) | OpenAI 最流行的嵌入模型，用于捕捉文本中的语义关系 | 无 | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fopenai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fopenai\" width=150\u002F>\u003C\u002Fa> |\n| [Cohere AI](https:\u002F\u002Fdocs.cohere.com\u002Fdocs\u002Fembeddings) | 一家独立的商业 LLM 提供商，特别专注于用于语义搜索、主题聚类和垂直应用的嵌入 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fcohere-ai\u002Fnotebooks>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fcohere-ai\u002Fnotebooks?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fcohere>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fcohere\" width=150\u002F>\u003C\u002Fa> |\n| [Sentence Transformers](https:\u002F\u002Fwww.sbert.net\u002F) | 一个开源的 Python 框架，用于句子、文本和图像的嵌入 | \u003Ca href=https:\u002F\u002Fgithub.com\u002FUKPLab\u002Fsentence-transformers>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FUKPLab\u002Fsentence-transformers?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fsentence-transformers>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fsentence-transformers\" width=150\u002F>\u003C\u002Fa> |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### 向量数据库\n| 名称（网站） | 描述 | Github | Pip 安装 |\n|------------|------------|------------|------------|\n| [Pinecone](https:\u002F\u002Fpinecone.io\u002F) | 一款托管的云原生向量数据库，提供简洁的 API，适用于高性能 AI 应用 | n\u002Fa | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpinecone-client>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpinecone-client\" width=150\u002F>\u003C\u002Fa> |\n| [Weaviate](https:\u002F\u002Fweaviate.io\u002F) | 一个开源的向量数据库，可同时存储对象和向量 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fweaviate\u002Fweaviate>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fweaviate\u002Fweaviate?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fweaviate-client>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fweaviate-client\" width=150\u002F>\u003C\u002Fa> |\n| [ChromaDB](https:\u002F\u002Ftrychroma.com\u002F) | 面向开发者的、原生支持 AI 的开源嵌入式数据库平台 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fchroma-core\u002Fchroma>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fchroma-core\u002Fchroma?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fchromadb>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fchromadb\" width=150\u002F>\u003C\u002Fa> |\n| [Pgvector](https:\u002F\u002Fgithub.com\u002Fpgvector\u002Fpgvector) | 一个用于 Postgres 的开源向量相似度搜索工具，支持精确和近似最近邻搜索 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fpgvector\u002Fpgvector>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fpgvector\u002Fpgvector?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpgvector>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpgvector\" width=150\u002F>\u003C\u002Fa> |\n| [Zilliz (Milvus)](https:\u002F\u002Fmilvus.io\u002F) | 一个开源的向量数据库，专为开发和维护 AI 应用而设计 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fmilvus-io\u002Fmilvus>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fmilvus-io\u002Fmilvus?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpymilvus>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpymilvus\" width=150\u002F>\u003C\u002Fa> |\n| [Qdrant](https:\u002F\u002Fqdrant.tech\u002F) | 一个向量数据库及向量相似度搜索引擎 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fqdrant\u002Fqdrant>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fqdrant\u002Fqdrant?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fqdrant-client>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fqdrant-client\" width=150\u002F>\u003C\u002Fa> |\n| [Metal io](https:\u002F\u002Fgetmetal.io\u002F) | 为开发者提供构建使用机器学习嵌入的应用程序的托管服务 | N\u002FA | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fmetal-python>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fmetal-python\" width=150\u002F>\u003C\u002Fa> |\n| [LanceDB](https:\u002F\u002Flancedb.com\u002F) | 一款面向 AI 应用的无服务器向量数据库 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Flancedb\u002Flancedb>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Flancedb\u002Flancedb?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Flancedb>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Flancedb\" width=150\u002F>\u003C\u002Fa> |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n###  Playground 平台\n| 名称（网站）                                       | 描述                                                                                                                               | Github                                                                                                                                                                        | Pip 安装                                                                                                             |\n|---------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------|\n| [OpenAI Playground](https:\u002F\u002Fplatform.openai.com\u002F) | 一个基于网页的平台，用于试验 OpenAI 开发的各种机器学习模型                                           | N\u002FA                                                                                                                                                                           | N\u002FA                                                                                                                      |\n| [nat.dev](https:\u002F\u002Fnat.dev)                        | 一个允许用户测试多种语言模型的提示并比较其性能的平台                                  | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fnat\u002Fopenplayground>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fnat\u002Fopenplayground?style=social\" width=90\u002F>\u003C\u002Fa>                                   | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fopenplayground>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fopenplayground\" width=150\u002F>\u003C\u002Fa> |\n| [Humanloop](https:\u002F\u002Fhumanloop.com\u002F)               | 一个帮助开发者在 LLM 基础上构建应用的平台                                                                        | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fhumanloop\u002Fhumanloop-tutorial-python>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fhumanloop\u002Fhumanloop-tutorial-python?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fhumanloop>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fhumanloop\" width=150\u002F>\u003C\u002Fa>           |\n| [Parea AI](https:\u002F\u002Fwww.parea.ai\u002F)                 | 一个为 AI 工程师提供的平台和 SDK，包含 LLM 评估、可观性以及版本控制增强型提示 Playground 等工具。 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fparea-ai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fparea-ai\u002Fparea-sdk-py?style=social\" width=90\u002F>\u003C\u002Fa>                                          | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fparea-ai\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fparea-ai\" width=150\u002F>\u003C\u002Fa>            |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### 编排工具\n| 名称（站点） | 描述 | Github | Pip 安装 |\n|------------|------------|------------|------------|\n| [Langchain](https:\u002F\u002Flangchain.com\u002F) | 一个开源库，为开发者提供构建由大语言模型驱动的应用程序所需的工具 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangchain>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Flangchain-ai\u002Flangchain?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Flangchain>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Flangchain\" width=150\u002F>\u003C\u002Fa> |\n| [LlamaIndex](https:\u002F\u002Fllamaindex.ai\u002F) | 面向大语言模型应用的数据框架，用于摄取、结构化和访问私有或领域特定数据 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fjerryjliu\u002Fllama_index>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fjerryjliu\u002Fllama_index?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fllama-index>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fllama-index\" width=150\u002F>\u003C\u002Fa> |\n| [Autogen](https:\u002F\u002Fmicrosoft.github.io\u002Fautogen\u002F) | 一个框架，用于通过可定制、可对话的代理来自动化和简化复杂 AI 应用中的大语言模型工作流 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fautogen>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fmicrosoft\u002Fautogen?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpyautogen>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpyautogen\" width=150\u002F>\u003C\u002Fa> |\n| [Microsoft Semantic Kernel](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fsemantic-kernel) | 一个轻量级的开源编排 SDK  | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fsemantic-kernel>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fmicrosoft\u002Fsemantic-kernel?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fsemantic-kernel>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fsemantic-kernel\" width=150\u002F>\u003C\u002Fa> |\n| [Haystack](https:\u002F\u002Fhaystack.deepset.ai\u002F) | 大语言模型编排框架，用于构建可定制、生产就绪的大语言模型应用 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fdeepset-ai\u002Fhaystack>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fdeepset-ai\u002Fhaystack?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Ffarm-haystack\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Ffarm-haystack\" width=150\u002F>\u003C\u002Fa> |\n| [Vercel AI SDK](https:\u002F\u002Fsdk.vercel.ai\u002Fdocs) | 一个开源库，供开发者使用 JavaScript 和 TypeScript 构建流式 UI | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fvercel\u002Fai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fvercel-labs\u002Fai?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fvercel-ai-sdk>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fnpm\u002Fdw\u002Fai\" width=150\u002F>\u003C\u002Fa>（node\u002Fnpm）|\n| [Vectara AI](https:\u002F\u002Fvectara.com\u002F) | 一个利用您自有数据进行 AI 对话的搜索与发现平台 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fvectara\u002Fvectara-ingest>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fvectara\u002Fvectara-ingest?style=social\" width=90\u002F>\u003C\u002Fa> | 无 |\n| [ChatGPT](https:\u002F\u002Fchat.openai.com) | 一个使用自然语言处理技术生成类人对话的 AI 聊天机器人 | 无 | 无 |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### API \u002F 插件\n| 名称（站点） | 描述 | Github | Pip 安装 |\n|------------|------------|------------|------------|\n| [Serp API](https:\u002F\u002Fserpapi.com\u002F) | 一个实时 API，用于访问 Google 搜索结果，并处理代理、解决验证码以及解析结构化数据 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fserpapi\u002Fgoogle-search-results-python>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fserpapi\u002Fgoogle-search-results-python?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fgoogle-search-results>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fgoogle-search-results\" width=150\u002F>\u003C\u002Fa> |\n| [Wolfram Alpha API](https:\u002F\u002Fwolframalpha.com\u002F) | 一个基于 Web 的 API，提供计算和展示功能，可用于集成到各种应用程序中 | 无 | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fwolframalpha>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fwolframalpha\" width=150\u002F>\u003C\u002Fa> |\n| [Zapier API AI 插件](https:\u002F\u002Fzapier.com\u002F) | 一个插件，允许您连接 5,000 多个应用，并在 ChatGPT 内部直接与它们交互 | 无 | 无 |\n\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### LLM 缓存\n| 名称（站点） | 描述 | Github | Pip 安装 |\n|------------|------------|------------|------------|\n| [Redis](https:\u002F\u002Fredis.io\u002F) | 一个内存中的数据结构存储，可用作数据库、缓存、消息代理和流媒体引擎 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fredis\u002Fredis>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fredis\u002Fredis?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fredis\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fredis\" width=150\u002F>\u003C\u002Fa> |\n| [SQLite](https:\u002F\u002Fsqlite.org\u002F) | 一个自包含、无服务器、零配置的事务性 SQL 数据库引擎 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fsqlite\u002Fsqlite>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fsqlite\u002Fsqlite?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpysqlite3\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpysqlite3\" width=150\u002F>\u003C\u002Fa> |\n| [GPTCache](https:\u002F\u002Fgithub.com\u002Fzilliztech\u002FGPTCache) | 一个开源工具，通过实现缓存来存储响应，从而提高基于 GPT 的应用程序的效率和速度 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fzilliztech\u002FGPTCache>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fzilliztech\u002FGPTCache?style=social\" width=90\u002F>\u003C\u002Fa> | 无 |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### 日志记录 \u002F 监控 \u002F 评估\n| 名称（站点） | 描述 | Github | Pip 安装 |\n|------------|------------|------------|------------|\n| [Braintrust Data](https:\u002F\u002Fwww.braintrustdata.com\u002F) | 一个 AI 产品栈，提供评估、提示词游乐场、持续集成、数据集管理等功能，并通过单一 API 访问多种 AI 模型 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fbraintrustdata\u002Fbraintrust-proxy>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fbraintrustdata\u002Fbraintrust-proxy?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fbraintrust>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fbraintrust\" width=150\u002F>\u003C\u002Fa> |\n| [Arize AI](https:\u002F\u002Farize.com\u002F) | 面向 LLM 和监督式机器学习的可观测性平台 | \u003Ca href=https:\u002F\u002Fgithub.com\u002FArize-ai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FArize-ai?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Farize>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Farize\" width=150\u002F>\u003C\u002Fa> |\n| [Weights & Biases](https:\u002F\u002Fwandb.ai) | 用于简化机器学习工作流的 MLOps 平台 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fwandb\u002Fwandb>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fwandb\u002Fwandb?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fwandb>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fwandb\" width=150\u002F>\u003C\u002Fa> |\n| [MLflow](https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fllms\u002Findex.html#) | 简化机器学习开发的平台 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fmlflow\u002Fmlflow>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fmlflow\u002Fmlflow?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fmlflow>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fmlflow\" width=150\u002F>\u003C\u002Fa> |\n| [PromptLayer](https:\u002F\u002Fpromptlayer.com\u002F) | 用于跟踪、管理和共享 LLM 提示工程的平台 | \u003Ca href=https:\u002F\u002Fgithub.com\u002FMagnivOrg\u002Fprompt-layer-library>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FMagnivOrg\u002Fprompt-layer-library?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fpromptlayer>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fpromptlayer\" width=150\u002F>\u003C\u002Fa> |\n| [Helicone](https:\u002F\u002Fhelicone.ai\u002F) | 开源的 LLM 可观测性平台 | \u003Ca href=https:\u002F\u002Fgithub.com\u002FHelicone\u002Fhelicone>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FHelicone\u002Fhelicone?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fhelicone>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fhelicone\" width=150\u002F>\u003C\u002Fa> |\n| [Quotient AI](https:\u002F\u002Fwww.quotientai.co\u002F) | Quotient AI 是一个在研究、开发和生产过程中，基于真实用例评估 AI 产品的平台 | 无 | 无 |\n| [Portkey AI](https:\u002F\u002Fportkey.ai\u002F) | 用于开发、上线、维护和迭代生成式 AI 应用及功能的平台 | 无 | 无 |\n| [Freeplay AI](https:\u002F\u002Ffreeplay.ai\u002F) | 为客户原型设计、测试和优化 LLM 功能的平台 | 无 | 无 |\n| [Gentrace](https:\u002F\u002Fgentrace.ai\u002F) | 用于评估和观测生成式数据的 API 和 SDK，具备 AI、启发式及人工评分等评估功能，以及生产数据观测能力 | 无 | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fgentrace-py>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fgentrace-py\" width=150\u002F>\u003C\u002Fa> |\n| [Patronus AI](https:\u002F\u002Fwww.patronus.ai\u002F) | 面向 LLM 的自动化评估与基准测试平台，提供在真实场景中测试、打分和评估 LLM 的工具 | 无 | 无 |\n| [Autoblocks AI](https:\u002F\u002Fwww.autoblocks.ai\u002F) | 专为 GenAI 产品快速迭代设计的协作式云工作空间，提供提示词管理、可观测性、持续评估、微调、原型设计、调试以及可扩展的数据摄取与搜索等功能，且不依赖特定提供商 | 无 | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fautoblocksai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fautoblocksai\" width=150\u002F>\u003C\u002Fa> |\n| [Context AI](https:\u002F\u002Fcontext.ai\u002F) | 用于 LLM 上线前评估和上线后分析的工具，包括测试、性能监控、用户对话分析等功能，并支持多种模型和库 | 无 | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fcontext-python>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fcontext-python\" width=150\u002F>\u003C\u002Fa> |\n| [E2b dev](https:\u002F\u002Fe2b.dev\u002F) | 提供部署、测试和监控 AI 代理的服务，包含一个安全、持久运行的云端沙盒环境，适用于多种 LLM，并具备访问互联网等功能 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fe2b-dev\u002Fe2b>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fe2b-dev\u002Fe2b?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fe2b>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fe2b\" width=150\u002F>\u003C\u002Fa> |\n| [Agentops](https:\u002F\u002Fwww.agentops.ai\u002F) | 用于评估和开发 AI 代理的工具包，提供代理开发工具、监控功能和回放分析 | \u003Ca href=https:\u002F\u002Fgithub.com\u002FAgentOps-AI\u002Fagentops>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FAgentOps-AI\u002Fagentops?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fagentops>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fagentops\" width=150\u002F>\u003C\u002Fa> |\n| [Zenoml](https:\u002F\u002Fzenoml.com\u002F) | AI 评估平台，支持数据可视化、模型性能分析以及针对不同类型数据创建交互式报告 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fzeno-ml\u002Fzeno-build>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fzeno-ml\u002Fzeno-build?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fzeno-client>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fzeno-client\" width=150\u002F>\u003C\u002Fa> |\n| [Baserun](https:\u002F\u002Fbaserun.ai\u002Fwelcome) | 提供模型配置、提示词游乐场、监控和原型工作流等工具，同时具备对 LLM 工作流的全面可见性和端到端测试功能 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fbaserun-ai\u002Fbaserun-py>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fbaserun-ai\u002Fbaserun-py?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fbaserun>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fbaserun\" width=90\u002F>\u003C\u002Fa> |\n| [WhyLabs](https:\u002F\u002Fwhylabs.ai\u002F) | 面向 ML 和 GenAI 的 AI 可观测性平台，包括 LLM 监控、护栏和安全性 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fwhylabs>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fwhylabs?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fwhylabs-client>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fwhylabs-client\" width=150\u002F>\u003C\u002Fa> |\n| [Log10](https:\u002F\u002Flog10.io\u002F) | 基于 AI 的 LLMOps 平台，可自动优化提示词和模型，并内置日志记录、调试、指标、反馈、评估和微调功能 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Flog10-io\u002Flog10>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Flog10-io\u002Flog10?style=social\" width=90\u002F>\u003C\u002Fa>\u003Cbr> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Flog10-io>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Flog10-io\" width=150\u002F>\u003C\u002Fa>\u003Cbr>\u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fllmeval>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fllmeval\" width=150\u002F>\u003C\u002Fa> |\n| [promptfoo](https:\u002F\u002Fwww.promptfoo.dev\u002F) | 开源的 LLM 评估框架，支持模型\u002F提示词\u002FRAG 评估、数据集生成、本地模型和自托管。 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fpromptfoo\u002Fpromptfoo>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fpromptfoo\u002Fpromptfoo?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fwww.npmjs.com\u002Fpackage\u002Fpromptfoo>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fnpm\u002Fdw\u002Fpromptfoo\" width=150\u002F>\u003C\u002Fa>（node\u002Fnpm） |\n| [Parea AI](https:\u002F\u002Fwww.parea.ai\u002F) | 为 AI 工程师提供的平台和 SDK，包含 LLM 评估、可观测性以及版本控制增强版提示词游乐场等工具。 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fparea-ai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fparea-ai\u002Fparea-sdk-py?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fparea-ai\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fparea-ai\" width=150\u002F>\u003C\u002Fa> |\n| [Galileo](https:\u002F\u002Fwww.rungalileo.io\u002F) | Galileo 是一个基于高精度幻觉防护机制的评估、微调和实时可观测性平台。 | 无 | 无 |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n\n\n\n### 验证工具\n| 名称（站点） | 描述 | Github | Pip 安装 |\n|------------|------------|------------|------------|\n| [Guardrails AI](https:\u002F\u002Fshreyar.github.io\u002Fguardrails\u002F) | 一个开源的 Python 包，用于指定结构和类型、验证并纠正大语言模型的输出 | \u003Ca href=https:\u002F\u002Fgithub.com\u002FShreyaR\u002Fguardrails>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FShreyaR\u002Fguardrails?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fguardrails-ai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fguardrails-ai\" width=150\u002F>\u003C\u002Fa> |\n| [Rebuff](https:\u002F\u002Fgithub.com\u002Fwoop\u002Frebuff) | 一个开源框架，旨在检测并防御大语言模型应用中的提示注入攻击 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fwoop\u002Frebuff>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fwoop\u002Frebuff?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Frebuff>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Frebuff\" width=150\u002F>\u003C\u002Fa> |\n| [Microsoft Guidance](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fguidance) | 一种用于控制大语言模型的指导语言，提供了一种用于构建大语言模型工作流的语法 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fguidance>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fmicrosoft\u002Fguidance?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fguidance>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fguidance\" width=150\u002F>\u003C\u002Fa> |\n| [LMQL](https:\u002F\u002Flmql.ai\u002F) | 一个开源的编程语言和平台，用于与语言模型交互 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Feth-sri\u002Flmql>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Feth-sri\u002Flmql?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Flmql>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Flmql\" width=150\u002F>\u003C\u002Fa> |\n| [Outlines](https:\u002F\u002Foutlines-dev.github.io\u002Foutlines\u002F) | 一个工具，帮助开发者引导文本生成，以构建与外部系统的健壮接口，并确保输出符合正则表达式或 JSON 模式 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Foutlines-dev\u002Foutlines>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Foutlines-dev\u002Foutlines?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Foutlines>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Foutlines\" width=150\u002F>\u003C\u002Fa> |\n| [LLM Guard](https:\u002F\u002Fgithub.com\u002Flaiyer-ai\u002Fllm-guard) | 一个开源的综合性工具，旨在加强大型语言模型（LLMs）的安全性。 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Flaiyer-ai\u002Fllm-guard>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Flaiyer-ai\u002Fllm-guard?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fllm-guard>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fllm-guard\" width=150\u002F>\u003C\u002Fa> |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### 大语言模型 API（专有）\n| 名称（站点） | 描述 | Github | Pip 安装 |\n|------------|------------|------------|------------|\n| [OpenAI](https:\u002F\u002Fopenai.com) | 一家提供众多领先大语言模型的公司，包括 GPT-3.5 和 GPT-4 系列 | 不适用 | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fopenai>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fopenai\" width=150\u002F>\u003C\u002Fa> |\n| [Anthropic](https:\u002F\u002Fanthropic.com) | Claude 的开发者，Claude 是基于 Anthropic 研究成果的人工智能助手 | 不适用 | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fanthropic>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fanthropic\" width=150\u002F>\u003C\u002Fa> |\n| [Cohere AI](https:\u002F\u002Fdocs.cohere.com\u002Fdocs\u002Fembeddings) | 一家专注于语义搜索、主题聚类和垂直应用嵌入的大语言模型供应商 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fcohere-ai\u002Fnotebooks>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fcohere-ai\u002Fnotebooks?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fcohere>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fcohere\" width=150\u002F>\u003C\u002Fa> |\n| [LLM](https:\u002F\u002Fllm.datasette.io\u002Fen\u002Fstable\u002F) | 一个 CLI 工具和 Python 库，用于通过远程 API 或可在本地安装运行的模型与大语言模型进行交互。 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fsimonw\u002Fllm>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fsimonw\u002Fllm?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fllm\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fllm\" width=150\u002F>\u003C\u002Fa> |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### 大语言模型 API（开源）\n| 名称（站点） | 描述 | Github | Pip 安装 |\n|------------|------------|------------|------------|\n| [Hugging Face](https:\u002F\u002Fhuggingface.co\u002F) | 一个开源人工智能模型和推理端点的枢纽，包括领先的基座大语言模型以及 LoRA 微调模型 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fhuggingface\u002Ftransformers?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Ftransformers>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Ftransformers\" width=150\u002F>\u003C\u002Fa> |\n| [Replicate](https:\u002F\u002Freplicate.com\u002F) | 一个 AI 托管平台和模型推理枢纽，允许软件开发者将 AI 模型集成到他们的应用程序中 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Freplicate\u002Fcog>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Freplicate\u002Fcog?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Freplicate>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Freplicate\" width=150\u002F>\u003C\u002Fa> |\n| [Anyscale](https:\u002F\u002Fwww.anyscale.com\u002F) | 一个 AI API 和计算平台，允许开发者使用 Ray 将任何模型的推理、训练和嵌入计算进行扩展 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fray-project\u002Fray>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fray-project\u002Fray?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fray>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fray\" width=150\u002F>\u003C\u002Fa> |\n| [Ollama](https:\u002F\u002Follama.ai\u002F) | 在本地快速启动和运行大型语言模型 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Follama\u002Follama>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Follama\u002Follama?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Follama\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Follama\" width=150\u002F>\u003C\u002Fa> |\n| [GPT4ALL](https:\u002F\u002Fgpt4all.io\u002Findex.html) | 一个开源的边缘计算大型语言模型生态系统。 | \u003Ca href=https:\u002F\u002Fgithub.com\u002Fnomic-ai\u002Fgpt4all>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fnomic-ai\u002Fgpt4all?style=social\" width=90\u002F>\u003C\u002Fa> | \u003Ca href=https:\u002F\u002Fpypi.org\u002Fproject\u002Fgpt4all\u002F>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdw\u002Fgpt4all\" width=150\u002F>\u003C\u002Fa> |\n\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### 应用托管平台\n| 名称（网站） | 描述 |\n|------------|------------|\n| [Vercel](https:\u002F\u002Fvercel.com\u002F) | 一个专为前端工程师设计的云平台，提供对大型语言模型应用的一流支持 |\n| [Netlify](https:\u002F\u002Fwww.netlify.com\u002F) | 一家企业级云计算公司，提供用于构建 Web 应用和动态网站的开发平台 |\n| [Steamship](https:\u002F\u002Fsteamship.com\u002F) | 一个用于 AI 代理和工具的 SDK 及托管平台，既是包管理器，也是 AI 相关包的托管服务 |\n| [Streamlit](https:\u002F\u002Fstreamlit.io\u002F) | 一个开源 Python 库，旨在创建和分享面向机器学习与数据科学的自定义 Web 应用 |\n| [Modal](https:\u002F\u002Fmodal.com) | 一个平台，允许使用 Modal Python 包运行分布式应用程序 |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### 云服务提供商\n| 名称（网站） | 描述 |\n|------------|------------|\n| [亚马逊网络服务](https:\u002F\u002Faws.amazon.com\u002F) | 一个云计算平台，通过全球数据中心提供各类服务 |\n| [谷歌云平台](https:\u002F\u002Fcloud.google.com\u002F) | 一个云计算平台，通过全球数据中心提供各类服务 |\n| [微软 Azure](https:\u002F\u002Fazure.microsoft.com\u002F) | 一个云计算平台，通过全球数据中心提供各类服务 |\n| [CoreWeave](https:\u002F\u002Fcoreweave.com\u002F) | 一家专注于提供 GPU 资源的云服务商，基于灵活的部署基础设施 |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n### 特色云平台\n| 名称（网站） | 描述 |\n|------------|------------|\n| [Databricks (MosaicML)](https:\u002F\u002Fdatabricks.com\u002F) | Databricks 于 2023 年收购了 Mosaic ML，及其用于高效预训练、微调和推理大型语言模型的工具与平台 |\n| [Anyscale](https:\u002F\u002Fanyscale.com\u002F) | 一个 AI 计算平台，使开发者能够利用 Ray 框架扩展任何模型的推理、训练和嵌入计算 |\n| [Modal](https:\u002F\u002Fmodal.com) | 一个平台，允许使用 Modal Python 包运行分布式应用程序 |\n| [Runpod](https:\u002F\u002Frunpod.io\u002F) | 一个专为 AI 和机器学习应用设计的云计算平台 |\n| [OctoML](https:\u002F\u002Foctoml.ai\u002F) | 一种计算服务，允许用户运行、调优并扩展生成式模型 |\n| [Baseten](https:\u002F\u002Fbaseten.co\u002F) | 一个推理服务，允许用户部署、服务和扩展自定义及开源模型 |\n| [E2B](https:\u002F\u002Fgithub.com\u002Fe2b-dev\u002Fe2b) | 专为 AI 代理和 AI 应用打造的安全沙箱云环境 |\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>\n\n\u003Cbr>\n\u003Cbr>\n\u003Cbr>\n\n\n## 格式化提示模板\n我们已经部分实现了自动化——尤其是查找 GitHub 和 PyPI 链接——借助这个 [Perplexity 搜索提示](https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllm-app-stack\u002Fblob\u002Fmain\u002Ftable_construction_prompts\u002Fprompt_1_search.txt)。该方法大约 75% 的时间有效，每次可处理约 3 个项目，每次迭代从 20 到 30 个来源提取数据。\n\n\u003Cimg width=\"709\" alt=\"image\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fa16z-infra_llm-app-stack_readme_af586a61ac41.png\">\n\n\n一旦你收集到想要添加的数据，如果不想手动处理 Markdown 格式，可以使用像 [Cursor](https:\u002F\u002Fcursor.sh\u002F) 这样的工具轻松完成格式化。\n\n请参阅以下可在编辑时直接使用的提示：只需高亮显示 4–5 个之前的示例，Cursor 就能自动推断出正确的格式：\n\n\u003Cimg width=\"838\" alt=\"image\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fa16z-infra_llm-app-stack_readme_273c3933670a.png\">\n\n\n\n\u003Cp style=\"text-align: right;\">\u003Ca href=\"#table-of-contents\">^ 返回目录 ^\u003C\u002Fa>\u003C\u002Fp>","# llm-app-stack 快速上手指南\n\n**注意**：`llm-app-stack` 并非一个单一的、可安装的软件包或框架，而是由 a16z 维护的一份**大语言模型（LLM）应用架构工具清单**。它汇总了构建 LLM 应用所需各层级（如数据管道、向量数据库、编排器等）的开源项目、商业服务和供应商。\n\n本指南旨在帮助中国开发者快速理解该清单的结构，并根据自身需求从列表中选择合适的工具进行集成开发。\n\n## 1. 环境准备\n\n由于本项目是资源索引而非运行时库，无需特定的系统环境。但在实际使用清单中推荐的工具时，通常需要以下基础环境：\n\n*   **操作系统**：Linux, macOS, 或 Windows (WSL2 推荐)\n*   **编程语言**：Python 3.8+ (绝大多数列出的工具基于 Python)\n*   **包管理器**：`pip` 或 `conda`\n*   **容器技术**：Docker & Docker Compose (用于部署本地向量数据库或开源 LLM)\n*   **网络环境**：访问 GitHub 及部分海外 API 服务可能需要网络加速配置。\n\n## 2. 获取与浏览清单\n\n你不需要“安装”此清单，只需克隆仓库或直接在线浏览，以便查找适合你项目的工具。\n\n### 克隆仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllm-app-stack.git\ncd llm-app-stack\n```\n\n### 浏览方式\n*   **在线浏览**：直接访问 GitHub 仓库页面查看分类表格。\n*   **本地查看**：打开 `README.md` 文件，利用目录跳转至感兴趣的技术层级（如 `Vector Databases`, `Embedding Models` 等）。\n\n## 3. 基本使用流程\n\n使用该清单的核心逻辑是：**定位需求 -> 选择工具 -> 安装具体工具 -> 集成开发**。\n\n### 步骤一：定位技术层级\n根据 `llm-app-stack` 的目录结构，确定你当前开发阶段需要的组件：\n1.  **数据处理**：参考 `Data Pipelines` (如 Unstructured.io 处理 PDF)。\n2.  **向量化**：参考 `Embedding Models` (如 Sentence Transformers)。\n3.  **存储**：参考 `Vector Databases` (如 ChromaDB, Milvus)。\n4.  **编排与应用**：参考 `Orchestrators` 和 `Playgrounds`。\n\n### 步骤二：选择并安装具体工具\n假设你需要构建一个基于本地文档的问答应用，根据清单推荐，可以选择 **ChromaDB** (向量库) 和 **Sentence Transformers** (嵌入模型)。\n\n**安装示例命令：**\n\n```bash\n# 安装向量数据库客户端\npip install chromadb\n\n# 安装开源嵌入模型框架\npip install sentence-transformers\n\n# 如果需要使用国内镜像源加速安装\npip install chromadb sentence-transformers -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n*(注：若选择需要 Docker 部署的工具如 Milvus 或 Weaviate，请参考该项目具体的 GitHub 文档运行 `docker-compose up -d`)*\n\n### 步骤三：最小化集成示例\n以下是一个结合清单中推荐工具的简单 Python 代码示例，展示如何将文本嵌入并存入向量库：\n\n```python\nfrom sentence_transformers import SentenceTransformer\nimport chromadb\n\n# 1. 初始化嵌入模型 (参考 Embedding Models 章节)\n# 使用开源模型，无需 API Key\nmodel = SentenceTransformer('all-MiniLM-L6-v2')\n\n# 2. 初始化向量数据库 (参考 Vector Databases 章节)\nclient = chromadb.Client()\ncollection = client.create_collection(\"my_docs\")\n\n# 3. 准备数据\ntexts = [\"LLM 应用架构正在快速发展\", \"向量数据库是 RAG 的核心组件\"]\nembeddings = model.encode(texts).tolist()\n\n# 4. 存入数据库\ncollection.add(\n    embeddings=embeddings,\n    documents=texts,\n    ids=[\"doc1\", \"doc2\"]\n)\n\n# 5. 执行搜索\nquery = \"什么是 RAG 的核心？\"\nquery_embedding = model.encode([query]).tolist()\nresults = collection.query(query_embeddings=query_embedding, n_results=1)\n\nprint(f\"搜索结果: {results['documents'][0][0]}\")\n```\n\n## 4. 国内开发者特别建议\n\n在使用 `llm-app-stack` 清单中的工具时，针对国内网络环境，建议优先考虑以下替代或加速方案：\n\n*   **向量数据库**：清单中的 **Milvus (Zilliz)**  originated from China，对中文社区支持友好，文档齐全，且提供云原生服务。\n*   **模型下载**：使用 `sentence-transformers` 或其他 HuggingFace 模型时，建议配置 `HF_ENDPOINT` 环境变量使用镜像站：\n    ```bash\n    export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\n    ```\n*   **LLM API**：清单中包含大量 proprietary APIs (如 OpenAI)。在国内开发时，可关注清单中 `LLM APIs (open source)` 部分，结合本地部署（如通过 vLLM, Ollama）或使用国内大模型厂商提供的兼容接口。","某初创团队正急于构建一款基于企业内部文档的智能客服系统，需要在短时间内完成从数据清洗到模型部署的全流程搭建。\n\n### 没有 llm-app-stack 时\n- **选型迷茫耗时久**：面对市面上数百个向量数据库和 Embedding 模型，团队花费两周时间调研仍难以确定最佳组合，严重拖慢项目启动进度。\n- **架构设计碎片化**：缺乏统一参考，开发人员各自为战，导致数据管道（如 Airflow）与编排层（Orchestrators）对接困难，系统耦合度高且不稳定。\n- **关键组件易遗漏**：初期架构未考虑 LLM 缓存和监控评估环节，上线后因响应延迟高且无法追踪坏案，被迫停机重构。\n- **重复造轮子**：团队需手动搜集各层级工具的 GitHub 仓库和安装数据，甚至自行编写脚本验证工具活跃度，浪费大量工程资源。\n\n### 使用 llm-app-stack 后\n- **一键锁定技术栈**：直接参考 llm-app-stack 中按层级分类的清单，迅速选定 Unstructured 处理文档、Chroma 存储向量、LangChain 进行编排，将选型周期缩短至 2 天。\n- **架构蓝图清晰化**：依据其提供的“新兴架构图”，团队一次性规划好包含数据管道、API 插件及日志监控的完整闭环，确保各模块无缝集成。\n- **规避生产陷阱**：通过清单中推荐的 Logging\u002FMonitoring 和 Validator 类工具，在开发阶段即植入评估体系，有效预防了上线后的性能瓶颈与幻觉问题。\n- **决策数据透明**：利用列表中集成的 GitHub 星标数和 Pip 下载量指标，快速筛选出社区活跃、维护良好的开源项目，降低技术债务风险。\n\nllm-app-stack 不仅是一张工具清单，更是大模型应用开发的“导航图”，帮助团队从混乱的生态中快速构建出稳健、可扩展的生产级架构。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fa16z-infra_llm-app-stack_a035b289.png","a16z-infra","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fa16z-infra_52e1e862.png","https:\u002F\u002Fgithub.com\u002Fa16z-infra",1301,147,"2026-04-14T21:46:22",1,"","未说明",{"notes":82,"python":80,"dependencies":83},"该仓库（llm-app-stack）并非一个可直接运行的单一软件工具，而是一份关于构建 LLM 应用程序所需各类工具、项目和供应商的综合列表（涵盖数据管道、嵌入模型、向量数据库等类别）。因此，README 中未提供具体的操作系统、GPU、内存、Python 版本或依赖库的安装需求。用户需根据列表中选择的具体子项目（如 ChromaDB, Ray, Sentence Transformers 等）查阅其各自的文档以获取运行环境要求。",[],[14,16],"2026-03-27T02:49:30.150509","2026-04-20T21:05:56.169571",[],[]]