[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ray-project--llm-applications":3,"tool-ray-project--llm-applications":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",157379,2,"2026-04-15T23:32:42",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":96,"forks":97,"last_commit_at":98,"license":99,"difficulty_score":100,"env_os":101,"env_gpu":102,"env_ram":103,"env_deps":104,"category_tags":111,"github_topics":112,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":119,"updated_at":120,"faqs":121,"releases":132},7962,"ray-project\u002Fllm-applications","llm-applications","A comprehensive guide to building RAG-based LLM applications for production.","llm-applications 是一份由 Ray 项目团队推出的实战指南，旨在帮助开发者从零构建并部署基于检索增强生成（RAG）技术的大语言模型应用。它主要解决了企业在将 LLM 落地生产环境时面临的诸多挑战，包括如何高效处理数据加载与分块、如何扩展嵌入与索引服务、如何评估不同配置下的检索质量，以及如何实现高可用性的服务部署。\n\n这份资源特别适合具有一定开发经验的工程师、AI 研究人员以及希望深入理解 RAG 架构的技术团队。与普通教程不同，llm-applications 不仅提供理论讲解，还包含了完整的交互式 Notebook 代码示例，让用户能够亲手实践从数据准备到模型服务的全流程。其独特的技术亮点在于引入了混合路由策略，巧妙桥接开源模型（如 Llama-2）与闭源模型（如 GPT-4），在控制成本的同时优化整体性能；同时，它还详细展示了如何利用 Ray 框架对应用的关键组件进行大规模分布式扩展，确保系统在生产环境中稳定运行。无论是想快速原型验证，还是构建企业级高并发应用，llm-applications 都提供了清晰的路径和实用的工具支持。","# LLM Applications\n\nA comprehensive guide to building RAG-based LLM applications for production.\n\n- **Blog post**: https:\u002F\u002Fwww.anyscale.com\u002Fblog\u002Fa-comprehensive-guide-for-building-rag-based-llm-applications-part-1\n- **GitHub repository**: https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications\n- **Interactive notebook**: https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications\u002Fblob\u002Fmain\u002Fnotebooks\u002Frag.ipynb\n- **Anyscale Endpoints**: https:\u002F\u002Fendpoints.anyscale.com\u002F\n- **Ray documentation**: https:\u002F\u002Fdocs.ray.io\u002F\n\nIn this guide, we will learn how to:\n\n- 💻 Develop a retrieval augmented generation (RAG) based LLM application from scratch.\n- 🚀 Scale the major components (load, chunk, embed, index, serve, etc.) in our application.\n- ✅ Evaluate different configurations of our application to optimize for both per-component (ex. retrieval_score) and overall performance (quality_score).\n- 🔀 Implement LLM hybrid routing approach to bridge the gap b\u002Fw OSS and closed LLMs.\n- 📦 Serve the application in a highly scalable and available manner.\n- 💥 Share the 1st order and 2nd order impacts LLM applications have had on our products.\n\n\u003Cbr>\n\u003Cimg width=\"800\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fray-project_llm-applications_readme_74d97a4b47ec.png\">\n\n## Setup\n\n### API keys\nWe'll be using [OpenAI](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fmodels\u002F) to access ChatGPT models like `gpt-3.5-turbo`, `gpt-4`, etc. and [Anyscale Endpoints](https:\u002F\u002Fendpoints.anyscale.com\u002F) to access OSS LLMs like `Llama-2-70b`. Be sure to create your accounts for both and have your credentials ready.\n\n### Compute\n\u003Cdetails>\n  \u003Csummary>Local\u003C\u002Fsummary>\n  You could run this on your local laptop but a we highly recommend using a setup with access to GPUs. You can set this up on your own or on [Anyscale](http:\u002F\u002Fanyscale.com\u002F).\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n  \u003Csummary>Anyscale\u003C\u002Fsummary>\u003Cbr>\n\u003Cul>\n\u003Cli>Start a new \u003Ca href=\"https:\u002F\u002Fconsole.anyscale-staging.com\u002Fo\u002Fanyscale-internal\u002Fworkspaces\">Anyscale workspace on staging\u003C\u002Fa> using an \u003Ca href=\"https:\u002F\u002Finstances.vantage.sh\u002Faws\u002Fec2\u002Fg3.8xlarge\">\u003Ccode>g3.8xlarge\u003C\u002Fcode>\u003C\u002Fa> head node, which has 2 GPUs and 32 CPUs. We can also add GPU worker nodes to run the workloads faster. If you're not on Anyscale, you can configure a similar instance on your cloud.\u003C\u002Fli>\n\u003Cli>Use the \u003Ca href=\"https:\u002F\u002Fdocs.anyscale.com\u002Freference\u002Fbase-images\u002Fray-262\u002Fpy39#ray-2-6-2-py39\">\u003Ccode>default_cluster_env_2.6.2_py39\u003C\u002Fcode>\u003C\u002Fa> cluster environment.\u003C\u002Fli>\n\u003Cli>Use the \u003Ccode>us-west-2\u003C\u002Fcode> if you'd like to use the artifacts in our shared storage (source docs, vector DB dumps, etc.).\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003C\u002Fdetails>\n\n### Repository\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications.git .\ngit config --global user.name \u003CGITHUB-USERNAME>\ngit config --global user.email \u003CEMAIL-ADDRESS>\n```\n\n### Data\nOur data is already ready at `\u002Fefs\u002Fshared_storage\u002Fgoku\u002Fdocs.ray.io\u002Fen\u002Fmaster\u002F` (on Staging, `us-east-1`) but if you wanted to load it yourself, run this bash command (change `\u002Fdesired\u002Foutput\u002Fdirectory`, but make sure it's on the shared storage,\nso that it's accessible to the workers)\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications.git .\n```\n\n### Environment\n\nThen set up the environment correctly by specifying the values in your `.env` file,\nand installing the dependencies:\n\n```bash\npip install --user -r requirements.txt\nexport PYTHONPATH=$PYTHONPATH:$PWD\npre-commit install\npre-commit autoupdate\n```\n\n### Credentials\n```bash\ntouch .env\n# Add environment variables to .env\nOPENAI_API_BASE=\"https:\u002F\u002Fapi.openai.com\u002Fv1\"\nOPENAI_API_KEY=\"\"  # https:\u002F\u002Fplatform.openai.com\u002Faccount\u002Fapi-keys\nANYSCALE_API_BASE=\"https:\u002F\u002Fapi.endpoints.anyscale.com\u002Fv1\"\nANYSCALE_API_KEY=\"\"  # https:\u002F\u002Fapp.endpoints.anyscale.com\u002Fcredentials\nDB_CONNECTION_STRING=\"dbname=postgres user=postgres host=localhost password=postgres\"\nsource .env\n```\n\nNow we're ready to go through the [rag.ipynb](notebooks\u002Frag.ipynb) interactive notebook to develop and serve our LLM application!\n\n### Learn more\n- If your team is investing heavily in developing LLM applications, [reach out](mailto:endpoints-help@anyscale.com) to us to learn more about how [Ray](https:\u002F\u002Fgithub.com\u002Fray-project\u002Fray) and [Anyscale](http:\u002F\u002Fanyscale.com\u002F) can help you scale and productionize everything.\n- Start serving (+fine-tuning) OSS LLMs with [Anyscale Endpoints](https:\u002F\u002Fendpoints.anyscale.com\u002F) ($1\u002FM tokens for `Llama-3-70b`) and private endpoints available upon request (1M free tokens trial).\n- Learn more about how companies like OpenAI, Netflix, Pinterest, Verizon, Instacart and others leverage Ray and Anyscale for their AI workloads at the [Ray Summit 2024](https:\u002F\u002Fraysummit.anyscale.com\u002F) this Sept 18-20 in San Francisco.\n","# 大模型应用\n\n构建基于 RAG 的大模型应用以投入生产环境的全面指南。\n\n- **博客文章**: https:\u002F\u002Fwww.anyscale.com\u002Fblog\u002Fa-comprehensive-guide-for-building-rag-based-llm-applications-part-1\n- **GitHub 仓库**: https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications\n- **交互式笔记本**: https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications\u002Fblob\u002Fmain\u002Fnotebooks\u002Frag.ipynb\n- **Anyscale Endpoints**: https:\u002F\u002Fendpoints.anyscale.com\u002F\n- **Ray 文档**: https:\u002F\u002Fdocs.ray.io\u002F\n\n在本指南中，我们将学习如何：\n\n- 💻 从零开始开发一个基于检索增强生成（RAG）的大模型应用。\n- 🚀 扩展应用中的各个主要组件（加载、分块、嵌入、索引、服务等）。\n- ✅ 评估应用的不同配置，以优化单个组件性能（例如 retrieval_score）和整体性能（quality_score）。\n- 🔀 实现大模型混合路由方法，以弥合开源与闭源大模型之间的差距。\n- 📦 以高度可扩展和高可用的方式部署应用。\n- 💥 分享大模型应用对我们产品产生的直接和间接影响。\n\n\u003Cbr>\n\u003Cimg width=\"800\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fray-project_llm-applications_readme_74d97a4b47ec.png\">\n\n## 环境准备\n\n### API 密钥\n我们将使用 [OpenAI](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fmodels\u002F) 来访问 ChatGPT 模型，如 `gpt-3.5-turbo`、`gpt-4` 等；同时使用 [Anyscale Endpoints](https:\u002F\u002Fendpoints.anyscale.com\u002F) 来访问开源大模型，如 `Llama-2-70b`。请确保已注册这两个平台的账号，并准备好相应的凭证。\n\n### 计算资源\n\u003Cdetails>\n  \u003Csummary>本地\u003C\u002Fsummary>\n  您可以在本地笔记本电脑上运行本项目，但我们强烈建议使用具备 GPU 资源的环境。您可以自行搭建，或选择在 [Anyscale](http:\u002F\u002Fanyscale.com\u002F) 上进行配置。\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n  \u003Csummary>Anyscale\u003C\u002Fsummary>\u003Cbr>\n\u003Cul>\n\u003Cli>在 [Anyscale 工作空间控制台](https:\u002F\u002Fconsole.anyscale-staging.com\u002Fo\u002Fanyscale-internal\u002Fworkspaces) 上，使用带有 2 个 GPU 和 32 个 CPU 的 `g3.8xlarge` 主节点，在 staging 环境中创建一个新的 Anyscale 工作空间。我们还可以添加 GPU 工作节点以加快任务执行速度。如果您不在 Anyscale 平台上，也可以在自己的云环境中配置类似的实例。\u003C\u002Fli>\n\u003Cli>使用 [Ray 2.6.2 Py39 默认集群环境](https:\u002F\u002Fdocs.anyscale.com\u002Freference\u002Fbase-images\u002Fray-262\u002Fpy39#ray-2-6-2-py39)。\u003C\u002Fli>\n\u003Cli>如果您希望使用我们共享存储中的资源（原始文档、向量数据库转储等），请选择 `us-west-2` 区域。\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003C\u002Fdetails>\n\n### 代码库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications.git .\ngit config --global user.name \u003CGITHUB-USERNAME>\ngit config --global user.email \u003CEMAIL-ADDRESS>\n```\n\n### 数据\n我们的数据已准备就绪，位于 `\u002Fefs\u002Fshared_storage\u002Fgoku\u002Fdocs.ray.io\u002Fen\u002Fmaster\u002F`（Staging, `us-east-1`）。如果您希望自行加载数据，请运行以下命令（请将 `\u002Fdesired\u002Foutput\u002Fdirectory` 替换为您希望的路径，但务必将其放置在共享存储中，以便工作节点能够访问）：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications.git .\n```\n\n### 环境配置\n接下来，请通过 `.env` 文件正确设置环境变量，并安装依赖项：\n```bash\npip install --user -r requirements.txt\nexport PYTHONPATH=$PYTHONPATH:$PWD\npre-commit install\npre-commit autoupdate\n```\n\n### 凭证\n```bash\ntouch .env\n# 在 .env 中添加环境变量\nOPENAI_API_BASE=\"https:\u002F\u002Fapi.openai.com\u002Fv1\"\nOPENAI_API_KEY=\"\"  # OpenAI 账户的 API 密钥\nANYSCALE_API_BASE=\"https:\u002F\u002Fapi.endpoints.anyscale.com\u002Fv1\"\nANYSCALE_API_KEY=\"\"  # Anyscale 平台的 API 密钥\nDB_CONNECTION_STRING=\"dbname=postgres user=postgres host=localhost password=postgres\"\nsource .env\n```\n\n现在，我们已经准备好通过 [rag.ipynb](notebooks\u002Frag.ipynb) 交互式笔记本开发并部署我们的大模型应用！\n\n### 了解更多\n- 如果您的团队正在大力投入大模型应用的开发，请[联系我们](mailto:endpoints-help@anyscale.com)，了解 Ray 和 Anyscale 如何帮助您实现规模化和生产化。\n- 使用 [Anyscale Endpoints](https:\u002F\u002Fendpoints.anyscale.com\u002F) 开始部署（及微调）开源大模型（`Llama-3-70b` 每百万 tokens 仅需 $1），并可根据需求申请私有端点（提供 100 万 tokens 的免费试用）。\n- 了解 OpenAI、Netflix、Pinterest、Verizon、Instacart 等公司如何利用 Ray 和 Anyscale 处理其 AI 工作负载，请参加将于 9 月 18–20 日在旧金山举行的 [Ray Summit 2024](https:\u002F\u002Fraysummit.anyscale.com\u002F)。","# llm-applications 快速上手指南\n\n本指南旨在帮助开发者从零开始构建基于检索增强生成（RAG）的大语言模型（LLM）应用，并学习如何扩展、评估及部署生产级服务。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**：Linux 或 macOS（Windows 用户建议使用 WSL2）\n- **计算资源**：\n  - **本地运行**：推荐配备 GPU 的机器以获得最佳性能。\n  - **云端运行**：推荐使用 Anyscale 工作空间（配置 `g3.8xlarge` 头节点，含 2 GPU + 32 CPU），或在云服务商处配置类似实例。\n- **Python 版本**：建议 Python 3.9+\n\n### 前置依赖与账号\n在开始之前，请确保已注册以下服务并获取 API Key：\n1. **OpenAI**：用于访问 `gpt-3.5-turbo`、`gpt-4` 等模型。\n   - 获取地址：https:\u002F\u002Fplatform.openai.com\u002Faccount\u002Fapi-keys\n2. **Anyscale Endpoints**：用于访问开源模型（如 `Llama-2-70b`）。\n   - 获取地址：https:\u002F\u002Fapp.endpoints.anyscale.com\u002Fcredentials\n3. **数据库**：本地需具备 PostgreSQL 环境（或使用默认配置连接本地库）。\n\n> **注意**：国内开发者若无法直接访问 OpenAI 或 Anyscale 服务，请自行配置网络代理或在 `.env` 文件中设置相应的代理地址。\n\n## 安装步骤\n\n### 1. 克隆代码仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications.git .\ncd llm-applications\ngit config --global user.name \u003CGITHUB-USERNAME>\ngit config --global user.email \u003CEMAIL-ADDRESS>\n```\n\n### 2. 配置环境变量与凭证\n创建 `.env` 文件并填入您的 API 密钥及数据库连接信息：\n\n```bash\ntouch .env\n```\n\n编辑 `.env` 文件，内容如下（请替换为您的真实密钥）：\n```bash\nOPENAI_API_BASE=\"https:\u002F\u002Fapi.openai.com\u002Fv1\"\nOPENAI_API_KEY=\"sk-...\"  # 填入您的 OpenAI API Key\nANYSCALE_API_BASE=\"https:\u002F\u002Fapi.endpoints.anyscale.com\u002Fv1\"\nANYSCALE_API_KEY=\"...\"   # 填入您的 Anyscale API Key\nDB_CONNECTION_STRING=\"dbname=postgres user=postgres host=localhost password=postgres\"\n```\n\n加载环境变量：\n```bash\nsource .env\n```\n\n### 3. 安装依赖\n安装项目所需的 Python 包并配置开发环境：\n\n```bash\npip install --user -r requirements.txt\nexport PYTHONPATH=$PYTHONPATH:$PWD\npre-commit install\npre-commit autoupdate\n```\n\n> **提示**：若下载依赖较慢，可临时指定国内镜像源，例如：\n> `pip install --user -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 4. 数据准备\n项目默认数据位于共享存储路径 `\u002Fefs\u002Fshared_storage\u002Fgoku\u002Fdocs.ray.io\u002Fen\u002Fmaster\u002F`（适用于 Anyscale Staging 环境）。\n若在本地或其他环境运行，需确保数据目录对 Worker 节点可见，或自行下载数据至指定共享目录。\n\n## 基本使用\n\n完成上述配置后，即可通过交互式 Notebook 开始开发和运行 RAG 应用。\n\n### 启动交互式开发\n运行以下命令打开 Jupyter Notebook（确保已安装 jupyter 或在 Anyscale 工作空间中操作）：\n\n```bash\njupyter notebook notebooks\u002Frag.ipynb\n```\n\n### 核心流程概览\n在 `rag.ipynb` 中，您将按顺序执行以下核心步骤：\n1. **数据加载与分块**：加载文档并将其切分为适合检索的片段。\n2. **嵌入与索引**：使用 Embedding 模型向量化数据并存入向量数据库。\n3. **检索与生成**：构建检索链，结合 LLM 生成回答。\n4. **评估优化**：测试不同配置下的检索分数（retrieval_score）和质量分数（quality_score）。\n5. **混合路由**：实现开源模型与闭源模型的混合路由策略。\n6. **服务部署**：将应用扩展为高可用、高并发的生产服务。\n\n### 验证运行\n在 Notebook 中执行第一个代码单元格，系统将自动检查环境变量并尝试连接模型端点。若未报错且能返回模型列表或简单的测试结果，即表示环境配置成功。\n\n接下来请跟随 Notebook 中的注释逐步探索完整的 RAG 应用构建流程。","某大型电商企业的技术团队正致力于构建一个能实时回答用户关于复杂商品文档（如电子产品说明书、合规政策）的智能客服系统。\n\n### 没有 llm-applications 时\n- **开发门槛高且零散**：团队需从零摸索 RAG 架构，手动拼接数据加载、分块、嵌入及索引代码，缺乏统一的最佳实践指导，导致原型开发耗时数周。\n- **扩展性瓶颈明显**：当文档量激增或并发查询变大时，单机脚本无法有效利用多 GPU 资源，导致响应延迟高达数秒，难以支撑生产环境流量。\n- **效果评估靠“猜”**：缺乏系统的评估框架，团队无法量化检索准确率或生成质量，只能凭主观感觉调整参数，优化过程盲目且低效。\n- **模型选择僵化**：难以灵活切换或混合使用开源模型（如 Llama-2）与闭源模型（如 GPT-4），导致在成本与性能之间难以找到平衡点。\n\n### 使用 llm-applications 后\n- **全流程标准化开发**：借助其提供的完整指南和交互式 Notebook，团队迅速从零构建了标准的 RAG 应用，将原型验证时间缩短至几天内。\n- **原生分布式扩展**：基于 Ray 架构，轻松将数据处理和推理任务横向扩展至多节点集群，显著降低延迟，实现高并发下的毫秒级响应。\n- **科学量化评估**：利用内置的评估模块，团队可针对不同配置测试检索分数和质量分数，数据驱动地优化了系统整体表现。\n- **灵活混合路由**：实现了开源与闭源模型的混合路由策略，在简单问题上自动调用低成本开源模型，复杂问题才动用高性能闭源模型，大幅节省算力成本。\n\nllm-applications 通过提供从开发、扩展到评估的一站式生产级方案，帮助团队将不稳定的实验代码转化为高可用、低成本的商业级 AI 应用。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fray-project_llm-applications_9349fbfc.png","ray-project","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fray-project_341db8ae.png","",null,"raydistributed","https:\u002F\u002Fdocs.ray.io","https:\u002F\u002Fgithub.com\u002Fray-project",[80,84,88,92],{"name":81,"color":82,"percentage":83},"Jupyter Notebook","#DA5B0B",95.4,{"name":85,"color":86,"percentage":87},"Python","#3572A5",4.3,{"name":89,"color":90,"percentage":91},"Shell","#89e051",0.3,{"name":93,"color":94,"percentage":95},"Makefile","#427819",0,1855,254,"2026-04-11T00:57:27","CC-BY-4.0",4,"Linux, macOS","推荐需要 GPU（本地运行建议配备 GPU，Anyscale 环境示例使用 g3.8xlarge 实例含 2 个 GPU）；具体型号、显存大小及 CUDA 版本未说明","推荐 32 CPU 核心配套内存（基于 g3.8xlarge 实例推断），最低需求未说明",{"notes":105,"python":106,"dependencies":107},"1. 必须配置 OpenAI API Key 和 Anyscale API Key 才能运行。\n2. 推荐使用 Anyscale 平台或配置类似的云实例（如 AWS g3.8xlarge）以获得最佳性能。\n3. 数据默认存储在共享文件系统（EFS）中，若自行加载需确保路径对 worker 节点可见。\n4. 项目依赖通过 requirements.txt 安装，并建议使用 pre-commit 进行代码检查。\n5. 支持混合路由策略以连接开源和闭源大模型。","3.9 (基于 default_cluster_env_2.6.2_py39)",[108,109,110],"ray","openai","requirements.txt 中定义的依赖",[35,52,14],[113,114,108,115,116,117,109,118],"llms","machine-learning","anyscale","fine-tuning","llama2","serving","2026-03-27T02:49:30.150509","2026-04-16T08:12:14.435409",[122,127],{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},35645,"在 Notebook 中提到的 SQL dump 文件在哪里？如何定位该文件？","路径 `\u002Fefs\u002Fshared_storage\u002Fgoku\u002F` 是用户保存网页的本地目录。完整的 SQL dump 文件位于该目录下的 `sql_dumps\u002Fgte-base_300_50.sql`。生成该文件的完整 Bash 代码如下：\n\n```bash\n%%bash\n# 保存索引\nexport SQL_DUMP_FP=\"\u002Fefs\u002Fshared_storage\u002Fgoku\u002Fsql_dumps\u002Fgte-base_300_50.sql\"\nmkdir -p $(dirname \"$SQL_DUMP_FP\") && touch $SQL_DUMP_FP\nsudo -u postgres pg_dump -c > $SQL_DUMP_FP  # 保存操作\n```\n请确保您有权限访问该路径或已正确挂载存储。","https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications\u002Fissues\u002F53",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},35646,"如何在命令行界面 (CLI) 中使用 serve.py 脚本启动 Ray 服务器？","首先，确保您的 `server.py` 文件末尾包含以下代码以绑定部署并运行服务：\n\n```python\ndeployment = RayAssistantDeployment.bind(parameter1=value1, parameter2=value2, ...)\nserve.run(deployment, route_prefix=\"\u002F\")\n```\n\n然后，在包含 `server.py` 的目录下打开终端，执行以下步骤：\n\n1. 启动 Ray 头节点：\n   ```bash\n   ray start --head\n   ```\n2. 运行服务脚本：\n   ```bash\n   python serve.py\n   ```\n3. 访问 http:\u002F\u002F127.0.0.1:8265\u002F 查看 Ray 仪表盘。\n4. 停止服务时运行：\n   ```bash\n   ray stop\n   ```\n\n测试 API 调用示例：\n```bash\ncurl --location 'http:\u002F\u002F127.0.0.1:8000\u002Fquery' \\\n--header 'Content-Type: application\u002Fjson' \\\n--data '{\n    \"query\": \"What is going on?\"\n}'\n```","https:\u002F\u002Fgithub.com\u002Fray-project\u002Fllm-applications\u002Fissues\u002F81",[133,138,142,146,150,154,158,162],{"id":134,"version":135,"summary_zh":136,"released_at":137},280877,"v0.0.9","这会更新服务并添加日志记录。","2023-09-17T19:22:49",{"id":139,"version":140,"summary_zh":75,"released_at":141},280878,"v0.0.8","2023-09-01T02:25:45",{"id":143,"version":144,"summary_zh":75,"released_at":145},280879,"v0.0.7","2023-08-25T00:40:12",{"id":147,"version":148,"summary_zh":75,"released_at":149},280880,"v0.0.5","2023-08-24T23:59:10",{"id":151,"version":152,"summary_zh":75,"released_at":153},280881,"v0.0.4","2023-08-24T23:47:21",{"id":155,"version":156,"summary_zh":75,"released_at":157},280882,"v0.0.3","2023-08-24T23:35:36",{"id":159,"version":160,"summary_zh":75,"released_at":161},280883,"v0.0.2","2023-08-24T21:27:25",{"id":163,"version":164,"summary_zh":165,"released_at":166},280884,"v0.0.1","这是首个可用于试用 Ray Assistant 的版本。","2023-08-24T20:45:19"]