[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-scaleapi--llm-engine":3,"tool-scaleapi--llm-engine":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",156804,2,"2026-04-15T11:34:33",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":77,"owner_twitter":76,"owner_website":78,"owner_url":79,"languages":80,"stars":104,"forks":105,"last_commit_at":106,"license":107,"difficulty_score":32,"env_os":108,"env_gpu":109,"env_ram":108,"env_deps":110,"category_tags":114,"github_topics":115,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":120,"updated_at":121,"faqs":122,"releases":123},7847,"scaleapi\u002Fllm-engine","llm-engine","Scale LLM Engine public repository","llm-engine 是 Scale 推出的开源引擎，旨在简化大语言模型（LLM）的微调与部署流程。面对基础模型日益成为 AI 核心组件的现状，开发者往往面临云端部署成本高、基础设施搭建复杂以及技术迭代快难以维护等挑战。llm-engine 通过提供 Python 库、命令行工具和 Helm 图表，让用户既能便捷地使用 Scale 托管服务，也能在自有 Kubernetes 集群中轻松运行模型推理和微调任务。\n\n这款工具特别适合需要定制化 AI 能力的开发者、机器学习工程师及研究人员。它支持一键部署 LLaMA、MPT、Falcon 等主流开源模型，并兼容 Hugging Face 生态，允许用户利用私有数据对模型进行微调以优化性能。在技术亮点方面，llm-engine 提供了优化的推理 API，支持流式响应和动态批处理，显著降低延迟并提升吞吐量。此外，其独特的自动扩缩容机制能在无请求时将模型缩放至零，并在数秒内快速唤醒，有效避免 GPU 闲置，从而大幅降低成本。无论是快速原型验证还是生产环境部署，llm-engine 都为构建高效、经济的 AI 应用提供了坚实的技术支撑。","# LLM Engine\n\n[![LICENSE](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fscaleapi\u002Fllm-engine.svg)](https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fblob\u002Fmaster\u002FLICENSE)\n[![Release Notes](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Frelease\u002Fscaleapi\u002Fllm-engine)](https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Freleases)\n[![CircleCI](https:\u002F\u002Fcircleci.com\u002Fgh\u002Fscaleapi\u002Fllm-engine.svg?style=shield)](https:\u002F\u002Fcircleci.com\u002Fgh\u002Fscaleapi\u002Fllm-engine)\n\n🚀 **The open source engine for fine-tuning and serving large language models**. 🚀\n\nScale's LLM Engine is the easiest way to customize and serve LLMs. In LLM Engine, models can be accessed via Scale's hosted version or by using the Helm charts in this repository to run model inference and fine-tuning in your own infrastructure.\n\n## 💻 Quick Install\n\n```commandline\npip install scale-llm-engine\n```\n\n## 🤔 About\n\nFoundation models are emerging as the building blocks of AI. However,\ndeploying these models to the cloud and fine-tuning them are expensive\noperations that require infrastructure and ML expertise. It is also difficult\nto maintain over time as new models are released and new techniques for both\ninference and fine-tuning are made available.\n\nLLM Engine is a Python library, CLI, and Helm chart that provides\neverything you need to serve and fine-tune foundation models, whether you use\nScale's hosted infrastructure or do it in your own cloud infrastructure using\nKubernetes.\n\n### Key Features\n\n🎁 **Ready-to-use APIs for your favorite models**: Deploy and serve\nopen-source foundation models — including LLaMA, MPT and Falcon.\nUse Scale-hosted models or deploy to your own infrastructure.\n\n🔧 **Fine-tune foundation models**: Fine-tune open-source foundation\nmodels on your own data for optimized performance.\n\n🎙️ **Optimized Inference**: LLM Engine provides inference APIs\nfor streaming responses and dynamically batching inputs for higher throughput\nand lower latency.\n\n🤗 **Open-Source Integrations**: Deploy any [Hugging Face](https:\u002F\u002Fhuggingface.co\u002F)\nmodel with a single command.\n\n### Features Coming Soon\n\n🐳 **K8s Installation Documentation**: We are working hard to document installation and\nmaintenance of inference and fine-tuning functionality on your own infrastructure.\nFor now, our documentation covers using our client libraries to access Scale's\nhosted infrastructure.\n\n❄ **Fast Cold-Start Times**: To prevent GPUs from idling, LLM Engine\nautomatically scales your model to zero when it's not in use and scales up\nwithin seconds, even for large foundation models.\n\n💸 **Cost Optimization**: Deploy AI models cheaper than commercial ones,\nincluding cold-start and warm-down times.\n\n## 🚀 Quick Start\n\nNavigate to [Scale Spellbook](https:\u002F\u002Fspellbook.scale.com\u002F) to first create \nan account, and then grab your API key on the [Settings](https:\u002F\u002Fspellbook.scale.com\u002Fsettings) \npage. Set this API key as the `SCALE_API_KEY` environment variable by adding the\nfollowing line to your `.zshrc` or `.bash_profile`:\n\n```commandline\nexport SCALE_API_KEY=\"[Your API key]\"\n```\n\nIf you run into an \"Invalid API Key\" error, you may need to run the `. ~\u002F.zshrc` command to \nre-read your updated `.zshrc`.\n\n\nWith your API key set, you can now send LLM Engine requests using the Python client. \nTry out this starter code:\n\n```py\nfrom llmengine import Completion\n\nresponse = Completion.create(\n    model=\"falcon-7b-instruct\",\n    prompt=\"I'm opening a pancake restaurant that specializes in unique pancake shapes, colors, and flavors. List 3 quirky names I could name my restaurant.\",\n    max_new_tokens=100,\n    temperature=0.2,\n)\n\nprint(response.output.text)\n```\n\nYou should see a successful completion of your given prompt!\n\n_What's next?_ Visit the [LLM Engine documentation pages](https:\u002F\u002Fscaleapi.github.io\u002Fllm-engine\u002F) for more on\nthe `Completion` and `FineTune` APIs and how to use them. Check out this [blog post](https:\u002F\u002Fscale.com\u002Fblog\u002Ffine-tune-llama-2) for an end-to-end example.\n","# LLM 引擎\n\n[![LICENSE](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fscaleapi\u002Fllm-engine.svg)](https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fblob\u002Fmaster\u002FLICENSE)\n[![Release Notes](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Frelease\u002Fscaleapi\u002Fllm-engine)](https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Freleases)\n[![CircleCI](https:\u002F\u002Fcircleci.com\u002Fgh\u002Fscaleapi\u002Fllm-engine.svg?style=shield)](https:\u002F\u002Fcircleci.com\u002Fgh\u002Fscaleapi\u002Fllm-engine)\n\n🚀 **用于微调和部署大型语言模型的开源引擎**。🚀\n\nScale 的 LLM 引擎是自定义和部署 LLM 的最简单方式。在 LLM 引擎中，您可以通过 Scale 的托管版本访问模型，也可以使用本仓库中的 Helm Chart，在您自己的基础设施中运行模型推理和微调。\n\n## 💻 快速安装\n\n```commandline\npip install scale-llm-engine\n```\n\n## 🤔 关于\n\n基础模型正逐渐成为构建 AI 的基石。然而，将这些模型部署到云端并进行微调是一项成本高昂的操作，需要相应的基础设施和机器学习专业知识。此外，随着新模型的发布以及新的推理和微调技术不断涌现，长期维护也颇具挑战。\n\nLLM 引擎是一个 Python 库、命令行工具和 Helm Chart，无论您使用 Scale 的托管基础设施，还是在自己的 Kubernetes 云基础设施上运行，它都能为您提供服务和微调基础模型所需的一切。\n\n### 核心特性\n\n🎁 **开箱即用的 API，支持您喜爱的模型**：部署并服务开源基础模型——包括 LLaMA、MPT 和 Falcon。您可以选择 Scale 托管的模型，也可以部署到您自己的基础设施。\n\n🔧 **微调基础模型**：利用您自己的数据对开源基础模型进行微调，以获得更优的性能。\n\n🎙️ **优化的推理**：LLM 引擎提供流式响应的推理 API，并能动态批处理输入，从而提升吞吐量、降低延迟。\n\n🤗 **开源集成**：只需一条命令，即可部署任何 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002F) 模型。\n\n### 即将推出的功能\n\n🐳 **K8s 安装文档**：我们正在努力编写关于在您自己的基础设施上安装和维护推理与微调功能的文档。目前，我们的文档主要介绍如何使用客户端库访问 Scale 的托管基础设施。\n\n❄ **快速冷启动时间**：为避免 GPU 空转，LLM 引擎会在模型不使用时自动缩放至零，并在几秒钟内迅速扩容，即使是大型基础模型也不例外。\n\n💸 **成本优化**：相比商业解决方案，您的 AI 模型部署成本更低，包括冷启动和热缩放的时间开销。\n\n## 🚀 快速入门\n\n请先前往 [Scale Spellbook](https:\u002F\u002Fspellbook.scale.com\u002F) 创建账户，然后在 [设置](https:\u002F\u002Fspellbook.scale.com\u002Fsettings) 页面获取您的 API 密钥。将该 API 密钥设置为 `SCALE_API_KEY` 环境变量，方法是在您的 `.zshrc` 或 `.bash_profile` 文件中添加以下行：\n\n```commandline\nexport SCALE_API_KEY=\"[您的 API 密钥]\"\n```\n\n如果遇到“无效的 API 密钥”错误，您可能需要运行 `. ~\u002F.zshrc` 命令来重新加载更新后的 `.zshrc` 文件。\n\nAPI 密钥设置完成后，您就可以使用 Python 客户端发送 LLM 引擎请求了。试试这段示例代码：\n\n```py\nfrom llmengine import Completion\n\nresponse = Completion.create(\n    model=\"falcon-7b-instruct\",\n    prompt=\"我打算开一家煎饼店，主打独特形状、颜色和口味的煎饼。请列出三个有趣的店名。\",\n    max_new_tokens=100,\n    temperature=0.2,\n)\n\nprint(response.output.text)\n```\n\n您应该会看到针对给定提示的成功响应！\n\n_接下来呢？_ 请访问 [LLM 引擎文档页面](https:\u002F\u002Fscaleapi.github.io\u002Fllm-engine\u002F) ，了解更多关于 `Completion` 和 `FineTune` API 的信息及其使用方法。您还可以查看这篇 [博客文章](https:\u002F\u002Fscale.com\u002Fblog\u002Ffine-tune-llama-2) ，其中提供了完整的端到端示例。","# LLM Engine 快速上手指南\n\nLLM Engine 是一个开源引擎，旨在简化大语言模型（LLM）的微调与服务部署。它支持通过 Scale 托管服务或自有 Kubernetes 基础设施来运行模型推理和微调任务，兼容 LLaMA、MPT、Falcon 等主流开源模型。\n\n## 环境准备\n\n在开始之前，请确保满足以下要求：\n\n*   **操作系统**：Linux、macOS 或 Windows（推荐 Linux 环境以获得最佳兼容性）。\n*   **Python 版本**：Python 3.8 及以上版本。\n*   **Scale 账号**：需要注册 [Scale Spellbook](https:\u002F\u002Fspellbook.scale.com\u002F) 账号并获取 API Key。\n*   **网络环境**：确保能够访问 Scale API 服务。\n\n## 安装步骤\n\n使用 pip 即可快速安装 LLM Engine Python 客户端：\n\n```commandline\npip install scale-llm-engine\n```\n\n> **提示**：如果下载速度较慢，可使用国内镜像源加速安装：\n> ```commandline\n> pip install scale-llm-engine -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n## 基本使用\n\n### 1. 配置 API Key\n\n登录 [Scale Spellbook Settings](https:\u002F\u002Fspellbook.scale.com\u002Fsettings) 页面复制您的 API Key，并将其设置为环境变量。\n\n根据您的 Shell 类型，将以下命令添加到 `~\u002F.zshrc` 或 `~\u002F.bash_profile` 文件中：\n\n```commandline\nexport SCALE_API_KEY=\"[Your API key]\"\n```\n\n保存文件后，执行以下命令使配置立即生效（若遇到 \"Invalid API Key\" 错误，请务必执行此步）：\n\n```commandline\nsource ~\u002F.zshrc\n# 或者\nsource ~\u002F.bash_profile\n```\n\n### 2. 运行首个推理请求\n\n配置完成后，您可以使用 Python 客户端调用模型。以下示例展示了如何使用 `falcon-7b-instruct` 模型生成创意内容：\n\n```py\nfrom llmengine import Completion\n\nresponse = Completion.create(\n    model=\"falcon-7b-instruct\",\n    prompt=\"I'm opening a pancake restaurant that specializes in unique pancake shapes, colors, and flavors. List 3 quirky names I could name my restaurant.\",\n    max_new_tokens=100,\n    temperature=0.2,\n)\n\nprint(response.output.text)\n```\n\n运行上述代码，您将看到模型针对提示词生成的回复内容。\n\n> **下一步**：如需了解更高级的 `FineTune`（微调）API 用法或端到端实战案例，请访问 [LLM Engine 官方文档](https:\u002F\u002Fscaleapi.github.io\u002Fllm-engine\u002F) 或参考相关技术博客。","一家电商初创公司的算法团队急需将通用的 LLaMA 模型微调为懂自家商品知识的智能客服，以应对大促期间的咨询高峰。\n\n### 没有 llm-engine 时\n- **基建门槛高**：团队需手动配置 Kubernetes 集群、GPU 驱动及推理服务框架，耗费数周搭建基础环境。\n- **微调流程繁琐**：缺乏统一接口，数据预处理、训练脚本编写与超参数调整全靠手工拼凑，试错成本极高。\n- **资源利用率低**：模型部署后即使无流量也长期占用昂贵 GPU，无法自动缩容，导致云账单激增。\n- **响应延迟难优化**：自建的推理服务不支持动态批处理，高并发下用户等待时间过长，体验糟糕。\n\n### 使用 llm-engine 后\n- **一键部署上线**：通过简单的 Python API 或 Helm Chart，几分钟内即可在自有云设施或 Scale 托管环境中启动 LLaMA 服务。\n- **标准化微调**：调用 `FineTune` 接口上传私有客服对话数据，快速完成模型定制，无需关注底层训练细节。\n- **智能弹性伸缩**：利用自动缩容至零的特性，无请求时释放 GPU 资源，有流量时秒级唤醒，大幅降低闲置成本。\n- **高性能推理**：内置的动态批处理和流式输出功能，显著提升了吞吐量并降低了首字延迟，从容应对流量洪峰。\n\nllm-engine 让团队从繁琐的基础设施运维中解放出来，专注于数据与业务逻辑，以最低成本实现了企业级大模型的快速落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fscaleapi_llm-engine_0ffcd325.png","scaleapi","Scale","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fscaleapi_dc89b3ca.png","The Data Platform for AI",null,"hello@scale.com","https:\u002F\u002Fscale.com","https:\u002F\u002Fgithub.com\u002Fscaleapi",[81,85,89,93,97,101],{"name":82,"color":83,"percentage":84},"Python","#3572A5",98.7,{"name":86,"color":87,"percentage":88},"Go Template","#00ADD8",0.6,{"name":90,"color":91,"percentage":92},"Shell","#89e051",0.5,{"name":94,"color":95,"percentage":96},"Dockerfile","#384d54",0.2,{"name":98,"color":99,"percentage":100},"Mako","#7e858d",0,{"name":102,"color":103,"percentage":100},"Makefile","#427819",823,74,"2026-04-14T22:39:08","Apache-2.0","未说明","本地部署需 GPU（通过 Kubernetes\u002FHelm 图表），具体型号、显存及 CUDA 版本未在文档中明确；使用 Scale 托管服务则无需本地 GPU。",{"notes":111,"python":108,"dependencies":112},"该工具主要作为客户端库连接 Scale 托管服务使用，仅需设置 API 密钥即可运行。若需在自有基础设施（Kubernetes）上部署推理和微调功能，需使用 Helm 图表，但相关详细硬件要求和安装文档尚在完善中。支持 LLaMA、MPT、Falcon 等开源模型及 Hugging Face 模型。",[113],"scale-llm-engine",[14,35],[116,117,118,119],"fine-tune","llm","python","scaleai","2026-03-27T02:49:30.150509","2026-04-16T01:43:06.428315",[],[124,129,134,139,144,149,154,159,164,169,174,179,184,189,194,199,204],{"id":125,"version":126,"summary_zh":127,"released_at":128},280191,"v0.0.0beta34","## 变更内容\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F524 中硬编码 Llama 3 70B 的端点参数\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F525 中修复 GPU 内存检查失败的问题\n* 由 @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F526 中新增从 AWS Secrets Manager 读取 Redis URL 的选项\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F527 中修复补全文档指南中的格式问题\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F529 中提高网关的优先级\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F533 中实现 Docker 构建过程中的非交互式安装\n* 【客户端】由 @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F532 中添加 guided_grammar 及其他缺失字段\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0beta33...v0.0.0beta34","2024-06-04T18:25:24",{"id":130,"version":131,"summary_zh":132,"released_at":133},280192,"v0.0.0beta33","## 变更内容\n* @sam-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F516 中为长上下文 llama-3-8b 所做的必要更改\n* @dmchoiboi 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F517 中提高 70B 模型的最大 GPU 利用率\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F515 中根据模型名称推断硬件配置\n* @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F487 中改进 TensorRT-LLM 功能\n* @dmchoiboi 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F518 中升级 vLLM 版本以支持批量完成\n* @dmchoiboi 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F520 中撤销“升级 vLLM 版本以支持批量完成”的更改\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F522 中允许使用 H100 显卡\n* @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F521 中提供 vLLM 0.4.2 的 Docker 镜像\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F523 中为 H100 添加镜像缓存和气球机制，并暂时禁止用户使用 A100 显卡\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0beta32...v0.0.0beta33","2024-05-20T23:23:55",{"id":135,"version":136,"summary_zh":137,"released_at":138},280193,"v0.0.0beta32","## 变更内容\n* @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F458 中为 Datadog StatsD 添加了 token 计数指标的上报\n* @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F478 中降级了 sse-starlette 的版本\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F479 中对 botocore 客户端错误返回 400 状态码\n* @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F481 中增加了 Kaniko 的内存限制\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F480 中实现了批处理作业的指标监控\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F483 中将基础模型名称用作指标标签\n* @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F482 中将 LLM Engine 的基础路径从全局变量改为配置\n* @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F484 中移除了内部用户的微调次数限制\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F470 中实现了工具完成任务的 Python 并行执行\n* @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F486 中允许使用 JSONL 格式的微调数据集\n* @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F485 中修复了 throughput_benchmarks 的 ITL 计算，并新增了使用 prompts JSON 文件的选项\n* @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F490 中为 Python 客户端添加了 Model.update() 方法\n* @dependabot 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F491 和 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F492 中分别将 \u002Fclients\u002Fpython 和 \u002Fmodel-engine 模块中的 idna 依赖从 3.4 升级到 3.7\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F493 中正确添加了 Mixtral 8x22b 模型\n* @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F495 中支持 Mixtral 8x22b 的指令模式\n* @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F498 中修复了 vLLM > 0.3.3 版本端点上的 return_token_log_probs 问题\n* @dmchoiboi 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F500 中更新了软件包并增加了开发环境搭建的相关文档\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F501 中添加了 Llama 3 模型\n* @dmchoiboi 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F503 中强制要求在创建端点或捆绑包时，模型检查点必须存在\n* @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F488 中实现了基于语法的引导解码功能\n* @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F504 中增加了对 asyncenginedead 错误的捕获\n* @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F506 中将 include_stop_str_in_output 的默认值设置为 None\n* @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F505 中从 ConfigMap 获取最新的推理框架标签\n* @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F507 中添加了补全功能的集成测试\n* @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F509 中修复了服务配置标识符的问题\n* @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F510 中要求在创建 LLM 端点时必须使用 safetensors 格式\n*","2024-05-07T22:30:07",{"id":140,"version":141,"summary_zh":142,"released_at":143},280194,"v0.0.0beta28","## 变更内容\n* 工具补全现在会考虑新 token 的数量，由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F469 中实现。\n* Azure 相关修复及额外需求，由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F468 中完成。\n* 用于监控卡住的异步请求的指标，由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F471 中添加。\n* 缓存器修复，由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F472 中完成。\n* 为减少集成测试的 flake 现象，增加重试机制，由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F473 中实现。\n* 为集成测试添加后缀，由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F474 中完成。\n* 修复文档测试中的网关端点问题，由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F475 中完成。\n* 引导式解码功能，由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F476 中实现。\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0beta27...v0.0.0beta28","2024-03-21T04:50:05",{"id":145,"version":146,"summary_zh":147,"released_at":148},280195,"v0.0.0beta27","## 变更内容\n* 尝试修复异步请求卡住的问题，由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F466 中完成。\n* 【客户端】在客户端的 CompletionOutputs 中添加 num_prompt_tokens 字段，由 @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F467 中完成。\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0beta26...v0.0.0beta27","2024-03-12T16:57:35",{"id":150,"version":151,"summary_zh":152,"released_at":153},280196,"v0.0.0beta26","## 变更内容\n* [SC-836587] 锁定 boto3 和 urllib3 的版本，以修复推理图像中的错误，由 @edgan8 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F432 中提出\n* 在补全输出中包含停止字符串，由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F435 中提出\n* 实现推理后日志记录钩子，由 @tiffzhao5 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F428 中提出\n* 添加 codellama-70b 模型，由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F436 中提出\n* 为 Python 客户端添加钩子验证和日志支持，由 @tiffzhao5 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F437 中提出\n* 针对异步端点的 Azure 重构，由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F425 中提出\n* 移除主容器中的推理后钩子处理，由 @tiffzhao5 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F438 中提出\n* 清理日志钩子的日志记录，由 @tiffzhao5 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F439 中提出\n* 修复基础设施任务网关，由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F443 中提出\n* 支持 gemma 模型，由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F444 中提出\n* 修复基础设施配置依赖，由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F449 中提出\n* 为日志记录添加发出的时间戳，由 @tiffzhao5 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F450 中提出\n* 更改缓存更新时间，用于异步端点集成测试，由 @tiffzhao5 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F451 中提出\n* 将 \u002Fmodel-engine 中的 aiohttp 从 3.9.1 升级到 3.9.2，由 @dependabot 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F446 中提出\n* 将 \u002Fmodel-engine 中的 python-multipart 从 0.0.6 升级到 0.0.7，由 @dependabot 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F447 中提出\n* 将 \u002Fmodel-engine 中的 gitpython 从 3.1.32 升级到 3.1.41，由 @dependabot 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F453 中提出\n* 在敏感日志模式下记录端点，由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F455 中提出\n* 将 \u002Fmodel-engine 中的 orjson 从 3.8.6 升级到 3.9.15，由 @dependabot 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F456 中提出\n* 允许负载测试脚本使用输入的 CSV 文件，由 @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F440 中提出\n* 为 vllm Docker 添加一些调试信息，由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F454 中提出\n* 添加产品标签验证，由 @edgan8 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F442 中提出\n* 为网关发送异步任务添加日志语句，由 @tiffzhao5 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F459 中提出\n* 进行了一些批量推理改进，由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F460 中提出\n* 修复缓存器，由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F462 中提出\n* 修复 vllm 批量 Docker 镜像，由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F463 中提出\n* 为批量推理添加工具补全功能，由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F461 中提出\n* 修复 llm-engine finetune.create 失败的问题，由 @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F464 中提出\n* 恢复原状","2024-03-08T21:56:32",{"id":155,"version":156,"summary_zh":157,"released_at":158},280197,"v0.0.0beta25","## 变更内容\n* @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F427 中对 LLM 基准测试脚本进行了改进\n* @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F429 中允许使用 Pydantic v2\n* @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F430 中修复了 Helm Chart 中 GPU 端点的 nodeSelector 配置\n* @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F433 中根据请求的需求，允许在 Python 客户端中使用 Pydantic 2\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F431 中修复了批处理作业的权限问题\n* 【客户端】@seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F434 中为 Python 异步路由添加了认证头\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0beta22...v0.0.0beta25","2024-02-07T23:10:35",{"id":160,"version":161,"summary_zh":162,"released_at":163},280198,"v0.0.0beta22","## 变更内容\n* 由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F393 中更改中间件格式\n* 由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F395 中修复自定义框架的 Dockerfile\n* 修复 tensorrt-llm 枚举值（修复 #390）由 @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F396 中完成\n* 为 zephyr 7b alpha 覆盖模型长度由 @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F398 中完成\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F397 中优化 completions 使用场景的时间\n* 由 @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F401 中更新文档，以展示模型长度和上下文窗口\n* 由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F399 中将 MultiprocessingConcurrencyLimiter 添加到网关\n* 由 @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F400 中将 code-llama 更名为 codellama\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F402 中修复 completions 请求 ID\n* 由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F403 中允许使用最新的推理框架标签\n* 由 @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F406 中提升 Helm Chart 版本\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F405 中将 SQLAlchemy 连接池大小扩大至 4 倍\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F407 中将 Datadog 模块升级至 0.47.0\n* 由 @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F409 中修复自动伸缩器节点选择器\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F410 中记录请求大小\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F408 中添加对 mixtral-8x7b 和 mixtral-8x7b-instruct 的支持\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F413 中确保端点更新时元数据不会被错误地清除\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F412 中始终在 completions 同步响应中返回输出\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F414 中处理更新端点时的错误\n* [Bug 修复] LLM Artifact Gateway .list_files() 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F416 中完成\n* 由 @song-william 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F415 中启用敏感日志模式\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F411 中编写吞吐量基准测试脚本\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F417 中将 vllm 升级至 0.2.7\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F418 中实现 LLM 批量 completions API\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F419 中对 vllm 批量进行小幅更新\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F421 中添加敏感内容标志\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F423 中回滚一次损坏的重构\n* [日志 I\u002FO] 推理后钩子作为后台任务由 @tiffzhao5 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F422 中实现\n* 批量推理客户端 \u002F 文档","2024-01-26T01:56:15",{"id":165,"version":166,"summary_zh":167,"released_at":168},280199,"v0.0.0beta20","## 变更内容\n* 由 @song-william 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F323 中修复了 `post_file` 客户端方法。\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F328 中为所有端点添加了 Pod 干扰预算。\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F327 中使用推理工作负载配置文件创建 Celery 工作进程。\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F330 中提升了 HTTP 转发器的请求 CPU 使用量。\n* 【文档】由 @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F320 中澄清了 get-events API 的使用方式。\n* 由 @song-william 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F324 中启用了针对作业的额外 Datadog 标签。\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F333 中修复了用于 S3 访问的 Celery 工作进程配置文件。\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F334 中硬编码了转发器工作进程的数量。\n* 由 @song-william 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F337 中标准化了日志初始化流程。\n* 由 @sam-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F335 中修复了 mammoth 模型的最大长度问题。\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F332 中添加了 Model.create 的文档，更新了默认值，并修复了 per_worker 并发问题。\n* 由 @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F343 中更新文档以添加 CodeLlama 模型。\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F342 中为模型引擎添加了 PodDisruptionBudget。\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F326 中允许认证模块接受 API 密钥。\n* 由 @song-william 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F340 中在构建日志中添加 job_name，以便于调试。\n* 由 @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F344 中将 PDB 设置为可选。\n* 由 @yixu34 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F345 中回滚了“修复用于 S3 访问的 Celery 工作进程配置文件”。\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F346 中再次回滚了“回滚‘修复用于 S3 访问的 Celery 工作进程配置文件’”。\n* 由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F347 中将文件 ID 传递给微调脚本。\n* 由 @sam-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F348 中将 llama 模型的最大长度设置为 None。\n* 由 @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F349 中移除了 CodeLlama 13B 和 34B 模型。\n* 由 @edwardpark97 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F350 中将 DATADOG_TRACE_ENABLED 更改为 DD_TRACE_ENABLED。\n* 由 @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F353 中允许微调超参数为字典类型。\n* 由 @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F352 中为集成测试添加了真实认证。\n* 由 @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F354 中将新的 llm-jp 模型添加到 llm-engine。\n* 由 @jaisanliang 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F355 中泛化了 SQS 区域配置。\n* 由 @saiatmakuri 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F356 中跟踪 LLM 指标。\n* 移除多余的追踪 facet “laun”","2023-11-27T23:55:30",{"id":170,"version":171,"summary_zh":172,"released_at":173},280200,"v0.0.0beta19","## 变更内容\n* @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F306 中增加了优雅的超时时间，并硬编码了 AWS_PROFILE。\n* @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F303 中提升了 PyPI 版本。\n* @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F307 中添加了 Mistral 模型。\n* @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F309 中添加了 Falcon 180B 模型。\n* @ian-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F310 中更新了 180B 模型的推理框架。\n* @mfagundo-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F311 中将 Code Llama 添加到 TGI。\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F317 中添加了 AWQ 枚举。\n* @squeakymouse 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F312 中修复了文档，使其引用 Files API。\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F313 中返回 TGI 错误。\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F314 中修复了流式端点的失败处理。\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F315 中验证了量化。\n* @seanshi-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F318 中为 Docker 镜像批量任务和微调任务正确返回 PENDING 状态。\n* @song-william 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F321 中将 user_id 和 team_id 作为日志维度添加。\n* @yunfeng-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F322 中发布了 0.0.0b19 版本。\n\n## 新贡献者\n* @mfagundo-scale 在 https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F311 中完成了他们的首次贡献。\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0beta18...v0.0.0beta19","2023-10-13T04:50:23",{"id":175,"version":176,"summary_zh":177,"released_at":178},280201,"v0.0.0beta18","## What's Changed\r\n* bump the llm engine pypi version by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F294\r\n* Add A100e GPU type by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F299\r\n* bump client version by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F300\r\n* Add repetition_penalty, top_k, top_p to Completion by @francesy-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F295\r\n* Smartly check safetensors vs. bin by @sam-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F296\r\n* adding s3 session function instead of client function by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F302\r\n\r\n## New Contributors\r\n* @francesy-scale made their first contribution in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F295\r\n* @sam-scale made their first contribution in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F296\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0beta15...v0.0.0beta18","2023-10-02T22:04:15",{"id":180,"version":181,"summary_zh":182,"released_at":183},280202,"v0.0.0beta17","## What's Changed\r\n* bump the llm engine pypi version by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F294\r\n* Add A100e GPU type by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F299\r\n* bump client version by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F300\r\n* Add repetition_penalty, top_k, top_p to Completion by @francesy-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F295\r\n* Smartly check safetensors vs. bin by @sam-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F296\r\n* adding s3 session function instead of client function by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F302\r\n\r\n## New Contributors\r\n* @francesy-scale made their first contribution in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F295\r\n* @sam-scale made their first contribution in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F296\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0beta15...v0.0.0beta17","2023-10-02T22:03:44",{"id":185,"version":186,"summary_zh":187,"released_at":188},280203,"v0.0.0beta16","This release fixes a bug in the naming conventions of the last version release.","2023-09-27T23:34:31",{"id":190,"version":191,"summary_zh":192,"released_at":193},280204,"v0.0.0beta15","## What's Changed\r\n* bump pypi version by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F284\r\n* Ianmacleod\u002Ferror handling by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F282\r\n* Ianmacleod\u002Fadd datadog tracing in training by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F287\r\n* Add retries for flaky integration tests by @squeakymouse in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F289\r\n* Ianmacleod\u002Fpypi version nudge by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F290\r\n* Propagate extra server args to the gunicorn command by @squeakymouse in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F291\r\n* Support AWQ for vLLM by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F292\r\n* Update issue templates by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F288\r\n* Ian GitHub templates by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F293\r\n\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0beta14...v0.0.0beta15","2023-09-27T23:29:11",{"id":195,"version":196,"summary_zh":197,"released_at":198},280205,"v0.0.0beta14","## What's Changed\r\n* Add comments by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F250\r\n* Fix vllm docker tensor paralllel by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F254\r\n* Increase liveness timeout for main container by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F255\r\n* Mark batch jobs as not safe to evict by @saiatmakuri in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F256\r\n* removing timezone tzinfo in favor of utc by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F257\r\n* invalid CSV input returns InvalidRequestException by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F258\r\n* bumping image tag by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F262\r\n* Integrate LightLLM by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F273\r\n* removing datadog interfaces logging by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F275\r\n* Ianmacleod\u002Fvllm by default by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F274\r\n* update docs by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F276\r\n* Ianmacleod\u002Fadd model delete by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F261\r\n* fixing cacher, tested in prod version of cacher deployment in k8s and… by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F278\r\n* Ianmacleod\u002Ffix cacher by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F279\r\n* add vllm to inference framework enum by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F280\r\n* Ianmacleod\u002Fupdate client enum with lightllm by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F281\r\n* Some fixes for endpoints by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F283\r\n* Add actual pytests to integration tests by @phil-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F227\r\n\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0beta13...v0.0.0beta14","2023-09-19T02:28:23",{"id":200,"version":201,"summary_zh":202,"released_at":203},280206,"v0.0.0beta13","## What's Changed\r\n* Update README.md by @saiatmakuri in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F236\r\n* Ianmacleod\u002Ffix download artifact gateway by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F237\r\n* add peft config documentation by @saiatmakuri in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F238\r\n* Update client completion timeout by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F239\r\n* Add nvidia.com\u002Fgpu in requests by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F240\r\n* Add new image to image cache by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F242\r\n* Remove plugins from endpoint containers by @song-william in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F241\r\n* Add vLLM as an inference framework by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F228\r\n* Change max_input_length to half of max_total_tokens to work around potential tokenizer loading issue by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F244\r\n* Validate Fine-tuning CSV headers by @saiatmakuri in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F243\r\n* Sync scale from zero part 2 by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F230\r\n* Completions for vLLM endpoints by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F245\r\n* Download bin files for TGI also by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F247\r\n* update team label for fine-tunes by @saiatmakuri in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F246\r\n* Ianmacleod\u002Fcompletion sync error throws 4xx by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F234\r\n* Some fixes by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F248\r\n* Higher concurrency limit for gunicorn by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F249\r\n* Pass labels to job config by @saiatmakuri in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F251\r\n* Bump python client version from 0.0.0beta12 to 0.0.0beta13 by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F253\r\n\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fcompare\u002Fv0.0.0.beta12...v0.0.0beta13","2023-09-02T01:05:01",{"id":205,"version":206,"summary_zh":207,"released_at":208},280207,"v0.0.0.beta12","## What's Changed\r\n* Enhancements to hosting docs. by @acmatscale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F124\r\n* Fix CI run_unit_tests_server  by @ruizehung-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F123\r\n* Updates to cookbook by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F127\r\n* Update README.md by @rkaplan in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F126\r\n* Play With It section in self hosting doc by @ruizehung-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F128\r\n* Documentation update for llama-v2 by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F129\r\n* Update cookbook for llamav2 by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F130\r\n* Doc enhancements to use llama-2 by @acmatscale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F131\r\n* Clarified current self-hosting features. by @acmatscale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F134\r\n* Add more models to model zoo by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F135\r\n* Add back Model.create by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F125\r\n* Update allowed types on hyperparameter values by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F140\r\n* Can create LLM endpoints by @ruizehung-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F132\r\n* Refetch API key dynamically by @jihan-yin in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F142\r\n* Add fine_tuned_model field to Get\u002FListFineTuneResponse by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F145\r\n* Update fine_tuning.md by @gargutsav in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F147\r\n* Bump pip package version from 0.0.0.beta3 -> 0.0.0.beta4 by @song-william in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F154\r\n* Example notebook for fine-tuning Llama-2 7B on ScienceQA by @jihan-yin in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F148\r\n* Bump version to 0.0.0b5 by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F158\r\n* Add llm endpoint creation and inference sample code to self hosting d… by @ruizehung-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F153\r\n* Patch Integration Test in CI by @song-william in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F161\r\n* updating fine_tune_id to id by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F174\r\n* Update unit test instruction by @ruizehung in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F176\r\n* Add llm-engine suffix to Spellbook URL by @squeakymouse in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F173\r\n* adding required dependency installs to scienceqa by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F177\r\n* fix fine_tune_id to be id in scienceqa example by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F179\r\n* Bump version to 0.0.0.beta7 by @squeakymouse in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F178\r\n* updating api key settings so that we can set api key without environm… by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F180\r\n* Correct A100 tag by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F183\r\n* Support checkpoint_path for endpoint creation by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F181\r\n* Fix typo in roles.py by @eltociear in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F150\r\n* Bump aiohttp from 3.8.4 to 3.8.5 in \u002Fclients\u002Fpython by @dependabot in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F151\r\n* Add llama 2 70B in model zoo by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F185\r\n* Add CNAME to docs by @phil-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F191\r\n* File API functions by @squeakymouse in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F160\r\n* Fix File documentation by @squeakymouse in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F192\r\n* Deploy docs from CI by @phil-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F190\r\n* Some improvements to completions APIs by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F194\r\n* bump beta8 -> beta9 by @song-william in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F195\r\n* Link to HF greedy search by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F198\r\n* Integrate finetune with wandb by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F199\r\n* Bump version by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F201\r\n* Add documentation on pointing llmengine client to self-hosted infrastructure by @ruizehung-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F200\r\n* adding status field to model get response by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F202\r\n* Add integrations doc page by @yunfeng-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F203\r\n* Update docs to reflect maximum suffix length by @seanshi-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F207\r\n* adding download api to launch client, updating example by @ian-scale in https:\u002F\u002Fgithub.com\u002Fscaleapi\u002Fllm-engine\u002Fpull\u002F196\r\n* Ianmacleod\u002Fupda","2023-08-29T20:56:09"]