[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-trymirai--uzu":3,"tool-trymirai--uzu":62},[4,18,26,36,46,54],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160411,2,"2026-04-18T23:33:24",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":42,"last_commit_at":43,"category_tags":44,"status":17},8272,"opencode","anomalyco\u002Fopencode","OpenCode 是一款开源的 AI 编程助手（Coding Agent），旨在像一位智能搭档一样融入您的开发流程。它不仅仅是一个代码补全插件，而是一个能够理解项目上下文、自主规划任务并执行复杂编码操作的智能体。无论是生成全新功能、重构现有代码，还是排查难以定位的 Bug，OpenCode 都能通过自然语言交互高效完成，显著减少开发者在重复性劳动和上下文切换上的时间消耗。\n\n这款工具专为软件开发者、工程师及技术研究人员设计，特别适合希望利用大模型能力来提升编码效率、加速原型开发或处理遗留代码维护的专业人群。其核心亮点在于完全开源的架构，这意味着用户可以审查代码逻辑、自定义行为策略，甚至私有化部署以保障数据安全，彻底打破了传统闭源 AI 助手的“黑盒”限制。\n\n在技术体验上，OpenCode 提供了灵活的终端界面（Terminal UI）和正在测试中的桌面应用程序，支持 macOS、Windows 及 Linux 全平台。它兼容多种包管理工具，安装便捷，并能无缝集成到现有的开发环境中。无论您是追求极致控制权的资深极客，还是渴望提升产出的独立开发者，OpenCode 都提供了一个透明、可信",144296,1,"2026-04-16T14:50:03",[13,45],"插件",{"id":47,"name":48,"github_repo":49,"description_zh":50,"stars":51,"difficulty_score":32,"last_commit_at":52,"category_tags":53,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":55,"name":56,"github_repo":57,"description_zh":58,"stars":59,"difficulty_score":32,"last_commit_at":60,"category_tags":61,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[45,13,15,14],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":78,"owner_twitter":73,"owner_website":79,"owner_url":80,"languages":81,"stars":106,"forks":107,"last_commit_at":108,"license":109,"difficulty_score":110,"env_os":111,"env_gpu":112,"env_ram":113,"env_deps":114,"category_tags":121,"github_topics":122,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":129,"updated_at":130,"faqs":131,"releases":162},9443,"trymirai\u002Fuzu","uzu","A high-performance inference engine for AI models","uzu 是一款专为 Apple Silicon 芯片打造的高性能 AI 模型推理引擎。它旨在解决在苹果设备上运行大语言模型时面临的效率低、配置复杂及兼容性差等痛点，让开发者能轻松释放硬件潜能。\n\nuzu 特别适合需要在 macOS 或 iOS 生态中集成 AI 能力的软件工程师、研究人员及技术爱好者。无论是构建原生 Swift 应用、Node.js 服务，还是进行模型性能基准测试，uzu 都提供了简洁易用的高级 API 和统一的模型配置格式，大幅降低了适配新模型的门槛。\n\n其核心技术亮点在于深度利用了苹果设备的“统一内存”架构，显著提升了数据吞吐与推理速度。同时，uzu 支持计算过程的可追溯性，确保推理结果与官方参考实现严格一致，为调试和验证提供了可靠保障。项目不仅提供命令行工具方便快速测试与服务部署，还开源了 Swift 和 TypeScript 绑定库，让不同技术栈的开发者都能无缝接入。如果你希望在苹果设备上高效、稳定地运行 AI 模型，uzu 是一个值得尝试的专业选择。","\u003Cp align=\"center\">\n  \u003Cpicture>\n    \u003Cimg alt=\"Mirai\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftrymirai_uzu_readme_97a88fff13ab.jpg\" style=\"max-width: 100%;\">\n  \u003C\u002Fpicture>\n\u003C\u002Fp>\n\n\u003Ca href=\"https:\u002F\u002Fdiscord.com\u002Finvite\u002Ftrymirai\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fdiscord\u002F1377764166764462120?label=Discord\" alt=\"Discord\">\u003C\u002Fa>\n\u003Ca href=\"mailto:contact@getmirai.co?subject=Interested%20in%20Mirai\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSend-Email-green\" alt=\"Contact us\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fdocs.trymirai.com\u002Foverview\u002Fuzu\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FRead-Docs-blue\" alt=\"Read docs\">\u003C\u002Fa>\n[![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-blue)](LICENSE)\n\n# uzu\n\nA high-performance inference engine for AI models on Apple Silicon. Key features:\n\n- Simple, high-level API\n- Unified model configurations, making it easy to add support for new models\n- Traceable computations to ensure correctness against the source-of-truth implementation\n- Utilizes unified memory on Apple devices\n\n## Overview\n\nFor a detailed explanation of the architecture, please refer to the [documentation](https:\u002F\u002Fdocs.trymirai.com\u002Foverview\u002Fuzu).\n\n### [Models](https:\u002F\u002Ftrymirai.com\u002Fmodels)\n\n`uzu` uses its own model format. You can download a test model using the sample script:\n\n```bash\n.\u002Fscripts\u002Fdownload_test_model.sh\n```\n\nOr you can download any supported model that has already been converted using:\n\n```bash\ncd .\u002Ftools\u002F\nuv run downloader list # show the list of supported models\nuv run downloader download {REPO_ID} # download a specific model using repo_id\n```\n\nAfter that, you can find the downloaded model at `.\u002Fworkspace\u002Fmodels\u002F{VERSION}\u002F`.\n\nAlternatively, you can export a specific model yourself with [lalamo](https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Flalamo):\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Flalamo.git\ncd lalamo\n```\n\nAfter that, you can retrieve the list of supported models:\n\n```bash\nuv run lalamo list-models\n```\n\nThen, export the specific one:\n\n```bash\nuv run lalamo convert meta-llama\u002FLlama-3.2-1B-Instruct\n```\n\n### Bindings\n\n- [uzu-swift](https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu-swift) - a prebuilt Swift framework, ready to use with SPM\n- [uzu-ts](https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu-ts) - a prebuilt TypeScript framework made for Node.js ecosystem\n\n### CLI\n\nYou can run `uzu` in a [CLI](https:\u002F\u002Fdocs.trymirai.com\u002Foverview\u002Fcli) mode:\n\n```bash\ncargo run --release -p cli -- help\n```\n\n```bash\nUsage: cli [COMMAND]\n​\nCommands:\n  run    Run a model with the specified path\n  serve  Start a server with the specified model path\n  bench  Run benchmarks for the specified model\n  help   Print this message or the help of the given subcommand(s)\n```\n\n### Compilation\n\nFor now, we only support the `Metal` backend, so to compile corresponding kernels you’ll need to install `Xcode` and run the following commands:\n\n```bash\nxcodebuild -runFirstLaunch\nxcodebuild -downloadComponent MetalToolchain\n```\n\n## Quick Start\n\nFirst, add the `uzu` dependency to your `Cargo.toml`:\n\n```toml\n[dependencies]\nuzu = { git = \"https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu\", branch = \"main\", package = \"uzu\" }\n```\n\nThen, create an inference `Session` with a specific model and configuration:\n\n```rust\nuse std::path::PathBuf;\n\nuse uzu::session::{\n    Session,\n    config::{DecodingConfig, RunConfig},\n    types::{Input, Output},\n};\n\nfn main() -> Result\u003C(), Box\u003Cdyn std::error::Error>> {\n    let model_path = PathBuf::from(\"MODEL_PATH\");\n    let mut session = Session::new(model_path, DecodingConfig::default())?;\n\n    let input = Input::Text(String::from(\"Tell about London\"));\n    let output = session.run(\n        input,\n        RunConfig::default().tokens_limit(128),\n        Some(|_: Output| {\n            return true;\n        }),\n    )?;\n    println!(\"{}\", output.text.original);\n    Ok(())\n}\n```\n\n## Benchmarks\n\nTo run benchmarks, you can use the following command:\n\n```bash\ncargo run --release -p cli -- bench .\u002Fworkspace\u002Fmodels\u002F{ENGINE_VERSION}\u002F{MODEL_NAME} .\u002Fworkspace\u002Fmodels\u002F{ENGINE_VERSION}\u002F{MODEL_NAME}\u002Fbenchmark_task.json .\u002Fworkspace\u002Fmodels\u002F{ENGINE_VERSION}\u002F{MODEL_NAME}\u002Fbenchmark_result.json\n```\n\n`benchmark_task.json` will be automatically generated after the model is downloaded via `.\u002Ftools\u002Fhelpers\u002F`, as described earlier.\n\n## License\n\nThis project is licensed under the MIT License. See the [LICENSE](LICENSE) file for details.\n","\u003Cp align=\"center\">\n  \u003Cpicture>\n    \u003Cimg alt=\"Mirai\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftrymirai_uzu_readme_97a88fff13ab.jpg\" style=\"max-width: 100%;\">\n  \u003C\u002Fpicture>\n\u003C\u002Fp>\n\n\u003Ca href=\"https:\u002F\u002Fdiscord.com\u002Finvite\u002Ftrymirai\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fdiscord\u002F1377764166764462120?label=Discord\" alt=\"Discord\">\u003C\u002Fa>\n\u003Ca href=\"mailto:contact@getmirai.co?subject=Interested%20in%20Mirai\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSend-Email-green\" alt=\"Contact us\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fdocs.trymirai.com\u002Foverview\u002Fuzu\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FRead-Docs-blue\" alt=\"Read docs\">\u003C\u002Fa>\n[![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-blue)](LICENSE)\n\n# uzu\n\n一款面向 Apple Silicon 平台的高性能 AI 模型推理引擎。主要特性：\n\n- 简单、高层次的 API\n- 统一的模型配置，便于快速支持新模型\n- 可追踪的计算过程，确保与权威实现的一致性\n- 充分利用 Apple 设备上的统一内存\n\n## 概述\n\n有关架构的详细说明，请参阅 [文档](https:\u002F\u002Fdocs.trymirai.com\u002Foverview\u002Fuzu)。\n\n### [模型](https:\u002F\u002Ftrymirai.com\u002Fmodels)\n\n`uzu` 使用自定义的模型格式。您可以使用示例脚本下载一个测试模型：\n\n```bash\n.\u002Fscripts\u002Fdownload_test_model.sh\n```\n\n或者，您也可以使用以下命令下载任何已转换的支持模型：\n\n```bash\ncd .\u002Ftools\u002F\nuv run downloader list # 显示支持的模型列表\nuv run downloader download {REPO_ID} # 使用 repo_id 下载特定模型\n```\n\n下载完成后，您可以在 `.\u002Fworkspace\u002Fmodels\u002F{VERSION}\u002F` 目录下找到该模型。\n\n此外，您还可以使用 [lalamo](https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Flalamo) 自行导出特定模型：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Flalamo.git\ncd lalamo\n```\n\n之后，您可以查看支持的模型列表：\n\n```bash\nuv run lalamo list-models\n```\n\n然后导出所需的模型：\n\n```bash\nuv run lalamo convert meta-llama\u002FLlama-3.2-1B-Instruct\n```\n\n### 绑定\n\n- [uzu-swift](https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu-swift)：预构建的 Swift 框架，可直接通过 SPM 使用。\n- [uzu-ts](https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu-ts)：为 Node.js 生态系统打造的预构建 TypeScript 框架。\n\n### 命令行工具\n\n您可以通过 [CLI](https:\u002F\u002Fdocs.trymirai.com\u002Foverview\u002Fcli) 模式运行 `uzu`：\n\n```bash\ncargo run --release -p cli -- help\n```\n\n```bash\n用法：cli [COMMAND]\n​\n命令：\n  run    运行指定路径的模型\n  serve  启动指定模型路径的服务端\n  bench  对指定模型进行基准测试\n  help   打印此消息或给定子命令的帮助信息\n```\n\n### 编译\n\n目前我们仅支持 `Metal` 后端，因此要编译相应的内核，您需要安装 `Xcode` 并执行以下命令：\n\n```bash\nxcodebuild -runFirstLaunch\nxcodebuild -downloadComponent MetalToolchain\n```\n\n## 快速入门\n\n首先，在您的 `Cargo.toml` 中添加 `uzu` 依赖：\n\n```toml\n[dependencies]\nuzu = { git = \"https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu\", branch = \"main\", package = \"uzu\" }\n```\n\n然后，使用特定的模型和配置创建一个推理会话：\n\n```rust\nuse std::path::PathBuf;\n\nuse uzu::session::{\n    Session,\n    config::{DecodingConfig, RunConfig},\n    types::{Input, Output},\n};\n\nfn main() -> Result\u003C(), Box\u003Cdyn std::error::Error>> {\n    let model_path = PathBuf::from(\"MODEL_PATH\");\n    let mut session = Session::new(model_path, DecodingConfig::default())?;\n\n    let input = Input::Text(String::from(\"Tell about London\"));\n    let output = session.run(\n        input,\n        RunConfig::default().tokens_limit(128),\n        Some(|_: Output| {\n            return true;\n        }),\n    )?;\n    println!(\"{}\", output.text.original);\n    Ok(())\n}\n```\n\n## 基准测试\n\n要运行基准测试，可以使用以下命令：\n\n```bash\ncargo run --release -p cli -- bench .\u002Fworkspace\u002Fmodels\u002F{ENGINE_VERSION}\u002F{MODEL_NAME} .\u002Fworkspace\u002Fmodels\u002F{ENGINE_VERSION}\u002F{MODEL_NAME}\u002Fbenchmark_task.json .\u002Fworkspace\u002Fmodels\u002F{ENGINE_VERSION}\u002F{MODEL_NAME}\u002Fbenchmark_result.json\n```\n\n`benchmark_task.json` 文件会在您通过前面提到的 `.\u002Ftools\u002Fhelpers\u002F` 脚本下载模型后自动生成。\n\n## 许可证\n\n本项目采用 MIT 许可证。详情请参阅 [LICENSE](LICENSE) 文件。","# uzu 快速上手指南\n\nuzu 是一个专为 Apple Silicon 芯片设计的高性能 AI 模型推理引擎。它利用统一内存架构，提供简洁的 API 和可追踪的计算过程，适合在 macOS 设备上高效运行大语言模型。\n\n## 环境准备\n\n**系统要求：**\n- 操作系统：macOS (必须运行在 Apple Silicon M1\u002FM2\u002FM3 等芯片上)\n- 开发工具：Xcode (用于编译 Metal 后端内核)\n\n**前置依赖安装：**\n在开始之前，请确保已安装 Xcode 并配置好 Metal 工具链。执行以下命令：\n\n```bash\nxcodebuild -runFirstLaunch\nxcodebuild -downloadComponent MetalToolchain\n```\n\n此外，项目使用 `uv` 管理 Python 工具链（用于模型下载），请确保已安装 uv。\n\n## 安装步骤\n\n### 1. 获取模型\nuzu 使用专用的模型格式。你可以选择下载预转换的模型或自行转换。\n\n**方式 A：下载预支持模型（推荐）**\n进入工具目录并列出\u002F下载模型：\n\n```bash\ncd .\u002Ftools\u002F\nuv run downloader list # 查看支持的模型列表\nuv run downloader download {REPO_ID} # 替换 {REPO_ID} 下载特定模型\n```\n下载后的模型位于 `.\u002Fworkspace\u002Fmodels\u002F{VERSION}\u002F`。\n\n**方式 B：自行转换模型**\n如果你需要转换其他模型，可以使用 [lalamo](https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Flalamo) 工具：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Flalamo.git\ncd lalamo\nuv run lalamo list-models\nuv run lalamo convert meta-llama\u002FLlama-3.2-1B-Instruct\n```\n\n### 2. 集成到 Rust 项目\n在你的 Rust 项目 `Cargo.toml` 中添加依赖：\n\n```toml\n[dependencies]\nuzu = { git = \"https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu\", branch = \"main\", package = \"uzu\" }\n```\n\n## 基本使用\n\n以下是一个最简单的 Rust 代码示例，展示如何初始化会话并进行文本生成推理。\n\n将 `MODEL_PATH` 替换为你实际下载的模型路径：\n\n```rust\nuse std::path::PathBuf;\n\nuse uzu::session::{\n    Session,\n    config::{DecodingConfig, RunConfig},\n    types::{Input, Output},\n};\n\nfn main() -> Result\u003C(), Box\u003Cdyn std::error::Error>> {\n    \u002F\u002F 初始化会话\n    let model_path = PathBuf::from(\"MODEL_PATH\");\n    let mut session = Session::new(model_path, DecodingConfig::default())?;\n\n    \u002F\u002F 准备输入\n    let input = Input::Text(String::from(\"Tell about London\"));\n    \n    \u002F\u002F 运行推理\n    let output = session.run(\n        input,\n        RunConfig::default().tokens_limit(128),\n        Some(|_: Output| {\n            return true;\n        }),\n    )?;\n    \n    \u002F\u002F 输出结果\n    println!(\"{}\", output.text.original);\n    Ok(())\n}\n```\n\n运行项目即可看到模型生成的关于伦敦的介绍。\n\n> **提示**：你也可以直接使用 CLI 模式运行模型，无需编写代码：\n> ```bash\n> cargo run --release -p cli -- run MODEL_PATH\n> ```","一位 iOS 开发者正在为一款离线旅行助手 App 集成本地大模型，旨在让用户在无网络环境下也能获得实时的景点讲解服务。\n\n### 没有 uzu 时\n- **推理延迟高**：直接调用通用后端在 iPhone 上运行模型时，首字生成往往需要数秒，严重打断用户对话流。\n- **内存开销大**：传统方案无法高效利用 Apple Silicon 的统一内存架构，导致稍大的模型就会触发系统杀后台或设备发烫。\n- **集成链路复杂**：将 Python 训练的模型转换为移动端可用格式步骤繁琐，且缺乏统一的配置标准，每次适配新模型都要重写大量底层代码。\n- **调试困难**：移动端推理结果与服务器端不一致时，由于缺乏计算追踪机制，难以定位是量化误差还是算子实现问题。\n\n### 使用 uzu 后\n- **极速响应**：uzu 专为 Apple Silicon 优化的 Metal 后端显著提升了推理速度，实现了近乎实时的流畅对话体验。\n- **内存效率跃升**：通过深度利用统一内存技术，uzu 让更大参数的模型能在有限内存的 iPhone 上稳定运行，且功耗更低。\n- **开发效率倍增**：借助 uzu 简洁的高级 API 和统一的模型配置格式，开发者仅需几行 Rust 或 Swift 代码即可完成模型加载与推理，快速支持新模型。\n- **结果可信赖**：uzu 提供的可追踪计算功能确保移动端输出与源端实现严格一致，极大降低了验证和调试成本。\n\nuzu 通过极致优化 Apple 硬件性能，让高性能本地 AI 推理在移动设备上变得简单、快速且可靠。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftrymirai_uzu_97a88fff.jpg","trymirai","Mirai","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ftrymirai_67d6709e.png","On-device AI infrastructure. Inference, models, optimizations.",null,"contact@trymirai.com","https:\u002F\u002Ftrymirai.com","https:\u002F\u002Fgithub.com\u002Ftrymirai",[82,86,90,94,98,102],{"name":83,"color":84,"percentage":85},"Rust","#dea584",84.1,{"name":87,"color":88,"percentage":89},"Metal","#8f14e9",8.1,{"name":91,"color":92,"percentage":93},"Python","#3572A5",4.9,{"name":95,"color":96,"percentage":97},"C++","#f34b7d",2.7,{"name":99,"color":100,"percentage":101},"C","#555555",0.1,{"name":103,"color":104,"percentage":105},"Shell","#89e051",0,1549,49,"2026-04-18T16:44:57","MIT",4,"macOS","必需 Apple Silicon (M1\u002FM2\u002FM3 等)，使用 Metal 后端，利用统一内存架构","未说明 (依赖 Apple 统一内存，具体取决于模型大小)",{"notes":115,"python":116,"dependencies":117},"该工具专为 Apple Silicon 设计，仅支持 Metal 后端。编译前需安装 Xcode 并运行 'xcodebuild -downloadComponent MetalToolchain' 下载 Metal 工具链。提供 Swift 和 TypeScript 绑定。模型需转换为 uzu 专用格式（可使用 lalamo 工具转换）。","未说明 (主要提供 Rust API，工具链脚本使用 uv 管理 Python 环境)",[118,119,120],"Rust (Cargo)","Xcode (含 MetalToolchain)","uv (Python 包管理器)",[13,15,35,14],[123,124,125,126,127,128],"high-performance","inference","llm","metal","rust","ai","2026-03-27T02:49:30.150509","2026-04-19T15:38:19.995960",[132,137,142,147,152,157],{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},42366,"运行 uzu_cli 时出现 'Failed to create session: UnableToLoadConfig' 或 'missing field mixer_config' 错误怎么办？","这通常是因为模型转换工具 (lalamo) 的版本与 uzu 不兼容导致的。请尝试以下步骤：\n1. 在 lalamo 仓库中切换到特定版本：`git checkout v0.4.1`\n2. 同步环境并重新转换模型：`uv sync` 然后 `uv run lalamo convert \u003Cmodel>`\n3. 如果问题依旧，可能需要切换 uzu 到特定的提交版本以匹配模型配置格式：\n   ```bash\n   git checkout 08e218b7688fcda9834ce9a09349dc159f53a0e8\n   cargo run -- run \u003Cmodel_path>\n   ```\n维护者已更新 README 以包含特定版本的 lalamo 和预转换模型的下载工具。","https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu\u002Fissues\u002F42",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},42367,"在 macOS 上编译 uzu 时提示缺少 Metal 编译器 (metal compiler) 如何解决？","您需要安装 Xcode 命令行工具及 Metal 工具链，但不需要安装完整的 Xcode IDE。请按以下步骤操作：\n1. 从 Apple App Store 安装 Xcode（如果尚未安装）。\n2. 切换开发者路径：`sudo xcode-select --switch \u002FApplications\u002FXcode.app\u002FContents\u002FDeveloper`\n3. 运行首次启动配置：`xcodebuild -runFirstLaunch`\n4. 单独下载 Metal 工具链（关键步骤）：`xcodebuild -downloadComponent MetalToolchain`\n5. 重置开发者路径：`xcode-select --reset`\n6. 验证安装：运行 `xcrun metal`，若输出 \"metal: error: no input files\" 则表示安装成功。","https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu\u002Fissues\u002F55",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},42368,"uzu 支持非 Apple 设备（如 Windows、Linux）或旧款 Intel Mac 吗？","目前 uzu 主要针对 Apple Silicon (M 系列芯片) 优化。关于其他平台的支持情况：\n- **Android**：开发团队正在积极开发 Android 支持。\n- **非 Apple 设备\u002F旧款 Intel Mac**：目前官方尚未明确提供支持时间表，建议关注项目后续更新。","https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu\u002Fissues\u002F22",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},42369,"为什么在 M4 Max 等新款 Mac 上运行时，Apple Neural Engine (ANE) 没有工作？如何启用它？","目前 ANE 支持在默认情况下是禁用的。虽然理论上可以通过修改代码传递 `BlockDevice::Ane` 描述符来激活，但在实践中意义不大，原因如下：\n1. **性能瓶颈**：iOS 设备主要受内存带宽限制，ANE 无法显著提升生成速度。\n2. **架构优势**：在 macOS 上，使用 GPU 驱动的流水线（不等待 CPU 处理每个新 token）能获得更高的吞吐量。\n3. **技术限制**：MPSGraph 对动态形状支持较差（内核选择在编译时确定），且在不同计算单元间切换有开销。\n因此，当前版本优先使用 GPU 而非 ANE 以获得最佳性能。","https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu\u002Fissues\u002F56",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},42370,"既然有了 uzu，现在学习 Candle 框架还有价值吗？uzu 会取代 Candle 吗？","Candle 仍然值得学习。Uzu 是基于 Rust 构建的高层推理引擎，而 Candle 是底层的机器学习框架。开发团队表示他们正在积极开发 uzu 并计划推出大量更新，但这并不意味着 Candle 会被弃用。Uzu 的发展依赖于底层框架的稳定性，两者是互补关系而非简单的替代关系。","https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu\u002Fissues\u002F15",{"id":158,"question_zh":159,"answer_zh":160,"source_url":161},42371,"遇到 Tokenizer 无法工作或编译失败的问题该如何排查？","如果遇到 Tokenizer 相关错误，这可能与特定的模型配置或环境有关。由于此类问题复现路径多样，建议采取以下措施：\n1. 提供完整的错误日志 (logs)。\n2. 提供详细的复现步骤 (reproduction steps)，包括使用的模型名称、转换命令及运行环境。\n这将帮助维护者定位是配置问题还是潜在的 Bug。如果有紧急需求，也可以考虑暂时使用其他更稳定的替代方案（如直接使用 candle.rs）。","https:\u002F\u002Fgithub.com\u002Ftrymirai\u002Fuzu\u002Fissues\u002F26",[]]