[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-jondot--awesome-rust-llm":3,"tool-jondot--awesome-rust-llm":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",145895,2,"2026-04-08T11:32:59",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":73,"owner_website":80,"owner_url":81,"languages":76,"stars":82,"forks":83,"last_commit_at":84,"license":76,"difficulty_score":85,"env_os":86,"env_gpu":87,"env_ram":87,"env_deps":88,"category_tags":96,"github_topics":97,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":103,"updated_at":104,"faqs":105,"releases":106},5668,"jondot\u002Fawesome-rust-llm","awesome-rust-llm","🦀 A curated list of Rust tools, libraries, and frameworks for working with LLMs, GPT, AI","awesome-rust-llm 是一个精心整理的开源资源清单，专门汇聚了基于 Rust 语言构建的大语言模型（LLM）框架、库、工具及教程。它旨在解决开发者在 Rust 生态中寻找高质量 AI 组件时面临的碎片化难题，提供了一站式的选型参考，让利用 Rust 的高性能特性进行 AI 开发变得更加高效便捷。\n\n这份清单非常适合 Rust 开发者、AI 研究人员以及希望将大模型能力集成到高性能系统中的工程师使用。无论是需要本地运行模型推理、构建智能体应用，还是实现向量检索与长期记忆功能，都能在这里找到成熟的解决方案。\n\n其独特的技术亮点在于突显了 Rust 在 AI 领域的性能优势。例如，清单收录的 diffusers 项目实现了比 PyTorch 快 45% 的 Stable Diffusion 推理；llm 库支持高效加载 ggml 格式模型；而 postgresml 则创新地允许直接在 PostgreSQL 数据库中通过 SQL 完成模型调用与推理。此外，从命令行聊天工具 aichat 到自动化代码生成宏 autorust，awesome-rust-llm 展示了 Rust 在构建","awesome-rust-llm 是一个精心整理的开源资源清单，专门汇聚了基于 Rust 语言构建的大语言模型（LLM）框架、库、工具及教程。它旨在解决开发者在 Rust 生态中寻找高质量 AI 组件时面临的碎片化难题，提供了一站式的选型参考，让利用 Rust 的高性能特性进行 AI 开发变得更加高效便捷。\n\n这份清单非常适合 Rust 开发者、AI 研究人员以及希望将大模型能力集成到高性能系统中的工程师使用。无论是需要本地运行模型推理、构建智能体应用，还是实现向量检索与长期记忆功能，都能在这里找到成熟的解决方案。\n\n其独特的技术亮点在于突显了 Rust 在 AI 领域的性能优势。例如，清单收录的 diffusers 项目实现了比 PyTorch 快 45% 的 Stable Diffusion 推理；llm 库支持高效加载 ggml 格式模型；而 postgresml 则创新地允许直接在 PostgreSQL 数据库中通过 SQL 完成模型调用与推理。此外，从命令行聊天工具 aichat 到自动化代码生成宏 autorust，awesome-rust-llm 展示了 Rust 在构建快速、安全且资源占用低的 AI 应用方面的巨大潜力，是探索 Rust AI 生态的理想起点。","```\n\n                                                                      __       __ __          \n.---.-.--.--.--.-----.-----.-----.--------.-----.___.----.--.--.-----|  |_ ___|  |  .--------.\n|  _  |  |  |  |  -__|__ --|  _  |        |  -__|___|   _|  |  |__ --|   _|___|  |  |        |\n|___._|________|_____|_____|_____|__|__|__|_____|   |__| |_____|_____|____|   |__|__|__|__|__|\n\nhttps:\u002F\u002Fgithub.com\u002Fjondot\u002Fawesome-rust-llm\n```\n**Awesome Rust LLM** is an awesome style list that keeps track and curates the best Rust based LLM frameworks, libraries, tools, tutorials, articles and more. PRs are welcome!\n\n## Models & Inference\n\n* [llm](https:\u002F\u002Fgithub.com\u002Frustformers\u002Fllm) - a Rust library for running inference from a number of supported LLMs, loads [ggml](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fggml) based models\n* [rust-bert](https:\u002F\u002Fgithub.com\u002Fguillaume-be\u002Frust-bert) - all in one pipelines for for transformer-based models (BERT, DistilBERT, GPT2,...). Good for local embedding, port of `transformers` (python)\n* [llm-chain](https:\u002F\u002Fgithub.com\u002Fsobelio\u002Fllm-chain) - chaining LLMs in Rust\n* [smartgpt](https:\u002F\u002Fgithub.com\u002FCormanz\u002Fsmartgpt) ([how it works](https:\u002F\u002Ftwitter.com\u002Fjondot\u002Fstatus\u002F1660576729549664261))- use LLMs with the ability to complete complex tasks using plugins\n* [diffusers](https:\u002F\u002Fgithub.com\u002Fpykeio\u002Fdiffusers) - Stable Diffusion using Rust, 45% faster than Pytorch\n* [postgresml](https:\u002F\u002Fgithub.com\u002Fpostgresml\u002Fpostgresml) - an amazing Postgres extension to do model fetching, inference all with SQL as part of your Postgres instance\n\n\n## Projects\n\n* [aichat](https:\u002F\u002Fgithub.com\u002Fsigoden\u002Faichat) - a pure Rust CLI implementing AI chat, with advanced features such as real-time streaming, text highlighting and more\n  \n* [browser-agent](https:\u002F\u002Fgithub.com\u002Fm1guelpf\u002Fbrowser-agent\u002F) - a headless browser driven by GPT-4. Sends off a simplified page representation and receives & executes instructions from GPT using a custom message format\n* [tenere](https:\u002F\u002Fgithub.com\u002Fpythops\u002Ftenere) - TUI interface for LLMs\n\nHow it works? here's a prompt snippet:\n\n```\nYou must respond with ONLY one of the following commands AND NOTHING ELSE:\n    - CLICK X - click on a given element. You can only click on links, buttons, and inputs!\n    - TYPE X \\\"TEXT\\\" - type the specified text into the input with id X and press ENTER\n    - ANSWER \\\"TEXT\\\" - Respond to the user with the specified text once you have completed the objective\n```\n* [ajeto](https:\u002F\u002Fgithub.com\u002Fbausano\u002Fajeto) - LLM personal assistant\n* [shortgpt](https:\u002F\u002Fgithub.com\u002Frupeshs\u002Fshortgpt) - Ask shortgpt for instant and concise answers\n* [autorust](https:\u002F\u002Fgithub.com\u002Fminskylab\u002Fauto-rust) - macros that generate AI driven rust code in compile time\n* [clerk](https:\u002F\u002Fgithub.com\u002Fblankenshipz\u002Fclerk) - LLM based file organizer\n* [gptcommit](https:\u002F\u002Fgithub.com\u002Fzurawiki\u002Fgptcommit) - prepare commit message with GPT\n\n\n## LLM Memory\n\n* [indexify](https:\u002F\u002Fgithub.com\u002Fdiptanu\u002Findexify) - A retrieval and long term memory service for LLMs\n* [memex](https:\u002F\u002Fgithub.com\u002Fspyglass-search\u002Fmemex) - Super-simple, fully Rust powered \"memory\" (doc store + semantic search) for LLM projects, semantic search, etc.\n* [motorhead](https:\u002F\u002Fgithub.com\u002Fgetmetal\u002Fmotorhead) -  a memory and information retrieval server for LLMs. \n  * Uses Redis as vector store for long term memory, \n  * Works with OpenAI API\n  * [js example](https:\u002F\u002Fgithub.com\u002Fgetmetal\u002Fmotorhead\u002Fblob\u002Fmain\u002Fexamples\u002Fchat-js), [python example](https:\u002F\u002Fgithub.com\u002Fgetmetal\u002Fmotorhead\u002Fblob\u002Fmain\u002Fexamples\u002Fchat-py)\n\n## Core Libraries\n\n* [tiktoken](https:\u002F\u002Fgithub.com\u002Fopenai\u002Ftiktoken) - tiktoken is a Python library with a Rust core implementing a fast [BPE](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FByte_pair_encoding) tokeniser for use with OpenAI's models\n  * BPE is done in Rust\n  * Made by OpenAI\n\n* [tiktoken-rs](https:\u002F\u002Fgithub.com\u002Fzurawiki\u002Ftiktoken-rs) - a Rust focused library based on the `tiktoken` core with additional enhancements for use in Rust code. (Pyton parts in `tiktoken` done in pure Rust)\n\n```rust\n\u002F\u002F Rust\nuse tiktoken_rs::p50k_base;\n\nlet bpe = p50k_base().unwrap();\nlet tokens = bpe.encode_with_special_tokens(\n  \"This is a sentence   with spaces\"\n);\nprintln!(\"Token count: {}\", tokens.len());\n```\n\n* [polars](https:\u002F\u002Fgithub.com\u002Fpola-rs\u002Fpolars) - a faster, pure Rust pandas alternative\n\n* [rllama](https:\u002F\u002Fgithub.com\u002FNoeda\u002Frllama) - a pure Rust implemenation of LLaMa inference. Great for embedding into other apps or wrapping for a scripting language.\n* [whatlang](https:\u002F\u002Fgithub.com\u002Fquickwit-oss\u002Fwhichlang) - Rust library using a multiclass logistic regression model to detect languages\n\n* [OpenAI API](https:\u002F\u002Fgithub.com\u002Fuiuifree\u002Frust-openai-chatgpt-api)  - a strongly typed Rust client for the OpenAI API\n\n## Tools\n\n* [spider](https:\u002F\u002Fgithub.com\u002Fspider-rs\u002Fspider) - crawler \u002F spider written in Rust for when you need a whole-website dump. Unlike Scrapy, focuses on dumping data but the post-processing is done later.\n\n## Services\n\n* [dust](https:\u002F\u002Fgithub.com\u002Fdust-tt\u002Fdust) - a full service for workflow running with composable blocks. Core is in Rust, various frontends in Typescript.\n\n\n## Vector Stores\n\n* [pgvecto.rs](https:\u002F\u002Fgithub.com\u002Ftensorchord\u002Fpgvecto.rs) - Vector database plugin for Postgres, written in Rust, specifically designed for LLM. 20x faster than pgvector\n* [qdrant](https:\u002F\u002Fgithub.com\u002Fqdrant\u002Fqdrant) - Qdrant - Vector Database for the next generation of AI applications\n","```\n\n                                                                      __       __ __          \n.---.-.--.--.--.-----.-----.-----.--------.-----.___.----.--.--.-----|  |_ ___|  |  .--------.\n|  _  |  |  |  |  -__|__ --|  _  |        |  -__|___|   _|  |  |__ --|   _|___|  |  |        |\n|___._|________|_____|_____|_____|__|__|__|_____|   |__| |_____|_____|____|   |__|__|__|__|__|\n\nhttps:\u002F\u002Fgithub.com\u002Fjondot\u002Fawesome-rust-llm\n```\n**Awesome Rust LLM** 是一个类似 Awesome 列表的项目，用于跟踪和精选最佳的 Rust 生态中基于 LLM 的框架、库、工具、教程、文章等资源。欢迎提交 PR！\n\n## 模型与推理\n\n* [llm](https:\u002F\u002Fgithub.com\u002Frustformers\u002Fllm) - 一个用于从多种支持的 LLM 中进行推理的 Rust 库，可加载基于 [ggml](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fggml) 的模型。\n* [rust-bert](https:\u002F\u002Fgithub.com\u002Fguillaume-be\u002Frust-bert) - 面向基于 Transformer 的模型（BERT、DistilBERT、GPT2 等）的一站式流水线。适合本地嵌入任务，是 Python `transformers` 库的 Rust 移植版。\n* [llm-chain](https:\u002F\u002Fgithub.com\u002Fsobelio\u002Fllm-chain) - 在 Rust 中实现 LLM 的链式调用。\n* [smartgpt](https:\u002F\u002Fgithub.com\u002FCormanz\u002Fsmartgpt)（[工作原理](https:\u002F\u002Ftwitter.com\u002Fjondot\u002Fstatus\u002F1660576729549664261)）- 结合插件使用 LLM，以完成复杂任务。\n* [diffusers](https:\u002F\u002Fgithub.com\u002Fpykeio\u002Fdiffusers) - 使用 Rust 实现的 Stable Diffusion，速度比 PyTorch 快 45%。\n* [postgresml](https:\u002F\u002Fgithub.com\u002Fpostgresml\u002Fpostgresml) - 一个强大的 Postgres 扩展，允许通过 SQL 直接在 Postgres 实例中执行模型加载和推理。\n\n## 项目\n\n* [aichat](https:\u002F\u002Fgithub.com\u002Fsigoden\u002Faichat) - 一个纯 Rust 命令行工具，实现了 AI 聊天功能，并具备实时流式传输、文本高亮等高级特性。\n  \n* [browser-agent](https:\u002F\u002Fgithub.com\u002Fm1guelpf\u002Fbrowser-agent\u002F) - 由 GPT-4 驱动的无头浏览器。它会发送页面的简化表示，并使用自定义消息格式接收和执行来自 GPT 的指令。\n* [tenere](https:\u002F\u002Fgithub.com\u002Fpythops\u002Ftenere) - 一个面向 LLM 的 TUI 界面。\n  \n其提示片段如下：\n\n```\n你必须仅回复以下命令之一，且不得多说：\n    - CLICK X - 点击指定元素。只能点击链接、按钮和输入框！\n    - TYPE X \"TEXT\" - 将指定文本输入到 ID 为 X 的输入框中并按回车键。\n    - ANSWER \"TEXT\" - 完成目标后，用指定文本回复用户。\n```\n* [ajeto](https:\u002F\u002Fgithub.com\u002Fbausano\u002Fajeto) - LLM 个人助理。\n* [shortgpt](https:\u002F\u002Fgithub.com\u002Frupeshs\u002Fshortgpt) - 向 ShortGPT 提问以获取即时且简洁的答案。\n* [autorust](https:\u002F\u002Fgithub.com\u002Fminskylab\u002Fauto-rust) - 在编译时生成 AI 驱动 Rust 代码的宏。\n* [clerk](https:\u002F\u002Fgithub.com\u002Fblankenshipz\u002Fclerk) - 基于 LLM 的文件整理工具。\n* [gptcommit](https:\u002F\u002Fgithub.com\u002Fzurawiki\u002Fgptcommit) - 使用 GPT 生成提交信息。\n\n## LLM 记忆系统\n\n* [indexify](https:\u002F\u002Fgithub.com\u002Fdiptanu\u002Findexify) - 专为 LLM 设计的检索与长期记忆服务。\n* [memex](https:\u002F\u002Fgithub.com\u002Fspyglass-search\u002Fmemex) - 一个超简单的、完全由 Rust 构建的记忆系统（文档存储 + 语义搜索），适用于 LLM 项目、语义搜索等场景。\n* [motorhead](https:\u002F\u002Fgithub.com\u002Fgetmetal\u002Fmotorhead) - 一个面向 LLM 的记忆与信息检索服务器。\n  * 使用 Redis 作为长期记忆的向量存储，\n  * 支持 OpenAI API，\n  * [JavaScript 示例](https:\u002F\u002Fgithub.com\u002Fgetmetal\u002Fmotorhead\u002Fblob\u002Fmain\u002Fexamples\u002Fchat-js)，[Python 示例](https:\u002F\u002Fgithub.com\u002Fgetmetal\u002Fmotorhead\u002Fblob\u002Fmain\u002Fexamples\u002Fchat-py)。\n\n## 核心库\n\n* [tiktoken](https:\u002F\u002Fgithub.com\u002Fopenai\u002Ftiktoken) - Tiktoken 是一个基于 Rust 核心的 Python 库，实现了高效的 [BPE](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FByte_pair_encoding) 分词器，可用于 OpenAI 的模型。\n  * BPE 处理由 Rust 完成，\n  * 由 OpenAI 开发。\n\n* [tiktoken-rs](https:\u002F\u002Fgithub.com\u002Fzurawiki\u002Ftiktoken-rs) - 一个专注于 Rust 的库，基于 `tiktoken` 的核心，并针对 Rust 代码进行了额外优化。（`tiktoken` 中的 Python 部分现已完全用 Rust 重写）\n\n```rust\n\u002F\u002F Rust\nuse tiktoken_rs::p50k_base;\n\nlet bpe = p50k_base().unwrap();\nlet tokens = bpe.encode_with_special_tokens(\n  \"这是一个带空格的句子\"\n);\nprintln!(\"Token count: {}\", tokens.len());\n```\n\n* [polars](https:\u002F\u002Fgithub.com\u002Fpola-rs\u002Fpolars) - 一个更快、纯 Rust 实现的 Pandas 替代品。\n  \n* [rllama](https:\u002F\u002Fgithub.com\u002FNoeda\u002Frllama) - 一个纯 Rust 实现的 LLaMa 推理库。非常适合嵌入到其他应用中或封装为脚本语言接口。\n* [whatlang](https:\u002F\u002Fgithub.com\u002Fquickwit-oss\u002Fwhichlang) - 一个使用多分类逻辑回归模型检测语言的 Rust 库。\n\n* [OpenAI API](https:\u002F\u002Fgithub.com\u002Fuiuifree\u002Frust-openai-chatgpt-api) - 一个强类型的 Rust 客户端，用于访问 OpenAI API。\n\n## 工具\n\n* [spider](https:\u002F\u002Fgithub.com\u002Fspider-rs\u002Fspider) - 一个用 Rust 编写的爬虫工具，适用于需要完整网站数据转储的场景。与 Scrapy 不同，它专注于数据抓取，后续处理则由用户自行完成。\n\n## 服务\n\n* [dust](https:\u002F\u002Fgithub.com\u002Fdust-tt\u002Fdust) - 一个提供可组合模块的工作流全栈服务。核心由 Rust 实现，前端则采用 TypeScript。\n\n## 向量数据库\n\n* [pgvecto.rs](https:\u002F\u002Fgithub.com\u002Ftensorchord\u002Fpgvecto.rs) - 一个专为 LLM 设计的 Postgres 向量数据库插件，完全用 Rust 编写，速度比 pgvector 快 20 倍。\n* [qdrant](https:\u002F\u002Fgithub.com\u002Fqdrant\u002Fqdrant) - Qdrant 是面向下一代 AI 应用的向量数据库。","# awesome-rust-llm 快速上手指南\n\n`awesome-rust-llm` 并非单一的可安装软件，而是一个精选的 Rust 语言大语言模型（LLM）生态资源列表。本指南将指导你如何搭建开发环境，并快速使用列表中几个最具代表性的核心库进行 LLM 推理和应用开发。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**: Linux, macOS 或 Windows (推荐 WSL2)。\n*   **Rust 工具链**: 需安装最新稳定版 Rust。\n    ```bash\n    curl --proto '=https' --tlsv1.2 -sSf https:\u002F\u002Fsh.rustup.rs | sh\n    source $HOME\u002F.cargo\u002Fenv\n    rustc --version # 验证安装\n    ```\n*   **构建依赖**: 部分底层库（如 `llm` 或 `tiktoken`）需要 C 编译器。\n    *   **Ubuntu\u002FDebian**: `sudo apt-get install build-essential pkg-config libssl-dev`\n    *   **macOS**: `xcode-select --install`\n    *   **Windows**: 安装 Visual Studio Build Tools 并勾选 \"C++ build tools\"。\n*   **国内加速建议**:\n    *   配置 Rust 镜像源以加快下载速度：\n        ```bash\n        export RUSTUP_DIST_SERVER=https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Frustup\n        export RUSTUP_UPDATE_ROOT=https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Frustup\u002Frustup\n        ```\n\n## 安装步骤\n\n由于这是一个资源集合，你需要根据具体需求在项目中引入对应的 crate。以下是创建一个新项目并引入两个核心库（`llm` 用于运行本地模型，`tiktoken-rs` 用于分词）的步骤：\n\n1.  **创建新项目**:\n    ```bash\n    cargo new my-llm-app\n    cd my-llm-app\n    ```\n\n2.  **编辑 `Cargo.toml`**:\n    添加你需要的依赖。例如，要运行 GGML 格式的模型和使用分词器：\n    ```toml\n    [dependencies]\n    llm = \"0.1.1\" # 用于加载和运行 LLM 模型\n    tiktoken-rs = \"0.5\" # 用于 OpenAI 兼容的分词\n    tokio = { version = \"1\", features = [\"full\"] } # 异步运行时，许多工具需要\n    ```\n\n3.  **下载依赖**:\n    ```bash\n    cargo fetch\n    ```\n    *(注：首次编译可能较慢，因为涉及大量 Rust 代码和原生扩展编译)*\n\n## 基本使用\n\n以下示例展示如何使用 `tiktoken-rs` 进行文本分词，这是处理 LLM 输入的基础步骤。\n\n### 示例：使用 tiktoken-rs 进行分词\n\n创建一个 `src\u002Fmain.rs` 文件，写入以下代码：\n\n```rust\nuse tiktoken_rs::p50k_base;\n\nfn main() {\n    \u002F\u002F 获取 p50k_base 编码器 (常用于 GPT-3 等模型)\n    let bpe = p50k_base().expect(\"Failed to get encoder\");\n\n    let text = \"Hello, awesome-rust-llm! 这是一个测试。\";\n    \n    \u002F\u002F 编码文本为 token ID 序列\n    let tokens = bpe.encode_with_special_tokens(text);\n\n    println!(\"原始文本: {}\", text);\n    println!(\"Token 数量: {}\", tokens.len());\n    println!(\"Token IDs: {:?}\", tokens);\n    \n    \u002F\u002F 可选：解码回文本\n    let decoded = bpe.decode(tokens).unwrap();\n    println!(\"解码后: {}\", decoded);\n}\n```\n\n运行项目：\n```bash\ncargo run\n```\n\n### 进阶提示：运行本地模型 (llm crate)\n\n若要使用 `llm` crate 运行本地模型（如 LLaMA 或 Alpaca 的 GGML 格式），你需要先手动下载 `.bin` 模型文件，然后在代码中加载：\n\n```rust\n\u002F\u002F 伪代码示例，需参考 llm crate 具体文档调整\nuse llm::{load, ModelParameters};\nuse std::path::Path;\n\n\u002F\u002F 需要预先下载 model.ggml 文件\nlet model_path = Path::new(\"path\u002Fto\u002Fmodel.ggml\");\nlet model = load::\u003Cllm::models::Llama>(\n    model_path,\n    llm::ModelParameters::default(),\n    |progress| { \u002F* 加载进度回调 *\u002F },\n).expect(\"Failed to load model\");\n\n\u002F\u002F 随后即可进行 inference (推理)\n```\n\n你可以访问 [awesome-rust-llm GitHub 仓库](https:\u002F\u002Fgithub.com\u002Fjondot\u002Fawesome-rust-llm) 浏览更多针对特定场景（如向量数据库、Agent 构建、CLI 工具）的库和项目。","某初创团队希望构建一个高性能、低延迟的本地化 AI 代码助手，要求完全基于 Rust 技术栈以确保内存安全与部署便捷。\n\n### 没有 awesome-rust-llm 时\n- **选型迷茫**：开发者需在 GitHub 海量仓库中盲目搜索，难以区分哪些 Rust LLM 库是成熟可用的，哪些仅是实验性项目。\n- **性能瓶颈**：自行集成 Python 依赖（如 PyTorch）导致服务启动慢、内存占用高，且难以利用 Rust 在令牌分词（Tokenization）上的原生速度优势。\n- **功能割裂**：缺乏统一的生态指引，实现“长短期记忆”、“链式调用”或“浏览器自动化”等功能时，需重复造轮子或拼接不兼容的异构组件。\n- **维护成本高**：由于缺少经过社区验证的最佳实践列表，项目极易因依赖库停止维护或文档缺失而陷入停滞。\n\n### 使用 awesome-rust-llm 后\n- **精准选型**：团队直接参考清单，快速锁定 `llm` 库用于加载 GGML 模型实现本地推理，并选用 `tiktoken-rs` 获得比 Python 快数倍的令牌处理性能。\n- **架构统一**：基于推荐的 `llm-chain` 和 `motorhead`，轻松构建了支持复杂任务编排与 Redis 向量存储的记忆系统，全链路保持 Rust 原生高效运行。\n- **能力扩展**：借鉴 `browser-agent` 和 `gptcommit` 等开源项目思路，迅速为助手集成了自动浏览网页与生成 Git 提交信息的高级插件能力。\n- **开发加速**：依托清单中丰富的教程与文章，团队避开了大量底层陷阱，将原本需要数月的原型研发周期缩短至数周。\n\nawesome-rust-llm 通过提供经过筛选的 Rust AI 生态全景图，帮助开发者从繁琐的调研中解脱，专注于构建高性能、生产级的智能应用。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjondot_awesome-rust-llm_12796073.png","jondot","Dotan J. Nahum","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fjondot_037934f1.png",null,"SpectralOps","Tel Aviv, Israel","dn@rng0.io","https:\u002F\u002Fmedium.com\u002F@jondot\u002F","https:\u002F\u002Fgithub.com\u002Fjondot",554,27,"2026-04-08T02:17:58",5,"","未说明",{"notes":89,"python":87,"dependencies":90},"该项目是一个 Rust LLM 工具集的精选列表（Awesome List），而非单一软件，因此没有统一的运行环境需求。列表中包含了多种独立的库和项目：部分项目（如 llm, rllama）基于 ggml 技术，通常支持 CPU 推理或在金属\u002FCUDA 上加速；部分项目（如 postgresml, motorhead）依赖外部服务（PostgreSQL, Redis）；还有纯 Rust 实现的 CLI 工具（如 aichat）。具体环境需求需参考列表中各个子项目的独立文档。由于主要基于 Rust 开发，大多数工具不需要 Python 环境即可运行核心功能。",[91,92,93,94,95],"ggml (通过 llm 库)","tiktoken","polars","Redis (用于 motorhead)","PostgreSQL (用于 postgresml 和 pgvecto.rs)",[35,15,14,13],[98,99,100,101,102],"ai","gpt","llm","rust","rust-lang","2026-03-27T02:49:30.150509","2026-04-09T05:25:12.456470",[],[]]