__       __ __          
.---.-.--.--.--.-----.-----.-----.--------.-----.___.----.--.--.-----|  |_ ___|  |  .--------.
|  _  |  |  |  |  -__|__ --|  _  |        |  -__|___|   _|  |  |__ --|   _|___|  |  |        |
|___._|________|_____|_____|_____|__|__|__|_____|   |__| |_____|_____|____|   |__|__|__|__|__|

https://github.com/jondot/awesome-rust-llm

Awesome Rust LLM 是一个类似 Awesome 列表的项目，用于跟踪和精选最佳的 Rust 生态中基于 LLM 的框架、库、工具、教程、文章等资源。欢迎提交 PR！

模型与推理

• llm - 一个用于从多种支持的 LLM 中进行推理的 Rust 库，可加载基于 ggml 的模型。
• rust-bert - 面向基于 Transformer 的模型（BERT、DistilBERT、GPT2 等）的一站式流水线。适合本地嵌入任务，是 Python transformers 库的 Rust 移植版。
• llm-chain - 在 Rust 中实现 LLM 的链式调用。
• smartgpt（工作原理）- 结合插件使用 LLM，以完成复杂任务。
• diffusers - 使用 Rust 实现的 Stable Diffusion，速度比 PyTorch 快 45%。
• postgresml - 一个强大的 Postgres 扩展，允许通过 SQL 直接在 Postgres 实例中执行模型加载和推理。

项目

• aichat - 一个纯 Rust 命令行工具，实现了 AI 聊天功能，并具备实时流式传输、文本高亮等高级特性。

• browser-agent - 由 GPT-4 驱动的无头浏览器。它会发送页面的简化表示，并使用自定义消息格式接收和执行来自 GPT 的指令。

• tenere - 一个面向 LLM 的 TUI 界面。

其提示片段如下：

你必须仅回复以下命令之一，且不得多说：
    - CLICK X - 点击指定元素。只能点击链接、按钮和输入框！
    - TYPE X "TEXT" - 将指定文本输入到 ID 为 X 的输入框中并按回车键。
    - ANSWER "TEXT" - 完成目标后，用指定文本回复用户。

• ajeto - LLM 个人助理。
• shortgpt - 向 ShortGPT 提问以获取即时且简洁的答案。
• autorust - 在编译时生成 AI 驱动 Rust 代码的宏。
• clerk - 基于 LLM 的文件整理工具。
• gptcommit - 使用 GPT 生成提交信息。

LLM 记忆系统

• indexify - 专为 LLM 设计的检索与长期记忆服务。
• memex - 一个超简单的、完全由 Rust 构建的记忆系统（文档存储 + 语义搜索），适用于 LLM 项目、语义搜索等场景。
• motorhead - 一个面向 LLM 的记忆与信息检索服务器。
  • 使用 Redis 作为长期记忆的向量存储，
  • 支持 OpenAI API，
  • JavaScript 示例，Python 示例。

核心库

• tiktoken - Tiktoken 是一个基于 Rust 核心的 Python 库，实现了高效的 BPE 分词器，可用于 OpenAI 的模型。

  • BPE 处理由 Rust 完成，
  • 由 OpenAI 开发。

• tiktoken-rs - 一个专注于 Rust 的库，基于 tiktoken 的核心，并针对 Rust 代码进行了额外优化。（tiktoken 中的 Python 部分现已完全用 Rust 重写）

// Rust
use tiktoken_rs::p50k_base;

let bpe = p50k_base().unwrap();
let tokens = bpe.encode_with_special_tokens(
  "这是一个带空格的句子"
);
println!("Token count: {}", tokens.len());

• polars - 一个更快、纯 Rust 实现的 Pandas 替代品。

• rllama - 一个纯 Rust 实现的 LLaMa 推理库。非常适合嵌入到其他应用中或封装为脚本语言接口。

• whatlang - 一个使用多分类逻辑回归模型检测语言的 Rust 库。

• OpenAI API - 一个强类型的 Rust 客户端，用于访问 OpenAI API。

工具

• spider - 一个用 Rust 编写的爬虫工具，适用于需要完整网站数据转储的场景。与 Scrapy 不同，它专注于数据抓取，后续处理则由用户自行完成。

服务

• dust - 一个提供可组合模块的工作流全栈服务。核心由 Rust 实现，前端则采用 TypeScript。

向量数据库

• pgvecto.rs - 一个专为 LLM 设计的 Postgres 向量数据库插件，完全用 Rust 编写，速度比 pgvector 快 20 倍。
• qdrant - Qdrant 是面向下一代 AI 应用的向量数据库。

awesome-rust-llm 快速上手指南

awesome-rust-llm 并非单一的可安装软件，而是一个精选的 Rust 语言大语言模型（LLM）生态资源列表。本指南将指导你如何搭建开发环境，并快速使用列表中几个最具代表性的核心库进行 LLM 推理和应用开发。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)。
• Rust 工具链: 需安装最新稳定版 Rust。

  curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
  source $HOME/.cargo/env
  rustc --version # 验证安装
  

• 构建依赖: 部分底层库（如 llm 或 tiktoken）需要 C 编译器。
  • Ubuntu/Debian: sudo apt-get install build-essential pkg-config libssl-dev
  • macOS: xcode-select --install
  • Windows: 安装 Visual Studio Build Tools 并勾选 "C++ build tools"。
• 国内加速建议:
  • 配置 Rust 镜像源以加快下载速度：

    export RUSTUP_DIST_SERVER=https://mirrors.tuna.tsinghua.edu.cn/rustup
    export RUSTUP_UPDATE_ROOT=https://mirrors.tuna.tsinghua.edu.cn/rustup/rustup
    

安装步骤

由于这是一个资源集合，你需要根据具体需求在项目中引入对应的 crate。以下是创建一个新项目并引入两个核心库（llm 用于运行本地模型，tiktoken-rs 用于分词）的步骤：

1. 创建新项目:

   cargo new my-llm-app
   cd my-llm-app
   

2. 编辑 Cargo.toml: 添加你需要的依赖。例如，要运行 GGML 格式的模型和使用分词器：

   [dependencies]
   llm = "0.1.1" # 用于加载和运行 LLM 模型
   tiktoken-rs = "0.5" # 用于 OpenAI 兼容的分词
   tokio = { version = "1", features = ["full"] } # 异步运行时，许多工具需要
   

3. 下载依赖:

   cargo fetch
   

   (注：首次编译可能较慢，因为涉及大量 Rust 代码和原生扩展编译)

基本使用

以下示例展示如何使用 tiktoken-rs 进行文本分词，这是处理 LLM 输入的基础步骤。

示例：使用 tiktoken-rs 进行分词

创建一个 src/main.rs 文件，写入以下代码：

use tiktoken_rs::p50k_base;

fn main() {
    // 获取 p50k_base 编码器 (常用于 GPT-3 等模型)
    let bpe = p50k_base().expect("Failed to get encoder");

    let text = "Hello, awesome-rust-llm! 这是一个测试。";
    
    // 编码文本为 token ID 序列
    let tokens = bpe.encode_with_special_tokens(text);

    println!("原始文本: {}", text);
    println!("Token 数量: {}", tokens.len());
    println!("Token IDs: {:?}", tokens);
    
    // 可选：解码回文本
    let decoded = bpe.decode(tokens).unwrap();
    println!("解码后: {}", decoded);
}

运行项目：

cargo run

进阶提示：运行本地模型 (llm crate)

若要使用 llm crate 运行本地模型（如 LLaMA 或 Alpaca 的 GGML 格式），你需要先手动下载 .bin 模型文件，然后在代码中加载：

// 伪代码示例，需参考 llm crate 具体文档调整
use llm::{load, ModelParameters};
use std::path::Path;

// 需要预先下载 model.ggml 文件
let model_path = Path::new("path/to/model.ggml");
let model = load::<llm::models::Llama>(
    model_path,
    llm::ModelParameters::default(),
    |progress| { /* 加载进度回调 */ },
).expect("Failed to load model");

// 随后即可进行 inference (推理)

你可以访问 awesome-rust-llm GitHub 仓库 浏览更多针对特定场景（如向量数据库、Agent 构建、CLI 工具）的库和项目。