一款在 Apple Silicon Mac 上使用 Apple MLX 的一体化聊天游乐场。

功能特性

• 增强隐私的人工智能：安全地与您喜爱的模型和数据进行对话。
• MLX 交互式平台：专为 Apple MLX 设计的一体化大语言模型聊天界面。
• 轻松集成：可轻松集成任何与 HuggingFace 和 MLX 兼容的开源模型。
• 默认模型：Llama-3、Phi-3、Yi、Qwen、Mistral、Codestral、Mixtral、StableLM（以及 Dolphin 和 Hermes 变体）。

安装与使用

简易安装

• 安装 Pip
• 安装命令：pip install chat-with-mlx

手动 Pip 安装

git clone https://github.com/qnguyen3/chat-with-mlx.git
cd chat-with-mlx
python -m venv .venv
source .venv/bin/activate
pip install -e .

手动 Conda 安装

git clone https://github.com/qnguyen3/chat-with-mlx.git
cd chat-with-mlx
conda create -n mlx-chat python=3.11
conda activate mlx-chat
pip install -e .

使用方法

• 启动应用：chat-with-mlx

添加您的模型

请查看指南 HERE

已知问题

• 当通过方案 1 下载模型时，停止它的唯一方法是在终端中按下 control + C。
• 如果您想切换文件，必须手动点击“停止索引”。否则，向量数据库会将第二个文档添加到当前数据库中。
• 必须选择数据集模式（文档或 YouTube）才能正常工作。
• Phi-3-small 无法在补全中进行流式处理。

为什么选择 MLX？

MLX 是由 Apple 机器学习研究团队推出的，专为 Apple 芯片设计的数组框架，用于机器学习研究。

MLX 的一些关键特性包括：

• 熟悉的 API：MLX 提供了与 NumPy 非常接近的 Python API。此外，MLX 还拥有功能齐全的 C++、C 和 Swift API，这些 API 也与 Python API 高度一致。MLX 还提供了更高层次的包，如 mlx.nn 和 mlx.optimizers，其 API 与 PyTorch 非常相似，从而简化复杂模型的构建。

• 可组合的函数变换：MLX 支持自动微分、自动向量化和计算图优化等可组合的函数变换。

• 惰性计算：MLX 中的计算是惰性的。只有在需要时才会对数组进行实际计算。

• 动态图构建：MLX 中的计算图是动态构建的。更改函数参数的形状不会触发缓慢的编译过程，调试简单直观。

• 多设备支持：操作可以在任何受支持的设备上运行（目前包括 CPU 和 GPU）。

• 统一内存：MLX 与其他框架的一个显著区别在于其 统一内存模型。MLX 中的数组存储在共享内存中，因此可以在任何受支持的设备类型上直接对这些数组进行操作，而无需传输数据。

致谢

我要特别感谢以下人员和组织：

• Apple 机器学习研究团队，感谢他们开发了出色的 MLX 库。
• LangChain 和 ChromaDB，感谢它们提供了如此便捷的 RAG 实现。
• 所有贡献者。

星标历史

chat-with-mlx 快速上手指南

chat-with-mlx 是一款专为 Apple Silicon Mac 打造的一体化 AI 聊天工具。它基于 Apple MLX 框架，支持本地运行 Llama-3、Phi-3、Qwen 等主流开源大模型，并提供隐私增强的文档对话（RAG）功能。

环境准备

在开始之前，请确保满足以下条件：

• 操作系统：macOS (必须运行在 Apple Silicon 芯片上，如 M1, M2, M3 系列)。
• Python 版本：推荐 Python 3.9 及以上版本（官方示例使用 3.11）。
• 前置依赖：已安装 pip 包管理工具。
• 网络环境：首次运行时需下载模型权重，建议确保网络连接畅通（若访问 HuggingFace 困难，请自行配置镜像或代理）。

安装步骤

你可以选择以下任意一种方式进行安装。

方式一：快速安装（推荐）

直接使用 pip 安装发布版，最简单快捷。

pip install chat-with-mlx

提示：国内用户若下载缓慢，可使用清华或阿里镜像源： pip install chat-with-mlx -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：源码安装（开发者模式）

如果你需要修改源码或体验最新功能，可克隆仓库进行安装。

使用 venv 虚拟环境：

git clone https://github.com/qnguyen3/chat-with-mlx.git
cd chat-with-mlx
python -m venv .venv
source .venv/bin/activate
pip install -e .

使用 Conda 环境：

git clone https://github.com/qnguyen3/chat-with-mlx.git
cd chat-with-mlx
conda create -n mlx-chat python=3.11
conda activate mlx-chat
pip install -e .

基本使用

安装完成后，直接在终端启动应用即可。

1. 启动应用

在终端输入以下命令：

chat-with-mlx

2. 开始对话

• 选择模型：应用启动后，界面将列出默认支持的模型（如 Llama-3, Phi-3, Qwen, Mistral 等）。首次选择某模型时，系统会自动下载权重文件。
  • 注意：下载过程中如需停止，请在终端按 Ctrl + C。
• 加载数据（可选）：
  • 在界面中选择 Document 模式上传本地文件，或选择 YouTube 模式输入视频链接，即可开启基于私有数据的问答（RAG）。
  • 注意：切换文件前，请务必手动点击 STOP INDEXING，否则新文档会追加到当前向量数据库中。
• 聊天：在输入框发送消息，即可与本地运行的 AI 模型进行隐私安全的对话。

现在，你可以在自己的 Mac 上享受流畅、私密的本地大模型体验了！