在 TypeScript 中使用本地 LLM

LM Studio 客户端 SDK

lmstudio-js 是 LM Studio 官方的 JavaScript 客户端 SDK，采用 TypeScript 编写。它允许您

• 使用 LLM 进行 聊天回复 或预测 文本补全
• 将函数定义为工具，将 LLM 转变为完全在本地运行的 自主代理
• 从内存中 加载、配置 和 卸载 模型
• 支持浏览器以及任何兼容 Node 的环境
• 为文本生成嵌入向量，等等！

如果您使用的是 Python？请参阅 lmstudio-python

安装

npm install @lmstudio/sdk --save

快速示例

import { LMStudioClient } from "@lmstudio/sdk";
const client = new LMStudioClient();

const model = await client.llm.model("llama-3.2-1b-instruct");
const result = await model.respond("生命的意义是什么？");

console.info(result.content);

更多示例和文档，请访问 lmstudio-js 文档。

为什么选择 lmstudio-js 而不是 openai SDK？

OpenAI 的 SDK 是专为 OpenAI 的专有模型设计的。因此，它缺少许多在本地环境中使用 LLM 所必需的功能，例如：

• 管理模型在内存中的加载和卸载
• 配置加载参数（上下文长度、GPU 分离设置等）
• 推测解码
• 获取关于模型的信息（如上下文长度、模型大小等）
• ……以及其他更多功能

此外，虽然 openai SDK 是自动生成的，但 lmstudio-js 却是从零开始设计的，旨在为 TypeScript/JavaScript 开发人员提供简洁易用的接口。

贡献

您可以按照以下步骤在本地构建该项目：

git clone https://github.com/lmstudio-ai/lmstudio-js.git --recursive
cd lmstudio-js
npm install
npm run build

更多信息请参阅 CONTRIBUTING.md。

社区

在 LM Studio 社区 Discord 服务器的 #dev-chat 中讨论所有关于 lmstudio-js 的话题。

lmstudio-js 快速上手指南

lmstudio-js 是 LM Studio 官方推出的 JavaScript/TypeScript 客户端 SDK，专为在本地环境中运行大语言模型（LLM）而设计。它支持浏览器和 Node.js 环境，让开发者能够轻松构建基于本地模型的聊天应用、自主智能体及文本嵌入服务。

环境准备

在开始之前，请确保满足以下条件：

• 运行环境：
  • Node.js：建议使用 LTS 版本（v18+）。
  • 或 浏览器：支持现代主流浏览器。
• 前置依赖：
  • 必须已在本地安装并运行 LM Studio 桌面应用程序。
  • 确保 LM Studio 的本地服务器已启动（默认端口通常为 1234），且已下载至少一个模型文件。
• 开发工具：
  • 推荐使用支持 TypeScript 的编辑器（如 VS Code）。

安装步骤

通过 npm 安装官方 SDK 包：

npm install @lmstudio/sdk --save

提示：如果在国内网络环境下安装较慢，可配置淘宝镜像源加速：

npm config set registry https://registry.npmmirror.com
npm install @lmstudio/sdk --save

基本使用

以下是一个最简单的示例，展示如何连接本地模型并进行对话：

import { LMStudioClient } from "@lmstudio/sdk";

// 初始化客户端（默认连接本地 LM Studio 服务）
const client = new LMStudioClient();

// 加载指定模型（请确保该模型已在 LM Studio 中下载）
const model = await client.llm.model("llama-3.2-1b-instruct");

// 发送消息并获取回复
const result = await model.respond("What is the meaning of life?");

// 输出结果
console.info(result.content);

使用说明：

1. 将代码中的 "llama-3.2-1b-instruct" 替换为你本地实际下载的模型标识符。
2. 运行脚本前，请确保 LM Studio 应用处于开启状态。
3. 该库不仅支持聊天补全，还支持函数调用（Tools）、模型加载/卸载管理及文本嵌入生成等高级功能。

更多详细文档和进阶示例，请访问 lmstudio-js 官方文档。