LLMs-本地

用于在本地运行大型语言模型的优秀平台、工具和资源列表

目录

• 推理平台
• 推理引擎
• 用户界面
• 大型语言模型
  • 探索工具、基准测试、排行榜
  • 模型提供商
  • 特定模型
    • 通用模型
    • 编程模型
    • 多模态模型
    • 图像模型
    • 音频模型
    • 其他
• 工具
  • 模型
  • 智能体框架
  • 模型上下文协议
  • 检索增强生成
  • 编程智能体
  • 计算机使用
  • 浏览器自动化
  • 内存管理
  • 测试、评估与可观测性
  • 研究
  • 训练与微调
  • 其他
• 硬件
• 教程
  • 模型
  • 提示工程
  • 上下文工程
  • 推理
  • 智能体
  • 检索增强生成
  • 其他
• 社区

推理平台

• LM Studio - 发现、下载并运行本地大型语言模型
• jan - 一款开源的ChatGPT替代品，可在您的电脑上100%离线运行
• LocalAI - OpenAI、Claude等服务的免费开源替代方案
• ChatBox - 一款用户友好的桌面客户端应用，用于运行AI模型/大型语言模型
• lemonade - 一个支持GPU和NPU加速的本地大型语言模型服务器

返回目录

推理引擎

• ollama - 快速启动并运行大型语言模型
• llama.cpp - 使用C/C++进行大型语言模型推理
• vllm - 高吞吐量且内存高效的大型语言模型推理与服务引擎
• exo - 使用日常设备在家搭建自己的AI集群
• BitNet - 1位大型语言模型的官方推理框架
• sglang - 一种用于大型语言模型和视觉语言模型的快速服务框架
• Nano-vLLM - 从头开始构建的轻量级vLLM实现
• koboldcpp - 轻松运行GGUF模型，并配备KoboldAI界面
• gpustack - 在GPU集群上简单、可扩展地部署AI模型
• mlx-lm - 使用MLX在Apple芯片上生成文本并微调大型语言模型
• distributed-llama - 将家用设备连接成强大的集群，以加速大型语言模型的推理
• ik_llama.cpp - llama.cpp的分支，增加了最新的量化技术并提升了性能
• FastFlowLM - 在AMD Ryzen™ AI NPU上运行大型语言模型
• vllm-gfx906 - 适用于AMD gfx906 GPU（如Radeon VII / MI50 / MI60）的vLLM
• llm-scaler - 在Intel Arc™ Pro B60 GPU上运行大型语言模型

返回目录

用户界面

• Open WebUI - 友好易用的AI界面（支持Ollama、OpenAI API等）
• Lobe Chat - 一个开源、现代设计的AI聊天框架
• 文本生成Web UI - 具有高级功能、易于部署且支持多种后端的LLM用户界面
• SillyTavern - 面向高级用户的LLM前端
• Page Assist - 使用您本地运行的AI模型来辅助您的网页浏览

返回目录

大型语言模型

探索工具、基准测试与排行榜

• AI模型与API提供商分析 - 帮助您了解AI领域，从而为您的应用场景选择最佳模型和提供商
• LLM Explorer - 探索开源LLM模型列表
• Dubesor LLM基准测试表 - 小规模手动性能对比基准
• oobabooga基准测试 - 按照每个分数的磁盘大小排序的列表

返回目录

模型提供商

• Qwen - 由阿里云提供支持
• Mistral AI - 一家领先的法国人工智能初创公司
• 腾讯 - 中国一家跨国科技集团及控股公司的简介
• Unsloth AI - 致力于让每个人都能更方便地使用AI（如GGUF等）
• bartowski - 提供流行LLM的GGUF版本
• 北京人工智能研究院 - 一家从事AI研究与开发的非营利性私人机构
• Open Thoughts - 一个由研究人员和工程师组成的团队，致力于整理最佳的开放推理数据集

返回目录

具体模型

通用型

• Qwen3-Next - 最新一代Qwen LLM系列
• Gemma 3 - 来自谷歌的一系列轻量级、最先进的开源模型，基于与Gemini模型相同的科研和技术打造
• gpt-oss - OpenAI提供的开放权重模型集合，专为强大的推理能力、智能体任务以及多用途的开发者场景而设计
• Ministral 3 - 边缘模型系列，包含基础版、指令版和推理版，共有3种尺寸：3B、8B和14B，均具备视觉能力
• GLM-4.5 - 专为智能代理设计的混合推理模型系列
• Hunyuan - 腾讯开源的高效LLM系列，专为在各种计算环境中灵活部署而设计
• Phi-4-mini-instruct - 基于合成数据和筛选后的公开网站构建的轻量级开放模型
• NVIDIA Nemotron v3 - NVIDIA推出的一系列开放模型，拥有开放的权重、训练数据和配方，能够以领先的效率和准确度构建专业化的AI智能体
• Llama Nemotron - NVIDIA推出的可用于生产的开放企业级模型系列
• OpenReasoning-Nemotron - NVIDIA推出的一系列模型，基于500万条数学、代码和科学相关的推理轨迹进行训练
• Granite 4.0 - IBM推出的一系列轻量级、最先进的开源基础模型，原生支持多语言能力、广泛的编码任务（包括中间填充式代码补全）、检索增强生成（RAG）、工具使用以及结构化JSON输出
• EXAONE-4.0 - LG AI Research推出的LLM系列，融合了非推理模式和推理模式
• ERNIE 4.5 - 百度推出的大规模多模态模型系列
• Seed-OSS - 字节跳动Seed团队开发的LLM系列，专为强大的长上下文理解、推理能力、智能体功能以及通用能力而设计，并具备多样的开发者友好特性

返回目录

编码

• Qwen3-Coder - Qwen系列迄今为止最具代理能力的代码模型合集
• Devstral 2 - 两款用于软件工程任务的代理型LLM，擅长利用工具探索代码库、编辑多个文件，并为SWE智能体提供支持
• Mellum-4b-base - 来自JetBrains的LLM，专为代码相关任务优化
• OlympicCoder-32B - 在LiveCodeBench和2024年国际信息学奥林匹克竞赛等竞技编程基准测试中表现极为出色的代码模型
• NextCoder - 以Qwen2.5-Coder Instruct变体为基础开发的一系列代码编辑LLM

返回目录

多模态

• Qwen3-Omni - Qwen原生端到端多语言全模态基础模型合集

返回目录

图像

• Qwen-Image - Qwen系列中的图像生成基础模型，在复杂文本渲染和精准图像编辑方面取得了显著进展
• Qwen-Image-Edit-2509 - Qwen-Image的图像编辑版本，将基础模型独特的文本渲染能力扩展至图像编辑任务，实现精确的文本编辑
• Qwen3-VL - Qwen系列迄今为止最强大的视觉-语言模型合集
• GLM-4.5V - 基于智谱AI新一代旗舰文本基础模型GLM-4.5-Air的VLLM
• HunyuanImage-2.1 - 高效的扩散模型，用于高分辨率（2K）文生图​
• FastVLM - 苹果公司高效视觉编码的VLM合集
• MiniCPM-V-4_5 - GPT-4o级别的小型MLLM，可在手机上实现单张图片、多张图片及高帧率视频的理解
• LFM2-VL - 专为设备端部署设计的视觉-语言模型合集
• ClipTagger-12b - 一款专为大规模视频理解设计的视觉-语言模型（VLM）

返回目录

音频

• Voxtral-Small-24B-2507 - Mistral Small 3的升级版，融合了最先进的音频输入能力，同时保持一流的文本性能
• chatterbox - 首个生产级开源TTS模型
• VibeVoice - 微软前沿文本转语音模型合集
• canary-1b-v2 - 英伟达的一款多任务语音转录与翻译模型
• parakeet-tdt-0.6b-v3 - 英伟达的多语言语音转文字模型
• Kitten TTS - 开源逼真文本转语音模型合集，专为轻量级部署和高质量语音合成设计

返回目录

其他

• Jan-v1-4B - Jan家族的首个发布版本，专为Jan App中的代理式推理和问题解决而设计
• Jan-nano - 一款紧凑的40亿参数语言模型，专门针对深度研究任务进行设计和训练
• Jan-nano-128k - Jan-nano的增强版，具备原生128k上下文窗口，可在不降低性能的情况下实现更深入、更全面的研究能力
• Arch-Router-1.5B - 最快的LLM路由模型，可根据用户的主观偏好进行匹配
• gpt-oss-safeguard - 基于gpt-oss构建的安全推理模型合集
• Qwen3Guard - 基于Qwen3构建的安全审核模型合集
• HunyuanWorld-1 - 开源3D世界生成模型
• Hunyuan-GameCraft-1.0 - 一种用于游戏环境中高动态交互式视频生成的新框架

返回目录

工具

模型

• unsloth - LLM的微调与强化学习工具
• outlines - LLM的结构化输出工具
• heretic - 语言模型的全自动内容审查移除工具
• llama-swap - 适用于任何本地OpenAI兼容服务器（如llama.cpp、vllm等）的可靠模型切换工具

返回目录

代理框架

• AutoGPT - 一个强大的平台，允许你创建、部署和管理持续运行的AI代理，以自动化复杂的流程
• langflow - 一个功能强大的工具，用于构建和部署基于AI的代理及工作流
• langchain - 构建上下文感知的推理应用
• autogen - 一个用于智能体式AI的编程框架
• anything-llm - 一款一体化的桌面及Docker AI应用，内置RAG、AI代理、无代码代理构建器、MCP兼容性等功能
• Flowise - 可视化方式构建AI代理
• llama_index - 领先的数据驱动LLM代理构建框架
• crewAI - 一个用于编排角色扮演型自主AI代理的框架
• agno - 一个全栈框架，用于构建具备记忆、知识与推理能力的多智能体系统
• sim - 开源平台，用于构建和部署AI代理工作流
• openai-agents-python - 一个轻量级但功能强大的多智能体工作流框架
• SuperAGI - 一个开源框架，用于构建、管理和运行实用的自主AI代理
• camel - 第一个也是最好的多智能体框架
• pydantic-ai - 一个Python代理框架，旨在帮助你快速、自信且轻松地构建生产级别的生成式AI应用和工作流
• txtai - 一体化开源AI框架，适用于语义搜索、LLM编排及语言模型工作流
• agent-framework - 一个用于构建、编排和部署AI代理及多智能体工作流的框架，支持Python和.NET
• archgw - 一个高性能代理服务器，负责处理构建代理时的底层工作：例如应用护栏机制、将提示路由到合适的代理、统一LLM访问等
• ClaraVerse - 一个以隐私为先、完全本地化的AI工作空间，配备Ollama LLM聊天、工具调用、代理构建器、Stable Diffusion以及嵌入式n8n风格自动化功能
• ragbits - 用于快速开发GenAI应用的构建模块

返回目录

模型上下文协议

• mindsdb - 用于AI的联邦查询引擎，是你唯一需要的MCP服务器
• github-mcp-server - GitHub官方MCP服务器
• playwright-mcp - Playwright MCP服务器
• chrome-devtools-mcp - Chrome DevTools，用于编写代理程序
• n8n-mcp - 一个MCP，专为Claude Desktop / Claude Code / Windsurf / Cursor设计，可为你构建n8n工作流
• awslabs/mcp - AWS MCP服务器，无论你在何处使用MCP，都能帮助你最大化AWS的使用价值
• mcp-atlassian - Atlassian工具（Confluence、Jira）的MCP服务器

返回目录

检索增强生成

• pathway - 用于流处理、实时分析、LLM 流程和 RAG 的 Python ETL 框架
• graphrag - 一个模块化的基于图的 RAG 系统
• LightRAG - 简单快速的 RAG
• haystack - 用于构建可定制、生产就绪的 LLM 应用程序的 AI 编排框架，非常适合构建 RAG、问答系统、语义搜索或对话式智能助手聊天机器人
• vanna - 一个开源的 Python RAG 框架，用于 SQL 生成及相关功能
• graphiti - 为 AI 代理构建实时知识图谱
• onyx - 与贵公司文档、应用程序和人员相连的 AI 平台
• claude-context - 将整个代码库作为任何编码代理的上下文
• pipeshub-ai - 一个完全可扩展且可解释的企业级搜索与工作流自动化 AI 平台

返回目录

编码代理

• zed - 一款面向下一代的代码编辑器，专为与人类和 AI 高效协作而设计
• OpenHands - 一个由 AI 驱动的软件开发代理平台
• cline - 一款就在你的 IDE 中的自主编码代理，能够在你每一步的许可下创建/编辑文件、执行命令、使用浏览器等
• aider - 在你的终端中进行 AI 配对编程
• opencode - 一款专为终端打造的 AI 编码代理
• tabby - 一个开源的 GitHub Copilot 替代品，允许你搭建自己的 LLM 驱动的代码补全服务器
• continue - 使用我们的开源 IDE 扩展和模型、规则、提示、文档等构建块的中心，创建、分享和使用自定义的 AI 代码助手
• void - 一个开源的 Cursor 替代品，在你的代码库上使用 AI 代理，检查点并可视化更改，并将任何模型或主机本地化
• goose - 一个开源、可扩展的 AI 代理，超越了单纯的代码建议
• Roo-Code - 你的代码编辑器中的一整支由 AI 代理组成的开发团队
• crush - 一款为你喜爱的终端打造的迷人 AI 编码代理
• kilocode - 开源的 AI 编码助手，用于规划、构建和修复代码
• humanlayer - 让 AI 编码代理解决复杂代码库中难题的最佳方式
• ProxyAI - JetBrains 领先的开源 AI 合作伙伴

返回目录

计算机使用

• open-interpreter - 一种用于计算机的自然语言接口
• OmniParser - 一个简单的屏幕解析工具，旨在实现纯视觉驱动的 GUI 代理
• cua - 用于计算机使用 AI 代理的 Docker 容器
• self-operating-computer - 一个使多模态模型能够操作计算机的框架
• Agent-S - 一个开放的代理框架，像人类一样使用计算机

返回目录

浏览器自动化

• puppeteer - 一个用于 Chrome 和 Firefox 的 JavaScript API
• playwright - 一个用于 Web 测试和自动化的框架
• browser-use - 让网站对 AI 代理可用
• firecrawl - 将整个网站转换为适合 LLM 的 Markdown 或结构化数据
• stagehand - AI 浏览器自动化框架
• nanobrowser - 开源 Chrome 扩展，用于 AI 驱动的网页自动化

返回目录

内存管理

• mem0 - 适用于 AI 代理的通用内存层
• letta - 具有记忆、推理和上下文管理功能的状态型代理框架
• supermemory - 极其快速且可扩展的内存引擎和应用
• cognee - 用 5 行代码实现的 AI 代理内存
• LMCache - 使用最快的 KV 缓存层加速你的 LLM
• memU - 一个开源的 AI 伴侣内存框架

返回目录

测试、评估与可观测性

• langfuse - 一个开源的 LLM 工程平台：LLM 可观测性、指标、评估、提示管理、游乐场、数据集。与 OpenTelemetry、Langchain、OpenAI SDK、LiteLLM 等集成
• opik - 使用全面的追踪、自动化评估和生产就绪的仪表板来调试、评估和监控你的 LLM 应用程序、RAG 系统和代理式工作流
• openllmetry - 基于 OpenTelemetry 的开源 LLM 应用程序可观测性工具
• garak - NVIDIA 提供的 LLM 漏洞扫描器
• giskard - 一个开源的 AI 和 LLM 系统评估与测试工具
• agenta - 一个开源的 LLMOps 平台：提示游乐场、提示管理、LLM 评估和 LLM 可观测性，全部集中在一个地方

返回目录

研究

• Perplexica - 一个开源的 Perplexity AI 替代品，即基于 AI 的搜索引擎
• gpt-researcher - 一个基于 LLM 的自主代理，能够针对任何主题进行深入的本地和网络研究，并生成带有引用的长篇报告
• SurfSense - 一个开源的 NotebookLM / Perplexity / Glean 替代品
• open-notebook - 一个具有更高灵活性和更多功能的 Notebook LM 开源实现
• RD-Agent - 自动化工业研发流程中最关键和最有价值的部分
• local-deep-researcher - 一个完全本地的网络研究和报告撰写助手
• local-deep-research - 一个用于深度迭代研究的 AI 驱动的研究助手
• maestro - 一个旨在简化复杂研究任务的 AI 驱动的研究应用

返回目录

训练与微调

• OpenRLHF - 一个基于 Ray、vLLM、ZeRO-3 和 HuggingFace Transformers 构建的易用、高性能开源 RLHF 框架，旨在让 RLHF 训练变得简单且易于访问
• Kiln - 微调 LLM 模型、生成合成数据以及协作处理数据集的最简单工具
• augmentoolkit - 使用新事实训练开源 LLM

返回目录

其他

• context7 - 针对 LLM 和 AI 代码编辑器的最新代码文档
• cai - 网络安全人工智能（CAI），AI 安全框架
• speakr - 一款个人自托管的 Web 应用程序，专为转录音频记录而设计
• presenton - 开源 AI 演示文稿生成器及 API
• OmniGen2 - 探索高级多模态生成
• 4o-ghibli-at-home - 一款功能强大、自托管的 AI 照片风格化工具，专为性能和隐私而设计
• Observer - 本地开源微型智能体，可观察、记录并作出反应，同时确保您的数据私密且安全
• mobile-use - 一款功能强大的开源 AI 助手，可通过自然语言控制您的 Android 或 iOS 设备
• gabber - 利用您的屏幕、麦克风和摄像头作为输入，构建能够看、听、说的 AI 应用程序
• promptcat - 一个零依赖的提示管理器/目录/库，集成在一个 HTML 文件中

返回目录

硬件

• Alex Ziskind - 测试能够运行 LLM 的 PC、笔记本电脑、GPU 等设备
• Digital Spaceport - 评测各种专为 LLM 推理设计的硬件配置
• JetsonHacks - 关于在 NVIDIA Jetson 开发套件上进行开发的信息
• Miyconst - 测试各种能够运行 LLM 的硬件类型
• Kolosal - LLM 内存计算器 - 即时估算任何 GGUF 模型所需的 RAM 大小
• LLM 推理 VRAM & GPU 要求计算器 - 计算部署 LLM 需要多少块 GPU
• ZLUDA - 在非 NVIDIA GPU 上使用 CUDA

返回目录

教程

模型

• 让我们重现 GPT-2 (124M)
• nanochat - 一个全栈式实现的类似 ChatGPT 的 LLM，采用单一、简洁、极简、可 hack 且依赖极少的代码库，专为通过 speedrun.sh 等脚本在单个 8XH100 节点上运行整个流水线而设计
• 知识蒸馏：LLM 如何相互训练
• gguf-docs - GGUF 量化文档（非官方）

返回目录

提示工程

• 提示工程指南 - 提示工程相关的指南、论文、讲座、笔记本及资源
• NirDiamant 的提示工程 - 一套全面的教程和实现，涵盖从基础概念到高级策略的提示工程技术
• 提示引导入门指南 - Google 提供的有效提示快速入门手册
• Google 的提示工程 - Google 的提示工程资料
• Anthropic 的提示工程 - Anthropic 的提示工程文档
• 提示工程互动教程 - Anthropic 提供的提示工程互动教程
• 现实世界中的提示 - Anthropic 提供的现实世界提示教程
• 提示评估 - Anthropic 的提示评估课程
• system-prompts-and-models-of-ai-tools - 从 AI 工具中提取的系统提示集合
• system_prompts_leaks - 从 ChatGPT、Claude 和 Gemini 等热门聊天机器人中提取的系统提示集合
• Codex 的提示 - OpenAI Codex 用于引导行为的提示

返回目录

上下文工程

• 上下文工程 - 受 Karpathy 和 3Blue1Brown 启发的前沿、基于第一性原理的手册，旨在超越提示工程，进入更广泛的上下文设计、编排和优化领域
• Awesome-Context-Engineering - 关于上下文工程的全面综述：从提示工程到生产级 AI 系统

返回目录

推理

• vLLM 生产栈 - vLLM 针对 K8S 原生集群部署的参考系统，并由社区驱动进行性能优化

返回目录

代理

• GenAI 代理 - 各类生成式 AI 代理技术的教程和实现
• 500 多个 AI 代理项目 - 涵盖各行业的 AI 代理用例精选集
• 12 因子代理 - 构建可靠 LLM 应用的原则
• 迈向生产的代理 - 从头到尾、以代码为导向的教程，覆盖生产级生成式 AI 代理的每一层，通过成熟的模式和可重用蓝图，指导您从萌芽阶段走向规模化落地
• LLM 代理与生态系统手册 - 一站式手册，包含 60 多种骨架、教程、生态系统指南和评估工具，帮助您构建、部署和理解 LLM 代理
• 601 个现实世界的生成式 AI 用例 - Google 整理的来自全球领先企业的 601 个现实世界生成式 AI 用例
• 构建代理的实用指南 - OpenAI 提供的构建代理实用指南

返回目录

检索增强生成

• Pathway AI 管道 - 用于 RAG、AI 流水线和企业级实时数据搜索的开箱即用云模板
• RAG 技术 - 针对检索增强生成（RAG）系统的各种高级技术
• 可控 RAG 代理 - 一种用于复杂问答任务的先进检索增强生成解决方案，采用复杂的基于图的算法来处理任务
• LangChain RAG 烹饪书 - 一系列模块化的 RAG 技术，使用 LangChain + Python 实现

返回目录

杂项

• 开箱即用的自托管 AI 编码工具

返回目录

LLMs-local 快速上手指南

LLMs-local 并非单一软件，而是一个精选的本地大语言模型（LLM）生态资源列表。本指南将带你从零开始，利用列表中推荐的工具在本地运行开源大模型。对于中国开发者，我们推荐从 Ollama（推理引擎）配合 Open WebUI（用户界面）或 LM Studio（一体化平台）入手。

环境准备

在开始之前，请确保你的硬件和系统满足以下基本要求：

• 操作系统：Windows 10/11, macOS (Intel 或 Apple Silicon), 或 Linux (Ubuntu/Debian 推荐)。
• 内存 (RAM)：
  • 运行 7B 参数模型：建议至少 8GB - 16GB。
  • 运行更大模型（如 14B+）：建议 32GB 或以上。
• 显卡 (GPU)（可选但强烈推荐）：
  • NVIDIA GPU：显存越大越好（8GB 起步），需安装最新显卡驱动。
  • Apple Silicon (M1/M2/M3)：统一内存架构对本地推理非常友好。
  • AMD GPU：部分工具（如 vllm-gfx906 或 llm-scaler）提供支持，但配置相对复杂。
• 前置依赖：
  • 已安装 Git。
  • 已安装 Python 3.8+ (部分高级工具需要)。
  • 网络环境：由于模型权重托管在 Hugging Face，国内访问可能较慢，建议配置代理或使用国内镜像源。

安装步骤

以下提供两种最主流的安装方案：方案 A 适合追求极致简便的用户，方案 B 适合喜欢命令行和轻量级部署的开发者。

方案 A：使用 LM Studio (图形化一体版)

适合不想配置环境，希望“下载即运行”的用户。

1. 下载安装包： 访问 LM Studio 官网 下载对应系统的安装包。

   提示：若官网下载慢，可尝试在国内技术社区搜索离线安装包。

2. 安装并启动： 运行安装程序，启动 LM Studio。

3. 搜索并下载模型：

   • 在左侧搜索栏输入模型名称（例如 Qwen2.5 或 Gemma）。
   • 选择右侧列表中的量化版本（推荐 GGUF 格式，如 Q4_K_M，平衡速度与精度）。
   • 点击 "Download"。

方案 B：使用 Ollama + Open WebUI (推荐开发者)

适合需要 API 集成、Docker 部署及更灵活控制的用户。

1. 安装 Ollama (推理后端)

在终端执行以下命令：

macOS / Linux:

curl -fsSL https://ollama.com/install.sh | sh

Windows: 下载 Ollama Setup.exe 并运行。

国内加速提示：若上述脚本执行超时，可使用国内镜像变量安装：

export OLLAMA_HOST="0.0.0.0"
curl -fsSL https://ollama.com/install.sh | sh
# 若下载模型慢，可设置代理：export HTTPS_PROXY=http://127.0.0.1:7890

2. 安装 Open WebUI (图形化前端)

推荐使用 Docker 部署，需先安装 Docker Desktop。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成后，浏览器访问 http://localhost:3000 即可使用。

基本使用

1. 运行第一个模型 (以 Qwen2.5 为例)

如果你使用 Ollama： 直接在终端运行以下命令，Ollama 会自动拉取并运行模型：

ollama run qwen2.5

注：qwen2.5 是阿里云通义千问系列的热门开源模型，对中文支持极佳。若需其他模型，替换名称即可，如 llama3, gemma2, mistral。

如果你使用 LM Studio：

1. 点击左侧 "Local Server" 标签页。
2. 在顶部下拉菜单选择已下载的模型。
3. 点击 "Start Server"。
4. 在聊天界面直接对话，或通过 http://localhost:1234/v1 调用 API。

2. 简单的 API 调用示例

本地服务启动后，你可以像使用 OpenAI API 一样调用本地模型。以下是一个 Python 示例：

from openai import OpenAI

# 指向本地 Ollama 或 LM Studio 的服务地址
client = OpenAI(
    base_url="http://localhost:11434/v1", # Ollama 默认端口
    api_key="ollama" # Ollama 不需要真实 key，填任意字符串即可
)

response = client.chat.completions.create(
    model="qwen2.5",
    messages=[
        {"role": "system", "content": "你是一个有用的助手。"},
        {"role": "user", "content": "请用中文简要介绍什么是大语言模型？"}
    ]
)

print(response.choices[0].message.content)

3. 常用管理命令 (Ollama)

• 查看已下载模型：

  ollama list
  

• 删除模型：

  ollama rm <model_name>
  

• 后台运行服务：

  ollama serve
  

通过以上步骤，你已成功搭建起本地的 AI 开发环境。你可以进一步探索 LLMs-local 列表中的高级工具，如 llama.cpp 进行底层优化，或使用 Text generation web UI 体验更多微调功能。