使用 Java 和 Spring AI 构建 LLM 与 AI 驱动的应用程序

展示如何使用 Spring AI 构建由生成式 AI 和大型语言模型（LLMs）驱动的 Java 应用程序的示例。

🛠️ 前置条件

• Java 25
• Podman/Docker

💡 使用场景

• 聊天机器人 通过 Ollama 使用 LLM 构建的聊天机器人。

• 问答系统 使用 Ollama 和 PGVector 的 LLM，结合文档进行问答（RAG）。

• 语义搜索 使用 Ollama 和 PGVector 的 LLM 实现语义搜索。

• 结构化数据提取 使用 Ollama 的 LLM 进行结构化数据提取。

• 文本分类 使用 Ollama 的 LLM 进行文本分类。

🧠 模型

聊天模型

通过不同模型提供商实现 LLM 的聊天完成：

• Mistral AI
• Ollama
• OpenAI
• 多提供商

嵌入模型

通过不同模型提供商实现 LLM 的向量转换（嵌入）：

• Mistral AI
• Ollama
• OpenAI
• ONNX Transformers

图像模型

通过不同模型提供商实现 LLM 的图像生成：

• OpenAI

音频模型

通过不同模型提供商实现 LLM 的语音生成：

• OpenAI

通过不同模型提供商实现 LLM 的语音转录：

• OpenAI

内容审核模型

即将推出

📐 模式

提示、消息和模板

使用纯文本进行提示：

• Ollama
• OpenAI

使用结构化消息和角色进行提示：

• Ollama
• OpenAI

使用模板进行提示：

• Ollama
• OpenAI

结构化输出

将 LLM 输出转换为结构化的 JSON 和 Java 对象：

• Ollama
• OpenAI

多模态

在提示中包含多种媒体内容：

• Mistral AI
• Ollama
• OpenAI

工具调用

通过不同模型提供商实现 LLM 的工具调用：

• Mistral AI
• Ollama
• OpenAI

对话记忆

使用对话记忆来保留与 LLM 交互中的上下文：

• 基础对话记忆
• JDBC 对话记忆
• Spring Security 对话记忆
• 向量存储对话记忆

安全护栏

通过不同模型提供商为 LLM 的输入和输出设置安全护栏：

• 输入安全护栏
• 输出安全护栏

📥 数据摄取

文档阅读器

通过 Ollama 读取并向量化文档：

• JSON
• Markdown
• PDF
• 文本
• Tika

文档转换器

通过 Ollama 使用 LLM 进行文档转换：

• 元数据
  为文档添加关键词和摘要元数据，以增强检索效果。
• 拆分器
  将文档分割成适合 LLM 上下文窗口的块。

🔢 向量存储

即将推出

🔄 检索增强生成 (RAG)

使用不同 RAG 流程（结合 Ollama 和 PGVector）对文档进行问答：

顺序 RAG

• 朴素型
• 高级型

分支 RAG

• 分支型

条件 RAG

• 条件型

📊 可观测性

LLM 可观测性

针对不同模型提供商的 LLM 可观测性：

• Mistral AI
• Ollama
• OpenAI

向量存储可观测性

针对不同向量存储的向量存储可观测性：

• PGVector

⚙️ 模型上下文协议

与 MCP 服务器集成，为 LLM 提供上下文。

• Brave Search API

📋 评估

即将推出

🤖 代理

即将推出

📚 参考文献及附加资源

• Spring AI 参考文档

会议

• Christian Tzolov 和 Mark Pollack 主讲的“介绍 Spring AI”（Spring I/O 2024）
• Christian Tzolov 主讲的“Spring AI 就是您所需要的”（GOTO 阿姆斯特丹 2024）
• Thomas Vitale 主讲的“Java 与 AI 的协奏曲——构建生产就绪的 LLM 应用程序”（Devoxx UK 2025）
• Thomas Vitale 主讲的“使用 Java 和 Spring AI 构建模块化 RAG 架构”（Spring I/O 2025）

视频

• Dan Vega 主讲的“使用 Spring AI 构建智能应用”（JetBrains 直播）
• Dan Vega 的 Spring AI 系列
• Craig Walls 的 Spring AI 系列
• Josh Long 的 Spring AI 系列

演示

• 航空公司客户支持（Marcus Hellberg）
• 作曲助手（Thomas Vitale）
• 文档助手（Marcus Hellberg）
• 航班预订（Christian Tzolov）

工作坊

• Spring AI — 从零到英雄（Adib Saikali、Christian Tzolov）
• 使用 Java 和 Spring AI 构建 AI 应用程序（Thomas Vitale）

llm-apps-java-spring-ai 快速上手指南

本指南帮助 Java 开发者快速使用 Spring AI 构建基于大语言模型（LLM）的应用程序。该项目提供了丰富的示例，涵盖聊天机器人、RAG、结构化数据提取等场景。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• JDK: 必须安装 Java 25 (早期访问版本)。
  • 提示：国内用户可通过 Alibaba Dragonwell 或 Huawei BiSheng JDK 获取兼容版本，或使用 SDKMAN 安装 EA 版本。
• 容器运行时: 必须安装 Docker 或 Podman，用于运行本地 LLM 服务（如 Ollama）和向量数据库（如 PGVector）。
• 构建工具: 推荐使用 Maven 或 Gradle（项目通常包含 wrapper 脚本）。

安装步骤

1. 克隆项目仓库 将代码库克隆到本地：

   git clone https://github.com/ThomasVitale/llm-apps-java-spring-ai.git
   cd llm-apps-java-spring-ai
   

2. 启动本地依赖服务 大多数示例（特别是 use-cases 目录下的）依赖本地运行的 Ollama 和 PostgreSQL (PGVector)。您可以使用 Docker Compose 快速启动这些服务（如果项目根目录包含 docker-compose.yml），或者手动运行：

   启动 Ollama (以拉取并运行 llama3 模型为例):

   docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
   docker exec -it ollama ollama pull llama3
   

   启动 PGVector (用于 RAG 示例):

   docker run -d -e POSTGRES_PASSWORD=postgres -e POSTGRES_USER=postgres -e POSTGRES_DB=ai_db -p 5432:5432 --name pgvector pgvector/pgvector:pg16
   

3. 配置环境变量 根据您选择的示例场景，在项目根目录或具体示例目录下创建 .env 文件或设置系统环境变量。

   例如，使用 Ollama 时通常无需额外 Key，但需确保端点正确；若使用 OpenAI:

   export SPRING_AI_OPENAI_API_KEY=your_openai_api_key
   

4. 构建项目 使用 Maven 包装器编译项目：

   ./mvnw clean install
   

   (Windows 用户使用 mvnw.cmd)

基本使用

本项目按功能模块组织，最简单的入门方式是运行一个基础的 Chatbot 示例。

运行聊天机器人示例 (Chatbot)

该示例展示了如何通过 Ollama 调用本地 LLM 进行对话。

1. 进入示例目录

   cd use-cases/chatbot
   

2. 运行应用 确保 Ollama 正在运行且已下载模型（如 llama3），然后执行：

   ../mvnw spring-boot:run
   

   (注：如果在子目录没有 mvnw，请返回根目录运行 ./mvnw -pl use-cases/chatbot spring-boot:run)

3. 交互测试 应用启动后（默认端口通常为 8080），您可以通过 curl 或浏览器访问接口进行测试：

   curl -X POST http://localhost:8080/api/chat \
     -H "Content-Type: application/json" \
     -d '{"message": "你好，请用 Java 解释一下 Spring AI 是什么？"}'
   

探索其他核心场景

项目结构清晰，您可以直接切换到以下目录体验不同功能：

• 问答系统 (RAG): cd use-cases/question-answering (需启动 PGVector)
• 语义搜索: cd use-cases/semantic-search
• 结构化数据提取: cd use-cases/structured-data-extraction
• 多模态处理: cd patterns/multimodality/multimodality-ollama

核心代码模式示例

在您的 Spring Boot 项目中集成 Spring AI 的核心代码如下：

1. 添加依赖 (pom.xml):

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-ollama</artifactId>
</dependency>

2. 配置应用 (application.properties):

spring.ai.ollama.chat.model=llama3
spring.ai.ollama.base-url=http://localhost:11434

3. 编写聊天服务:

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.stereotype.Service;

@Service
public class ChatService {
    private final ChatClient chatClient;

    public ChatService(ChatClient.Builder builder) {
        this.chatClient = builder.build();
    }

    public String chat(String input) {
        return chatClient.prompt()
                .user(input)
                .call()
                .content();
    }
}

通过以上步骤，您即可快速搭建并运行基于 Java 和 Spring AI 的智能应用。更多高级用法（如 Tool Calling, Memory, Guardrails）请参考项目中对应的 patterns 目录示例。