令人惊叹的 LLM JSON 列表

这个令人惊叹的列表致力于提供使用大型语言模型（LLMs）生成 JSON 或其他结构化输出的相关资源。

目录

• 术语
• 托管模型
• 本地模型
• Python 库
• 博客文章
• 视频
• Jupyter 笔记本
• 排行榜

术语

不幸的是，生成 JSON 有几种不同的叫法，但大致意思相同：

• 结构化输出：使用 LLM 生成任何结构化输出，包括 JSON、XML 或 YAML，无论采用何种技术（例如函数调用、引导式生成）。
• 函数调用：向 LLM 提供一个假设的（或实际的）函数定义，让其在聊天或完成响应中“调用”该函数。实际上 LLM 并不会真正调用函数，它只是通过 JSON 消息表明应该调用某个函数。
• JSON 模式：指定 LLM 必须生成有效的 JSON。根据提供商的不同，可能会指定模式，也可能不会，而 LLM 可能会创建意想不到的模式。
• 工具使用：为 LLM 提供一系列工具选择，如图像生成、网络搜索以及“函数调用”。API 请求中的函数调用参数现在被称为“tools”。
• 引导式生成：用于约束 LLM 模型生成符合预设规范的文本，例如上下文无关语法。
• GPT Actions：ChatGPT 根据 OpenAPI 规范 中指定的端点和参数来调用操作（即 API 调用）。与名为“Function Calling”的功能不同，此功能确实会调用您托管在 API 服务器上的函数。

这些名称都不太理想，因此我将此列表命名为“令人惊叹的 LLM JSON”。

托管模型

提供商	模型	链接
Anthropic	claude-3-opus-20240229 claude-3-sonnet-20240229 claude-3-haiku-20240307	API 文档 定价
AnyScale	Mistral-7B-Instruct-v0.1 Mixtral-8x7B-Instruct-v0.1	函数调用 JSON 模式 定价 公告（2023 年）
Azure	gpt-4 gpt-4-turbo gpt-35-turbo mistral-large-latest mistral-large-2402	函数调用 OpenAI 定价 Mistral 定价
Cohere	Command-R Command-R+	函数调用 定价 Command-R（2024-03-11） Command-R+（2024-04-04）
Fireworks.ai	firefunction-v1	函数调用 JSON 模式 语法模式 定价 公告（2023-12-20）
Google	gemini-1.0-pro	函数调用 定价
Groq	llama2-70b mixtral-8x7b gemma-7b-it	函数调用 定价
Hugging Face TGI	众多开源模型	语法、JSON 模式、函数调用和工具 可免费本地使用，或通过专用或无服务器端点使用。
Mistral	mistral-large-latest	函数调用 定价
OpenAI	gpt-4 gpt-4-turbo gpt-35-turbo	函数调用 JSON 模式 定价 公告（2023-06-13）
Rysana	inversion-sm	API 文档 定价 公告（2024-03-18）
Together AI	Mixtral-8x7B-Instruct-v0.1 Mistral-7B-Instruct-v0.1 CodeLlama-34b-Instruct	函数调用 JSON 模式 定价 2024-01-31 公告

并行函数调用

以下是支持多个并行函数调用的托管 API 模型列表。这可能包括同时查询多个城市的天气，或者先查找酒店的位置，再查询该位置的天气。

• anthropic
  • claude-3-opus-20240229
  • claude-3-sonnet-20240229
  • claude-3-haiku-20240307
• azure/openai
  • gpt-4-turbo-preview
  • gpt-4-1106-preview
  • gpt-4-0125-preview
  • gpt-3.5-turbo-1106
  • gpt-3.5-turbo-0125
• cohere
  • command-r
• together_ai
  • Mixtral-8x7B-Instruct-v0.1
  • Mistral-7B-Instruct-v0.1
  • CodeLlama-34b-Instruct

本地模型

Mistral 7B Instruct v0.3（2024年5月22日，Apache 2.0 许可）是经过指令微调的 Mistral 版本，增加了函数调用支持。

C4AI Command R+（2024年3月20日，CC-BY-NC，Cohere）是一款拥有1040亿参数的多语言模型，具备先进的检索增强生成（RAG）和工具使用能力，专为跨10种语言的推理、摘要和问答任务而优化。支持量化以提高效率，并展示了独特的多步工具集成能力，可用于执行复杂任务。

Hermes 2 Pro - Mistral 7B（2024年3月13日，Nous Research）是一款70亿参数的模型，擅长函数调用、JSON结构化输出以及通用任务。它基于更新的 OpenHermes 2.5 数据集和新的函数调用数据集进行训练，采用了特殊的系统提示和多轮对话结构。在函数调用评估中达到91%，在JSON模式评估中达到84%。

Gorilla OpenFunctions v2（2024年2月27日，Apache 2.0 许可，Charlie Cheng-Jie Ji 等人）根据 JSON Schema 对象解释并执行函数，支持多种语言，并能检测函数的相关性。

NexusRaven-V2（2023年12月5日，Nexusflow）是一款130亿参数的模型，在零样本函数调用方面比 GPT-4 高出最多7%，能够有效利用软件工具。此外，它还在 CodeLlama-13B-instruct 的基础上进行了进一步的指令微调。

Functionary（2023年8月4日，MeetKai）根据 JSON Schema 对象解释和执行函数，支持不同的计算需求和调用类型。它与 OpenAI-python 和 llama-cpp-python 兼容，可在 JSON 生成任务中高效执行函数。

Hugging Face TGI 为 多种本地模型 提供 JSON 输出和函数调用功能。

Python 库

DSPy（MIT 许可证）是一个用于算法优化大语言模型提示和权重的框架。DSPy 引入了类型化预测器和签名，利用 Pydantic 对输入和输出强制执行类型约束，从而改进了基于字符串的字段。

FuzzTypes（MIT 许可证）在 Pydantic 的基础上扩展了自动更正的注解类型，以增强数据规范化能力，并更好地处理复杂类型，如电子邮件、日期和自定义实体。

guidance（Apache-2.0 许可证）支持受限生成，可以将 Python 逻辑与大语言模型调用交织在一起，提供可重用函数并调用外部工具。它还能优化提示，以加快生成速度。

Instructor（MIT 许可证）通过使用函数调用、工具调用和受限采样模式，简化了从大语言模型生成结构化数据的过程。该库基于 Pydantic 进行验证，并支持多种大语言模型。

LangChain（MIT 许可证）提供了链式接口、与其他工具的集成以及面向应用的链。LangChain 支持跨模型的结构化输出和工具调用。

LiteLLM（MIT 许可证）简化了以 OpenAI 格式调用 100 多种大语言模型的操作，支持函数调用、工具调用和 JSON 模式。

LlamaIndex（MIT 许可证）提供了不同抽象层次的结构化输出模块，包括用于文本补全端点的输出解析器、利用函数调用或输出解析将提示映射到结构化输出的Pydantic 程序，以及针对特定输出类型的预定义 Pydantic 程序。

Marvin（Apache-2.0 许可证）是一个轻量级工具包，用于构建可靠的自然语言界面，配备自我文档化的工具，适用于实体提取等任务，并支持多模态功能。

Outlines（Apache-2.0 许可证）通过使用多种模型、Jinja 模板以及对正则表达式模式、JSON 模式、Pydantic 模型和上下文无关文法的支持，促进了结构化文本的生成。

Pydantic（MIT 许可证）通过定义数据模型、验证、生成 JSON 模式以及无缝的解析和序列化，简化了对数据结构和 JSON 的操作。

PydanticAI（MIT 许可证）是一个 Python 代理框架，旨在降低构建生产级生成式 AI 应用程序的难度。

SGLang（MPL-2.0 许可证）允许使用正则表达式或 Pydantic 模型指定 JSON 模式，以实现受限解码。其高性能运行时能够加速 JSON 解码过程。

SynCode（MIT 许可证）是一个用于大型语言模型（LLMs）语法引导生成的框架。它支持 Python、Go、Java、JSON、YAML 等多种上下文无关文法。

Mirascope（MIT 许可证）是一个大语言模型工具包，通过直观的 Python API 支持结构化提取。

Magnetic（MIT 许可证）只需三行代码即可从 Python 调用大语言模型。只需使用 @prompt 装饰器创建函数，即可返回由 Pydantic 驱动的大语言模型生成的结构化输出。

Formatron（MIT 许可证）是一个高效且可扩展的受限解码库，它允许通过 f-string 模板控制语言模型的输出格式，这些模板支持正则表达式、上下文无关文法、JSON 模式和 Pydantic 模型。Formatron 可以无缝集成到各种模型推理库中。

Transformers-cfg（MIT 许可证）通过 EBNF 接口扩展了 Hugging Face Transformers，使其支持上下文无关文法（CFG）。它能够在几乎不修改现有代码的情况下实现语法约束下的生成，并支持 JSON 模式和 JSON Schema。

博客文章

语法结构化生成能有多快？（2024-04-12，.txt Engineering）展示了一种几乎无成本的、遵循语法规则生成文本的方法。实验表明，在C语言语法测试中，该方法的性能比llama.cpp高出50倍。

结构化生成提升大模型性能：GSM8K基准测试（2024-03-15，.txt Engineering）展示了在8个不同模型上的持续改进，强调了“提示一致性”和“思维控制”等优势。

LoRAX + Outlines：通过结构化生成与LoRA实现更优的JSON提取（2024-03-03，Predibase博客）将Outlines与LoRAX v0.8结合，利用结构化生成、微调和LoRA适配器来提升提取精度和模式保真度。

FU，给我看看提示。通过拦截API调用快速理解难以捉摸的大模型框架（2023-02-14，Hamel Husain）提供了一份使用mitmproxy拦截API调用的实用指南，帮助深入了解工具功能并评估其必要性。文章强调尽量减少复杂性，并保持与底层大模型的紧密联系。

凝聚：使大模型推理速度提升5倍（2024-02-02，.txt Engineering）展示了如何通过一种称为“凝聚”的技术，使结构化生成的速度超过非结构化生成，同时也指出了该技术可能对生成质量产生的影响。

为什么Pydantic成为大模型不可或缺的工具（2024-01-19，Adam Azzam）解释了Pydantic如何成为关键工具，它能够通过JSON模式共享数据模型，并在非结构化与结构化数据之间进行推理。文章强调了量化决策空间的重要性，以及大模型可能过度拟合旧版本模式所带来的问题。

函数调用入门（2024-01-11，Elvis Saravia）介绍了如何通过函数调用将大模型与外部工具及API连接起来，并以OpenAI API为例说明了具体应用。

将ChatGPT的结构化数据支持推向极限（2023-12-21，Max Woolf）深入探讨了如何利用付费API、JSON模式和Pydantic来充分发挥ChatGPT的能力。文章重点介绍了提升输出质量的技术手段，以及结构化数据支持带来的好处。

为什么要使用Instructor？（2023-11-18，Jason Liu）解释了该库的优势，包括易读的接口、对部分提取和多种数据类型的支撑，以及自我纠正机制。同时推荐了Instructor官网上的更多资源。

使用语法约束lama.cpp的输出（2023-09-06，Ian Maurer）将上下文无关语法与lama.cpp集成，以获得更准确且符合模式规范的响应，尤其适用于生物医学数据。

使用OpenAI函数及其Python库进行数据提取（2023-07-09，Simon Willison）演示了如何利用OpenAI Python库和函数调用，在一次API调用中提取结构化数据，并提供了代码示例及应对流式传输限制的建议。

视频

GPT利用Datasette和GPT-4 Turbo提取非结构化数据（2024-04-09，Simon Willison）展示了datasette-extract插件从非结构化文本和图像中填充数据库表的能力，并借助GPT-4 Turbo的API进行数据提取。

使用Ollama实现大模型结构化输出以进行函数调用（2024-03-25，Andrej Baranovskij）演示了如何利用Ollama、Instructor和Sparrow代理进行基于函数调用的数据提取。

Hermes 2 Pro概览（2024-03-18，Prompt Engineer）介绍了Hermes 2 Pro这一70亿参数模型，它在函数调用和结构化JSON输出方面表现出色。演示显示，其函数调用准确率高达90%，JSON模式下准确率为84%，优于其他模型。

Mistral AI函数调用（2024-02-24，Sophia Yang）演示了如何将大模型与外部工具连接，生成函数参数并执行函数。此方法还可扩展用于生成或操作JSON数据。

Ollama与OpenAI中的函数调用（2024-02-13，Matt Williams）阐明了模型会生成可解析和调用的结构化输出。他对比了两种实现方式，指出Ollama的方法更为简单，并通过少量示例提示来保证一致性。

大模型工程：结构化输出（2024-02-12，Jason Liu，Weights & Biases课程）提供了一门简明课程，讲解如何使用Pydantic处理结构化JSON输出、函数调用和验证，涵盖了构建稳健流水线和高效生产集成所需的关键内容。

Pydantic就是你需要的一切（2023-10-10，Jason Liu，AI工程师大会）讨论了Pydantic在结构化提示和输出验证中的重要性，介绍了Instructor库，并展示了其在可靠且易于维护的大模型驱动应用中的高级用法。

Jupyter笔记本

使用lama-cpp-python和OpenAI Python客户端进行函数调用演示了集成过程，包括使用Instructor库进行设置，并提供了获取天气信息和提取用户详情的示例。

使用Mistral模型进行函数调用通过一个简单的支付交易数据框示例，展示了如何将Mistral模型与外部工具连接。

chatgpt-structured-data由Max Woolf提供，包含多个演示，展示了ChatGPT的函数调用和结构化数据支持，覆盖了各种用例和模式。## 排行榜

排行榜

伯克利函数调用排行榜（BFCL） 是一个用于评估大语言模型函数调用能力的基准测试框架，包含超过2000组问题-函数-答案对，覆盖Python、Java、JavaScript、SQL和REST API等多种编程语言。该榜单重点关注简单调用、多重调用、并行调用以及函数相关性检测等任务。

Awesome LLM JSON 快速上手指南

awesome-llm-json 并非一个单一的软体库或框架，而是一个精选资源列表，旨在帮助开发者利用大语言模型（LLM）生成 JSON 或其他结构化输出。本指南将指导你如何根据该列表中的资源，快速在项目中实现结构化数据生成。

环境准备

由于该列表涵盖托管模型（API）和本地模型两种主要路径，请根据你的选择准备相应环境：

1. 通用依赖

无论选择哪种方式，建议准备好以下基础环境：

• 操作系统: Linux, macOS 或 Windows (WSL2 推荐用于本地模型)
• Python: 3.9 及以上版本
• 包管理工具: pip 或 conda

2. 前置依赖（按场景选择）

方案 A：使用托管模型 (Hosted Models)

适用于快速集成，无需本地显卡资源。

• API Key: 注册对应服务商（如 OpenAI, Anthropic, Azure, Together AI 等）并获取 API Key。
• HTTP 客户端: 推荐使用 requests 或官方 SDK。

  pip install openai anthropic requests
  

方案 B：使用本地模型 (Local Models)

适用于数据隐私要求高或离线场景，需要较强的 GPU 资源。

• 硬件要求: 建议 NVIDIA GPU (显存 ≥ 8GB 运行 7B 模型，≥ 24GB 运行更大模型)。
• 推理后端: 推荐使用 vllm, text-generation-inference (TGI) 或 Ollama。
• 模型文件: 从 Hugging Face 下载推荐模型（如 Hermes 2 Pro - Mistral 7B 或 Mistral 7B Instruct v0.3）。
  • 国内加速: 建议使用 Hugging Face 镜像站 (如 hf-mirror.com) 或使用 ModelScope (魔搭社区) 下载模型权重。

安装步骤

由于这是一个资源列表，没有统一的安装命令。请根据你的技术栈安装对应的 Python 库或推理引擎。

场景 1：通过 Python 调用托管 API (以 OpenAI 兼容接口为例)

许多列表中的提供商（如 Together AI, Fireworks, Local TGI）都兼容 OpenAI API 格式。

pip install openai

场景 2：本地部署推理引擎 (以 Ollama 为例，最简便的本地方案)

Ollama 支持列表中提到的多种模型（如 Mistral, Llama2, Gemma）。

macOS / Linux:

curl -fsSL https://ollama.com/install.sh | sh

Windows: 前往 Ollama 官网 下载安装包。

拉取支持函数调用的模型 (例如 Hermes 2 Pro):

ollama pull hermes2-pro

基本使用

以下是利用列表中的概念（Function Calling / JSON Mode）生成结构化输出的最简单示例。

示例 1：使用托管 API 强制输出 JSON (JSON Mode)

适用于 OpenAI, Together AI, Fireworks 等支持 response_format 的提供商。

from openai import OpenAI

# 初始化客户端 (以 Together AI 为例，也可替换为 OpenAI 端点)
client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.together.xyz/v1" 
)

completion = client.chat.completions.create(
    model="mistralai/Mixtral-8x7B-Instruct-v0.1",
    messages=[
        {"role": "system", "content": "You are a helpful assistant that outputs only valid JSON."},
        {"role": "user", "content": "Extract the name and age from: 'Alice is 25 years old.'"}
    ],
    response_format={"type": "json_object"} # 关键参数：强制 JSON 模式
)

print(completion.choices[0].message.content)
# 输出示例: {"name": "Alice", "age": 25}

示例 2：使用本地模型进行函数调用 (Function Calling)

使用 Ollama 运行本地模型模拟工具调用。

import ollama

messages = [
    {
        'role': 'user',
        'content': "What's the weather like in Beijing today?"
    }
]

tools = [
    {
        'type': 'function',
        'function': {
            'name': 'get_weather',
            'description': 'Get the current weather for a specific location',
            'parameters': {
                'type': 'object',
                'properties': {
                    'location': {
                        'type': 'string',
                        'description': 'The city and state, e.g. San Francisco, CA'
                    }
                },
                'required': ['location']
            }
        }
    }
]

response = ollama.chat(model='hermes2-pro', messages=messages, tools=tools)

# 模型将返回一个包含工具调用参数的 JSON 结构，而不是直接回答天气
if response['message'].get('tool_calls'):
    print("模型请求调用工具:")
    print(response['message']['tool_calls'][0]['function'])
    # 输出示例: {'name': 'get_weather', 'arguments': {'location': 'Beijing'}}
else:
    print(response['message']['content'])

示例 3：使用 Guided Generation (本地高级用法)

如果你使用 text-generation-inference (TGI) 或 Outlines 库，可以基于上下文无关文法 (CFG) 严格约束输出格式。

# 安装 outlines 库
pip install outlines

import outlines
from outlines.models import Transformers

# 加载本地模型 (需预先下载)
model = Transformers("NousResearch/Hermes-2-Pro-Mistral-7B")

# 定义生成器，强制符合特定 JSON Schema
generator = outlines.generate.json(model, {"type": "object", "properties": {"id": {"type": "integer"}}})

result = generator("Generate a user ID object:")
print(result) 
# 保证输出严格符合 schema，例如: {"id": 1024}