Gorilla：连接海量API的大语言模型

最新动态

📢 请查看我们详细的Berkeley函数调用排行榜变更日志（最后更新时间：），了解Berkeley函数调用排行榜的最新数据集和模型更新！

• 🤖 [2025年7月17日] 宣布BFCL V4 Agentic！由于函数调用是Agentic系统的基础，BFCL V4 Agentic基准测试专注于现实世界中的代理式工具调用场景，包括多跳推理与错误恢复的网络搜索、代理内存管理以及格式敏感性评估。[网络搜索博客] [内存博客] [格式敏感性博客] [PR] [推文]

• 🎯 [2024年10月4日] 推出由Gorilla X LMSYS聊天机器人竞技场打造的Agent Arena！在搜索、金融、RAG等任务中比较不同代理的表现。通过我们创新的排名系统和社区驱动的提示中心，探索哪些模型和工具最适合特定任务。[博客] [竞技场] [排行榜] [数据集] [推文]

• 📣 [2024年9月21日] 宣布BFCL V3——评估多轮次和多步骤的函数调用能力！全新的基于状态的评估体系测试模型处理复杂工作流、序列化函数及服务状态的能力。[博客] [排行榜] [代码] [推文]

• 🚀 [2024年8月20日] BFCL V2正式上线！伯克利函数调用排行榜现已纳入企业贡献的数据和真实场景。[博客] [实时排行榜] [V2分类排行榜] [推文]

• ⚡️ [2024年4月12日] 很高兴发布GoEx——一个用于LLM生成操作（如代码、API调用等）的运行时环境。该平台具备“事后验证”功能，可在执行后评估LLM的操作，并提供“撤销”和“损害限制”抽象机制，以管理意外行为和风险。这为完全自主的LLM代理铺平了道路，增强了应用程序和服务之间无需人工干预的交互能力。[博客] [代码] [论文] [推文]

• ⏰ [2024年4月1日] 将成本和延迟指标引入伯克利函数调用排行榜！

• :rocket: [2024年3月15日] RAFT：将语言模型适配到领域特定的RAG已上线！[MSFT-Meta博客] [伯克利博客]

• :trophy: [2024年2月26日] 伯克利函数调用排行榜正式上线！

• :dart: [2024年2月25日] OpenFunctions v2为开源LLM树立了新的SOTA！

• :fire: [2023年11月16日] 很高兴发布Gorilla OpenFunctions

• 💻 [2023年6月29日] 发布gorilla-cli，让LLM走进你的命令行界面！

• 🟢 [2023年6月6日] 发布可商用、采用Apache 2.0许可的Gorilla模型

• :rocket: [2023年5月30日] 提供了与Gorilla对话的CLI接口！

• :rocket: [2023年5月28日] 发布Torch Hub和TensorFlow Hub模型！

• :rocket: [2023年5月27日] 发布首个Gorilla模型！或:hugs:!

• :fire: [2023年5月27日] 我们发布了APIZoo社区API贡献指南！

• :fire: [2023年5月25日] 我们发布了APIBench数据集以及Gorilla的评估代码！

关于

Gorilla 通过调用 API 使大型语言模型能够使用工具。给定自然语言查询，Gorilla 会生成语义和语法都正确的 API 调用。

借助 Gorilla，我们首次展示了如何利用大型语言模型准确地调用 1,600 多个（且数量仍在增长）API，并有效减少幻觉现象。本仓库包含用于运行 Gorilla 微调模型的 推理代码、用于复现我们论文结果的 评估代码，以及 APIBench——一个规模最大的 API 集合，经过精心整理且易于训练！

自我们首次发布以来，已处理约 50 万次请求，并在全球开发者中获得了广泛采用。该项目现已扩展至包括工具、评估、排行榜、端到端微调流程、基础设施组件以及 Gorilla API 商店：

项目	类型	描述（点击展开）
Gorilla 论文	🤖 模型 📝 微调 📚 数据集 📊 评估 🔧 基础设施	与海量 API 连接的大语言模型 • 创新的 API 调用微调方法 • 在 1,600 多个 API 上进行评估（APIBench） • 检索增强型训练，实现测试时适应性
Gorilla OpenFunctions-V2	🤖 模型	函数调用的即插即用替代方案，支持多种复杂数据类型及并行执行 • 兼容 OpenAI 的接口，可同时或并行执行多个函数 • 原生支持 Python、Java、JavaScript 和 REST API，并扩展了数据类型支持 • 函数相关性检测，以减少幻觉 • 增强的 RESTful API 格式化能力 • 开源模型中的最先进性能
伯克利函数调用排行榜 (BFCL)	📊 评估 🏆 排行榜 🔧 函数调用基础设施 📚 数据集	全面评估函数调用能力 • V1：专家精选的数据集，用于评估单轮函数调用 • V2：企业贡献的真实场景数据 • V3：多轮、多步骤函数调用评估 • 所有模型的成本和延迟指标 • 交互式 API 探索器，可供测试使用 • 社区驱动的基准测试平台
Agent Arena	📊 评估 🏆 排行榜	跨模型、工具和框架比较 LLM 代理 • 采用 ELO 评分系统进行代理间的直接对比 • 测试框架兼容性（LangChain、AutoGPT） • 社区驱动的评估平台 • 真实任务表现指标
Gorilla 执行引擎 (GoEx)	🔧 基础设施	用于执行 LLM 生成动作的安全保障运行时 • 执行后的事后验证，确保 LLM 动作的正确性 • 支持撤销操作和损害限制，以降低风险 • 支持 OAuth2 和 API 密钥认证，适用于多种服务 • 支持 RESTful API、数据库和文件系统操作 • 基于 Docker 的沙盒执行环境
检索增强型微调 (RAFT)	📝 微调 🤖 模型	为强大的领域特定检索而微调 LLM • 领域特定 RAG 的全新微调方案 • 结合思维链的回答，并直接引用文档内容 • 使用 oracle 文档和干扰文档进行训练 • 在 PubMed、HotpotQA 和 Gorilla 基准测试上性能提升 • 可高效适配小型模型用于领域问答
Gorilla CLI	🤖 模型 🔧 本地 CLI 基础设施	将 LLM 应用于你的命令行界面 • 用户友好的 CLI 工具，支持约 1,500 个 API（Kubernetes、AWS、GCP 等） • 多 LLM 融合生成自然语言指令 • 注重隐私，需明确确认后才执行 • 提供命令历史记录和交互式选择界面
Gorilla API Zoo	📚 数据集	由社区维护的最新 API 文档库 • 跨领域的集中式、可搜索 API 索引 • 结构化的文档格式，包含参数、版本管理和示例 • 社区驱动的更新，紧跟 API 变化 • 丰富的数据来源，可用于模型训练和微调 • 支持检索增强型训练和推理 • 通过最新文档减少幻觉

快速入门

快速开始

在浏览器中体验 Gorilla：

• 🚀 Gorilla Colab 演示：试用基础 Gorilla 模型
• 🌐 Gorilla Gradio 演示：交互式网页界面
• 🔥 OpenFunctions Colab 演示：试用最新的 OpenFunctions 模型
• 🎯 OpenFunctions 官网演示：体验函数调用
• 📊 伯克利函数调用排行榜：比较函数调用能力

安装选项

1. Gorilla CLI - 最快的入门方式

pip install gorilla-cli
gorilla generate 100 random characters into a file called test.txt

了解更多关于 Gorilla CLI →

2. 本地运行 Gorilla

git clone https://github.com/ShishirPatil/gorilla.git
cd gorilla/inference

详细的本地设置说明 →

3. 使用 OpenFunctions

import openai

openai.api_key = "EMPTY"
openai.api_base = "http://luigi.millennium.berkeley.edu:8000/v1"

# 定义你的函数
functions = [{
    "name": "get_current_weather",
    "description": "获取某个地点的天气",
    "parameters": {
        "type": "object",
        "properties": {
            "location": {"type": "string"},
            "unit": {"type": "string", "enum": ["摄氏度", "华氏度"]}
        },
        "required": ["location"]
    }
}]

# 发起 API 调用
completion = openai.ChatCompletion.create(
    model="gorilla-openfunctions-v2",
    messages=[{"role": "user", "content": "旧金山的天气怎么样？"}],
    functions=functions
)

OpenFunctions 文档 →

🔧 其他快速入门

• 📊 评估与基准测试

  • 伯克利函数调用排行榜：比较函数调用能力
  • Agent Arena：评估智能体工作流
  • Gorilla 论文评估脚本：运行您自己的评估

• 🛠️ 开发工具

  • GoEx：安全执行大模型生成的操作
  • RAFT：针对特定领域任务微调模型
  • API 商店：贡献并使用 API

常见问题解答

1. 我希望将 Gorilla 用于商业用途。是否会推出 Apache 2.0 许可的版本？

是的！我们现在提供了可以无任何限制地用于商业用途的模型。

2. 我们能否将 Gorilla 与其他工具（如 Langchain 等）一起使用？

当然可以！这正是我们工具的一大亮点。Gorilla 是一个端到端模型，专门设计用于正确调用 API（工具），而无需额外编码。它旨在作为更广泛生态系统的一部分，能够灵活地集成到智能体框架及其他工具中。

Langchain 是一款功能强大的开发者工具。“智能体”可以高效地替换任何大模型，包括 Gorilla，使其成为一种高度适应各种需求的解决方案。

这些工具的魅力在于它们的协同合作，相互补充各自的优势与能力，从而打造出更加强大、全面的解决方案。而这正是您能够发挥作用的地方。我们热忱欢迎任何有助于进一步优化和提升这些工具的意见和建议。

请查看我们的博客文章如何使用 Gorilla：分步指南，了解在您的项目中集成 Gorilla 的各种方式。

项目路线图

在接下来的一段时间内，我们计划发布以下内容：

• 多模态函数调用排行榜
• 智能体式函数调用排行榜
• 新一批用户贡献的实时函数调用评估
• BFCL 指标，用于评估污染情况
• Openfunctions-v3 模型，以支持更多语言和多轮对话能力
• Agent Arena，用于跨模型、工具和框架比较 LLM 智能体 [2024年10月4日]
• 多轮及多步骤函数调用评估 [2024年9月21日]
• 用户贡献的实时函数调用排行榜 [2024年8月20日]
• 包括成本和延迟在内的 BFCL 系统指标 [2024年4月1日]
• Gorilla 执行引擎 (GoEx)——用于在安全保障下执行大模型生成操作的运行时环境 [2024年4月12日]
• 伯克利函数调用排行榜 (BFCL)，用于评估工具调用/函数调用模型 [2024年2月26日]
• Openfunctions-v2，支持更多语言（Java、JS、Python），并具备相关性检测功能 [2024年2月26日]
• API 博物馆索引，方便访问所有 API [2024年2月16日]
• Openfunctions-v1，采用 Apache 2.0 许可，支持并行及多函数调用 [2023年11月16日]
• Openfunctions-v0，Apache 2.0 许可的函数调用模型 [2023年11月16日]
• 发布可商用的、Apache 2.0 许可的 Gorilla 模型 [2023年6月5日]
• 发布来自 APIBench 的所有 API 权重 [2023年5月28日]
• 在本地运行 Gorilla LLM [2023年5月28日]
• 发布适用于 HF 模型的 API 权重 [2023年5月27日]
• 为 HF 模型 API 提供托管的 Gorilla LLM 聊天服务 [2023年5月27日]
• 向社区开放 APIZoo，接受贡献
• 数据集和评估代码

许可协议

Gorilla 采用 Apache 2.0 许可，因此既适合学术研究，也适合商业用途。

联系方式

• 💬 加入我们的 Discord 社区
• 🐦 关注我们在 X 上的账号

引用

@article{patil2023gorilla,
  title={Gorilla: Large Language Model Connected with Massive APIs},
  author={Shishir G. Patil and Tianjun Zhang and Xin Wang and Joseph E. Gonzalez},
  year={2023},
  journal={arXiv preprint arXiv:2305.15334},
} 

Gorilla 快速上手指南

Gorilla 是一个能够连接大规模 API 的大型语言模型（LLM）。它能将自然语言查询转化为语义和语法正确的 API 调用，显著减少幻觉，支持 1600+ 种 API 的精准调用。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL2 推荐)
• Python 版本：Python 3.8 或更高版本
• 依赖管理：已安装 pip 和 git
• 硬件要求：
  • CLI 模式：无特殊要求，依赖云端或本地现有 LLM。
  • 本地推理模式：若需本地运行模型，建议配备 NVIDIA GPU (显存 16GB+ 推荐用于 7B 模型) 或使用 CPU 推理（速度较慢）。

安装步骤

您可以根据需求选择以下两种主要安装方式：

方式一：安装 Gorilla CLI（推荐，最快上手）

这是最简单的使用方式，无需配置复杂的推理环境，直接通过命令行调用。

pip install gorilla-cli

方式二：本地部署推理环境

如果您希望下载模型并在本地运行推理代码，请克隆仓库并进入推理目录：

git clone https://github.com/ShishirPatil/gorilla.git
cd gorilla/inference

注意：本地部署需要进一步安装 Python 依赖（如 torch, transformers 等），具体请参考项目内 /gorilla/inference/README.md 的详细指引。国内用户建议使用清华源或阿里源加速 pip 包安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 使用 Gorilla CLI

安装完成后，直接使用 gorilla 命令即可将自然语言转换为具体的 API 命令或代码。

示例：生成一个创建文件的命令

gorilla generate 100 random characters into a file called test.txt

示例：查询 Kubernetes 状态（需配置相应权限）

gorilla get all pods in namespace default

2. 使用 OpenFunctions (Python 调用)

Gorilla 提供了兼容 OpenAI 格式的接口，支持函数调用（Function Calling）。您可以将其作为本地服务运行或通过 API 调用。

Python 调用示例：

import openai

# 配置指向 Gorilla 服务端点 (如果是本地部署，请修改 api_base)
openai.api_key = "EMPTY"
openai.api_base = "http://luigi.millennium.berkeley.edu:8000/v1"

# 定义函数描述
functions = [{
    "name": "get_current_weather",
    "description": "Get weather in a location",
    "parameters": {
        "type": "object",
        "properties": {
            "location": {
                "type": "string",
                "description": "The city and state, e.g. San Francisco, CA"
            },
            "unit": {
                "type": "string",
                "enum": ["celsius", "fahrenheit"]
            }
        },
        "required": ["location"]
    }
}]

# 发起请求
response = openai.ChatCompletion.create(
    model="gorilla-openfunctions-v1",
    messages=[{"role": "user", "content": "What's the weather like in Boston?"}],
    functions=functions,
    function_call="auto"
)

print(response.choices[0].message)

3. 在线体验

如果不想本地安装，可以直接通过以下链接在浏览器中体验：

• Gorilla Colab 演示: 点击跳转
• OpenFunctions 演示: 点击跳转
• Berkeley 函数调用排行榜: 查看评测与在线测试