使用街霸III实时评估大语言模型

让大语言模型在街霸III中进行实时对决。

究竟哪款大语言模型会成为最出色的格斗家呢？

演示： 立即在浏览器中体验！

我们的评判标准 🔥

它们需要具备以下特质：

• 快速：这是一场实时对战，迅速的决策至关重要。
• 聪明：优秀的格斗家能够提前规划五十步棋。
• 创新思维：用出其不意的招式智胜对手。
• 适应性强：从错误中学习并调整策略。
• 坚韧不拔：在一整场比赛中始终保持高RPS（每秒请求率）。

战斗开始吧 🥷

1对1：Mistral 7B vs Mistral 7B

https://github.com/OpenGenerativeAI/llm-colosseum/assets/19614572/79b58e26-7902-4687-af5d-0e1e845ecaf8

1对1 × 6：Mistral 7B vs Mistral 7B

https://github.com/OpenGenerativeAI/llm-colosseum/assets/19614572/5d3d386b-150a-48a5-8f68-7e2954ec18db

一种全新的基准测试？

街霸III能够评估大语言模型理解环境并在特定情境下采取行动的能力。与基于奖励函数盲目行动的强化学习模型不同，大语言模型完全了解当前情境，并据此做出相应决策。

结果

截至目前，我们已进行了546场对决，得出了如下排行榜。每个大语言模型都根据其战绩获得了ELO评分。

排行榜

Huggingface排名

ELO排名

排名	模型	评分
1	🥇openai:gpt-4o:text	1912.5
2	🥈openai:gpt-4o-mini:vision	1835.27
3	🥉openai:gpt-4o-mini:text	1670.89
4	openai:gpt-4o:vision	1656.93
5	mistral:pixtral-large-latest:vision	1654.61
6	mistral:pixtral-12b-2409:vision	1590.77
7	mistral:pixtral-12b-2409:text	1569.03
8	together:meta-llama/Llama-3.2-90B-Vision-Instruct-Turbo:text	1441.45
9	anthropic:claude-3-haiku-20240307:vision	1364.87
10	mistral:pixtral-large-latest:text	1356.32
11	anthropic:claude-3-haiku-20240307:text	1333.6
12	anthropic:claude-3-sonnet-20240229:vision	1314.61
13	together:meta-llama/Llama-3.2-90B-Vision-Instruct-Turbo:vision	1269.84
14	anthropic:claude-3-sonnet-20240229:text	1029.31

注：在我们的实验中，Claude 3 Sonnet得分较低，主要是因为多次拒绝战斗以及API延迟较大。

胜率矩阵

解释

每位玩家可以由文本生成模型或多模态模型控制。我们通过API端点调用这些模型。了解更多关于模型的信息：

• 文本生成模型
• 多模态LLM模型

文本机器人

我们会向LLM发送屏幕的文本描述，LLM则决定其角色接下来将执行哪些动作。这些动作取决于它之前的行动、对手的动作、自身的能量条和生命值。

• 基于智能体

• 多线程

• 实时

  

视觉机器人

我们会向LLM发送当前游戏状态的截图，并明确指出它所控制的角色。它的决策完全基于这些视觉信息。

安装

• 按照 https://docs.diambra.ai/#installation 中的说明操作。
• 下载ROM文件并将其放入 ~/.diambra/roms 目录中（无需解压内容）。
• （可选）创建并激活一个新的Python虚拟环境 venv。
• 使用 make install 或 pip install -r requirements.txt 安装依赖项。
• 创建一个 .env 文件，并按照 .env.example 文件中的内容填写。
• 运行 make run。

使用Docker运行

您也可以使用Docker来运行该应用。

构建Docker镜像

要构建Docker镜像，请使用以下命令：

docker build -t diambra-app .

运行Docker容器

要运行Docker容器，请使用以下命令：

docker run --name diambra-container -v ~/.diambra/roms:/app/roms diambra-app

• 如果遇到容器名称冲突，可以先移除现有容器：

docker rm diambra-container

在本地使用Ollama运行Docker Compose

要启动服务，请使用以下命令：

docker-compose up

停止服务

要停止服务，请使用：

docker-compose down

测试模式

若要禁用LLM调用，可在.env文件中将DISABLE_LLM设置为True。此时系统将随机选择动作。

日志记录

可在script.py文件中更改日志级别。

本地模型

您还可以使用Ollama在本地模型上运行竞技场。

1. 确保已安装并运行Ollama，且已下载所需模型（例如，在终端中运行 ollama serve mistral）。

2. 运行 make local 即可开始对战。

默认情况下，系统会使用Mistral模型进行对战。如需使用其他模型，需在 local.py 文件中修改 model 参数。

from eval.game import Game, Player1, Player2

def main():
    # 环境设置

    game = Game(
        render=True,
        save_game=True,
        player_1=Player1(
            nickname="Baby",
            model="ollama:mistral",
            robot_type="text",  # vision或text
            temperature=0.7,
        ),
        player_2=Player2(
            nickname="Daddy",
            model="ollama:mistral",
            robot_type="text",
            temperature=0.7,
        ),
    )

    game.run()
    return 0


if __name__ == "__main__":
    main()

我们使用的命名规范是 model_provider:model_name。如果您想使用除Mistral之外的其他本地模型，可以写成 ollama:some_other_model。

如何让我的LLM模型参与游戏？我能否改进提示词？

LLM是在agent/robot.py文件中的<Text||Vision>Robot.call_llm()方法中调用的。

TextRobot方法：

    def call_llm(
        self,
        max_tokens: int = 50,
        top_p: float = 1.0,
    ) -> Generator[ChatResponse, None, None]:
        """
        向语言模型发起API调用。

        编辑此方法以改变机器人的行为！
        """

        # 生成提示词
        move_list = "- " + "\n - ".join([move for move in META_INSTRUCTIONS])
        system_prompt = f"""你是世界上最好、最激进的街头霸王III第三击玩家。
你的角色是{self.character}。你的目标是击败对手。请以项目符号列表的形式回复可执行的动作。
{self.context_prompt()}
你可以使用的招式有：
{move_list}
----
请以项目符号列表的形式回复动作，格式为：`- <动作名称>`，每行一个动作。
例如，如果对手很近：
- 靠近
- 中拳

例如，如果对手较远：
- 火焰拳
- 靠近"""
        
        start_time = time.time()

        client = get_client(self.model, temperature=self.temperature)

        messages = [
            ChatMessage(role="system", content=system_prompt),
            ChatMessage(role="user", content="你接下来的动作是："),
        ]
        resp = client.stream_chat(messages)

        logger.debug(f"向{self.model}发出的LLM调用：{system_prompt}")
        logger.debug(f"向{self.model}发出的LLM调用：耗时{time.time() - start_time}秒")

        return resp

VisionRobot方法：

def call_llm(
        self,
        max_tokens: int = 50,
        top_p: float = 1.0,
    ) -> Generator[CompletionResponse, None, None]:
        """
        向语言模型发起API调用。

        编辑此方法以改变机器人的行为！
        """

        # 生成提示词
        move_list = "- " + "\n - ".join([move for move in META_INSTRUCTIONS])
        system_prompt = f"""你是世界上最好、最激进的街头霸王III第三击玩家。
你的角色是{self.character}。你的目标是击败对手。请以项目符号列表的形式回复可执行的动作。

当前的游戏状态如下面的图片所示。

你可以使用的招式有：
{move_list}
----
请以3个动作的项目符号列表形式回复。格式为：`- <动作名称>`，每行一个动作。
例如，如果对手很近：
- 靠近
- 中拳

例如，如果对手较远：
- 火焰拳
- 靠近"""

        start_time = time.time()

        client = get_client_multimodal(
            self.model, temperature=self.temperature
        )  # 多模态LLM

        resp = client.stream_complete(
            prompt=system_prompt, image_documents=[self.last_image_to_image_node()]
        )

        logger.debug(f"向{self.model}发出的LLM调用：{system_prompt}")
        logger.debug(f"向{self.model}发出的LLM调用：耗时{time.time() - start_time}秒")

        return resp

您可以在这些函数中自定义您的提示词。

提交您的模型

创建一个继承自Robot的新类，并在其中加入您希望做的修改，然后提交一个PR。

我们会尽力将其加入排名！

致谢

由OpenGenerativeAI团队在Mistral黑客马拉松2024期间于旧金山使用❤️制作，成员来自phospho（@oulianov @Pierre-LouisBJT @Platinn）和Quivr（@StanGirard）。

llm-colosseum 快速上手指南

llm-colosseum 是一个让大语言模型（LLM）在《街头霸王 III》中进行实时对战的开源项目。它通过评估模型的响应速度、策略智能度、适应性等维度，为 LLM 提供一种全新的游戏化基准测试。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2 或 Docker)
• Python: 3.8 或更高版本
• 依赖工具: git, make, pip
• 游戏 ROM: 需要自行下载《Street Fighter III: 3rd Strike》的 ROM 文件
• 模型访问:
  • 云端模式：需准备 OpenAI, Anthropic, Mistral 等厂商的 API Key
  • 本地模式：需安装并运行 Ollama

安装步骤

1. 克隆项目与安装依赖

git clone https://github.com/OpenGenerativeAI/llm-colosseum.git
cd llm-colosseum

# 创建虚拟环境（推荐）
python -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate

# 安装项目依赖
make install
# 或者使用 pip
pip install -r requirements.txt

2. 配置游戏 ROM

按照 Diambra AI 文档 的指引下载 ROM 文件。下载后无需解压，直接将其放入以下目录：

~/.diambra/roms

3. 配置环境变量

复制示例配置文件并填入您的 API 密钥（如果使用云端模型）：

cp .env.example .env

编辑 .env 文件，填入对应的 OPENAI_API_KEY, ANTHROPIC_API_KEY 等信息。

提示：若仅想测试本地模型或随机动作，可暂时留空或设置 DISABLE_LLM=True。

4. (可选) 使用 Docker 运行

如果您希望隔离环境，可以使用 Docker：

# 构建镜像
docker build -t diambra-app .

# 运行容器（需挂载 ROM 目录）
docker run --name diambra-container -v ~/.diambra/roms:/app/roms diambra-app

基本使用

方式一：运行默认对战（云端模型）

配置好 .env 后，直接运行以下命令即可启动一场默认的 Mistral 7B 对战：

make run

方式二：运行本地模型对战（推荐国内开发者）

使用 Ollama 可以在本地免费运行模型，无需配置复杂的 API Key。

1. 启动 Ollama 服务（确保已下载模型，例如 mistral）：

   ollama serve mistral
   

2. 启动本地对战：

   make local
   

   默认配置为两个 ollama:mistral 模型进行文本模式对战。

3. 自定义本地模型： 如需更换模型，修改 local.py 文件中的 model 参数：

   from eval.game import Game, Player1, Player2
   
   def main():
       game = Game(
           render=True,
           save_game=True,
           player_1=Player1(
               nickname="Baby",
               model="ollama:llama3",  # 修改此处为您想要的本地模型
               robot_type="text",     # 可选: "text" 或 "vision"
               temperature=0.7,
           ),
           player_2=Player2(
               nickname="Daddy",
               model="ollama:llama3",
               robot_type="text",
               temperature=0.7,
           ),
       )
       game.run()
       return 0
   
   if __name__ == "__main__":
       main()
   

核心概念说明

• TextRobot: 将游戏状态转化为文本描述发送给 LLM，由模型决定下一步动作。
• VisionRobot: 将游戏截图发送给多模态 LLM，模型基于视觉信息做出决策。
• 自定义策略: 您可以修改 agent/robot.py 中的 call_llm 方法来调整 Prompt，从而改变机器人的战斗风格。