Gemma

Gemma 是由 Google DeepMind 基于 Gemini 研究与技术推出的一系列开放权重的大型语言模型（LLM）。

本仓库包含 gemma PyPI 包的实现，以及用于使用和微调 Gemma 的 JAX 库。

有关示例和用例，请参阅我们的 文档。如遇问题或有任何反馈，请在 我们的 GitHub 仓库 中提交。

安装

1. 安装适用于 CPU、GPU 或 TPU 的 JAX。请按照 JAX 官网 上的说明进行操作。

2. 运行以下命令：

   pip install gemma
   

示例

以下是一个使用 Gemma 进行多轮多模态对话的最小示例：

from gemma import gm

# 模型及参数
model = gm.nn.Gemma3_4B()
params = gm.ckpts.load_params(gm.ckpts.CheckpointPath.GEMMA3_4B_IT)

# 多轮对话示例
sampler = gm.text.ChatSampler(
    model=model,
    params=params,
    multi_turn=True,
)

prompt = """你更喜欢这两张图片中的哪一张？

图片1： <start_of_image>
图片2： <start_of_image>

请用一首诗来回答你的选择。"""
out0 = sampler.chat(prompt, images=[image1, image2])

out1 = sampler.chat('那另一张呢？')

我们的文档中包含了多种 Colab 笔记本和教程，包括：

• 采样
• 多模态
• 微调
• LoRA
• …

此外，我们的 examples/ 文件夹中还包含更多用于微调和采样的脚本。

了解更多关于 Gemma 的信息

• 使用本库：Gemma 文档
• 技术报告（包含指标和模型能力）：
  • Gemma 1
  • Gemma 2
  • Gemma 3
• 其他 Gemma 实现及文档，请参阅 Gemma 生态系统

下载模型

如需下载模型权重，请参阅我们的 文档。

系统要求

Gemma 可以在 CPU、GPU 和 TPU 上运行。对于 GPU，我们建议 2B 检查点至少配备 8GB 显存，而 7B 检查点则需要 24GB 以上的显存。

贡献

我们欢迎各类贡献！请在提交 Pull Request 之前阅读我们的 贡献指南。

本项目并非 Google 官方产品。

Gemma 快速上手指南

Gemma 是由 Google DeepMind 推出的开源大型语言模型（LLM）家族，基于 Gemini 的研究与技术。本指南介绍如何使用官方提供的 gemma Python 库（基于 JAX）来运行和微调模型。

环境准备

系统要求

Gemma 支持在 CPU、GPU 和 TPU 上运行。针对 GPU 用户的显存建议如下：

• 2B 模型：建议 GPU 显存 8GB+。
• 7B 模型：建议 GPU 显存 24GB+。

前置依赖

核心依赖为 JAX。在安装 Gemma 之前，请务必先根据您的硬件环境（CPU/GPU/TPU）安装对应版本的 JAX。

请访问 JAX 官方安装文档 获取具体的安装命令。

国内加速提示：如果下载 JAX 或其依赖较慢，建议使用国内镜像源（如清华源或阿里源）进行安装。例如：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jax[cpu]  # 以 CPU 版本为例

安装步骤

配置好 JAX 环境后，使用 pip 安装 gemma 包：

pip install gemma

国内加速提示：推荐使用国内镜像源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gemma

基本使用

以下是一个最小化的多轮、多模态对话示例，展示如何加载模型并进行交互。

注意：运行此代码前，请确保已按照官方文档下载了对应的模型权重文件。

from gemma import gm

# 1. 初始化模型和加载参数
# 此处以 Gemma3_4B 指令微调版为例
model = gm.nn.Gemma3_4B()
params = gm.ckpts.load_params(gm.ckpts.CheckpointPath.GEMMA3_4B_IT)

# 2. 创建采样器 (开启多轮对话模式)
sampler = gm.text.ChatSampler(
    model=model,
    params=params,
    multi_turn=True,
)

# 3. 发起多模态对话 (包含文本和图片)
prompt = """Which of the two images do you prefer?

Image 1: <start_of_image>
Image 2: <start_of_image>

Write your answer as a poem."""
# 假设 image1 和 image2 是已加载的图片对象
out0 = sampler.chat(prompt, images=[image1, image2])

# 4. 继续多轮对话
out1 = sampler.chat('What about the other image ?')

更多高级用法（如 LoRA 微调、纯文本采样等），请参考官方 Colab 教程 或仓库中的 examples/ 目录。