StoryTeller

一个多模态 AI 故事讲述器，基于 Stable Diffusion、GPT 和神经文本转语音 (TTS) 构建。

给定一个作为故事开场的提示词 (Prompt)，GPT 负责撰写其余情节；Stable Diffusion 为每个句子绘制图像；TTS 模型朗读每一行，最终生成一部配有音频和视觉效果的完整动画短片。

安装

PyPI

Story Teller 可在 PyPI 上获取。

$ pip install storyteller-core

源码

1. 克隆仓库。

$ git clone https://github.com/jaketae/storyteller.git
$ cd storyteller

2. 安装依赖。

$ pip install .

[!NOTE] 对于 Apple Silicon 用户，mecab-python3 不可用。在运行 pip install 之前你需要先安装 mecab。你可以通过 Homebrew 执行 brew install mecab 来完成此操作。更多信息请参阅 https://github.com/SamuraiT/mecab-python3/issues/84。

3. (可选) 若要本地开发，请安装 dev 依赖并安装 pre-commit 钩子。这将在每次提交前自动触发代码检查和代码质量检查。

$ pip install -e .[dev]
$ pre-commit install

快速开始

运行演示最快的方法是使用命令行界面 (CLI)。开始只需输入：

$ storyteller

该命令将使用默认提示词 Once upon a time, unicorns roamed the Earth 初始化故事。生成的输出示例 可在上方的动画中看到。你可以使用 --writer_prompt 参数自定义故事的开头。例如，如果你希望故事以文本 The ravenous cat, driven by an insatiable craving for tuna, devised a daring plan to break into the local fish market's coveted tuna reserve. 开始，你的 CLI 命令如下所示：

storyteller --writer_prompt "The ravenous cat, driven by an insatiable craving for tuna, devised a daring plan to break into the local fish market's coveted tuna reserve."

最终视频将保存在 /out/out.mp4 目录中，以及其他中间文件如图像、音频文件和字幕。

如需使用自定义参数调整默认设置，你可以根据需要使用不同的 CLI 标志。要查看所有可用选项列表，请输入：

$ storyteller --help

这将为你提供选项列表、描述及其默认值。

options:
  -h, --help            show this help message and exit
  --writer_prompt WRITER_PROMPT
                        The prompt to be used for the writer model. This is the text with which your story will begin. Default:
                        'Once upon a time, unicorns roamed the Earth.'
  --painter_prompt_prefix PAINTER_PROMPT_PREFIX
                        The prefix to be used for the painter model's prompt. Default: 'Beautiful painting'
  --num_images NUM_IMAGES
                        The number of images to be generated. Those images will be composed in sequence into a video. Default:
                        10
  --output_dir OUTPUT_DIR
                        The directory to save the generated files to. Default: 'out'
  --seed SEED           The seed value to be used for randomization. Default: 42
  --max_new_tokens MAX_NEW_TOKENS
                        Maximum number of new tokens to generate in the writer model. Default: 50
  --writer WRITER       Text generation model to use. Default: 'gpt2'
  --painter PAINTER     Image generation model to use. Default: 'stabilityai/stable-diffusion-2'
  --speaker SPEAKER     Text-to-speech (TTS) generation model. Default: 'tts_models/en/ljspeech/glow-tts'
  --writer_device WRITER_DEVICE
                        Text generation device to use. Default: 'cpu'
  --painter_device PAINTER_DEVICE
                        Image generation device to use. Default: 'cpu'
  --writer_dtype WRITER_DTYPE
                        Text generation dtype to use. Default: 'float32'
  --painter_dtype PAINTER_DTYPE
                        Image generation dtype to use. Default: 'float32'
  --enable_attention_slicing ENABLE_ATTENTION_SLICING
                        Whether to enable attention slicing for diffusion. Default: 'False'

使用

命令行界面

CUDA

如果你拥有支持 CUDA 的机器，请运行

$ storyteller --writer_device cuda --painter_device cuda

以利用 GPU。

如果将所有模型加载到单个设备上超过可用显存 (VRAM)，你也可以将每个模型放置在单独的设备上。

$ storyteller --writer_device cuda:0 --painter_device cuda:1

为了更快的生成速度，建议使用半精度。

$ storyteller --writer_device cuda --painter_device cuda --writer_dtype float16 --painter_dtype float16

Apple Silicon

[!NOTE] PyTorch 对 Apple Silicon (MPS) 的支持仍在进行中。编写本文时，torch.cumsum 在 PyTorch stable 2.0.1 版本上与 torch.int64 不兼容 (issue)；仅在 nightly 版本上有效。

如果你使用的是 Apple Silicon 机器，并且想要为两个模型都启用 MPS 加速，请运行

$ storyteller --writer_device mps --painter_device mps

为了更快的生成速度，建议启用 attention-slicing 以节省内存。

$ storyteller --enable_attention_slicing true

Python

对于更高级的使用场景，您也可以直接使用 Python 代码与 Story Teller 进行交互。

1. 使用默认参数加载模型。

from storyteller import StoryTeller

story_teller = StoryTeller.from_default()
story_teller.generate(...)

2. 或者，使用自定义配置对模型进行设置。

from storyteller import StoryTeller, StoryTellerConfig

config = StoryTellerConfig(
    writer="gpt2-large",
    painter="CompVis/stable-diffusion-v1-4",
    max_new_tokens=100,
)

story_teller = StoryTeller(config)
story_teller.generate(...)

许可证

本项目依据 MIT 许可证 发布。

StoryTeller 快速上手指南

StoryTeller 是一款多模态 AI 故事生成工具。它结合 Stable Diffusion、GPT 和神经文本转语音（TTS）技术，根据输入的故事开头自动生成后续剧情、绘制对应画面并合成配音，最终输出包含音频和视觉的动画短片。

环境准备

• 系统要求：支持 Linux、macOS、Windows。
• Python 版本：Python 3.x。
• 硬件建议：
  • CPU：可运行但速度较慢。
  • GPU (NVIDIA)：推荐使用 CUDA 加速（需安装 NVIDIA 驱动及 CUDA Toolkit）。
  • Apple Silicon (M1/M2/M3)：支持 MPS 加速，但需注意特定依赖问题。
• 特殊依赖：
  • Apple Silicon 用户：在运行安装前，需通过 Homebrew 安装 mecab，否则可能报错。

    brew install mecab
    

安装步骤

方式一：通过 PyPI 安装（推荐）

直接安装核心包即可使用命令行功能。

pip install storyteller-core

方式二：从源码安装

如需开发或获取最新代码，可克隆仓库并安装。

git clone https://github.com/jaketae/storyteller.git
cd storyteller
pip install .

[!NOTE] 若需本地开发调试，可安装开发依赖并配置 pre-commit 钩子：

pip install -e .[dev]
pre-commit install

基本使用

默认运行

直接使用命令行启动，将使用默认提示词生成故事视频。

storyteller

生成的视频文件将保存在 /out/out.mp4 目录中，同时包含中间图片、音频和字幕文件。

自定义故事开头

通过 --writer_prompt 参数指定故事的起始句子。

storyteller --writer_prompt "The ravenous cat, driven by an insatiable craving for tuna, devised a daring plan to break into the local fish market's coveted tuna reserve."

查看帮助选项

查看所有可用参数及其默认值。

storyteller --help

硬件加速配置

为了提升生成速度，建议启用 GPU 加速。

1. NVIDIA CUDA 加速 如果您的机器支持 CUDA，请添加以下参数：

storyteller --writer_device cuda --painter_device cuda

若显存不足，可将不同模型分配到不同设备：

storyteller --writer_device cuda:0 --painter_device cuda:1

开启半精度计算以进一步提升速度：

storyteller --writer_device cuda --painter_device cuda --writer_dtype float16 --painter_dtype float16

2. Apple Silicon (MPS) 加速 Mac M 系列芯片用户可使用 MPS 后端：

storyteller --writer_device mps --painter_device mps

为节省内存，建议开启注意力切片：

storyteller --enable_attention_slicing true