稳定扩散视频

在 Colab 中亲自尝试：

示例 - 在“蓝莓意大利面”和“草莓意大利面”之间进行变形

https://user-images.githubusercontent.com/32437151/188721341-6f28abf9-699b-46b0-a72e-fa2a624ba0bb.mp4

安装

pip install stable_diffusion_videos

使用

请查看 examples 文件夹中的示例脚本 👀

制作视频

注意：对于 Apple M1 架构，请使用 torch.float32，因为 MPS 上不支持 torch.float16。

from stable_diffusion_videos import StableDiffusionWalkPipeline
import torch

pipeline = StableDiffusionWalkPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4",
    torch_dtype=torch.float16,
).to("cuda")

video_path = pipeline.walk(
    prompts=['一只猫', '一只狗'],
    seeds=[42, 1337],
    num_interpolation_steps=3,
    height=512,  # 如果大于 512，则使用 64 的倍数；如果小于 512，则使用 8 的倍数。
    width=512,   # 如果大于 512，则使用 64 的倍数；如果小于 512，则使用 8 的倍数。
    output_dir='dreams',        // 图片/视频将保存的目录
    name='animals_test',        // output_dir 下用于保存图片/视频的子目录
    guidance_scale=8.5,         // 数值越高越贴近提示词，数值越低则让模型自由发挥
    num_inference_steps=50,     // 每生成一张图像所用的扩散步数。50 是一个不错的默认值
)

制作音乐视频

新增！ 可以通过提供音频文件路径来为视频添加音乐。音频将决定插值的速度，使视频随着节拍变化 🎶

from stable_diffusion_videos import StableDiffusionWalkPipeline
import torch

pipeline = StableDiffusionWalkPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4",
    torch_dtype=torch.float16,
).to("cuda")

// 歌曲中的秒数。
audio_offsets = [146, 148]  // [开始, 结束]
fps = 30  // 测试时可使用较低的帧率（5 或 10），追求更高画质时则使用较高的帧率（30 或 60）

// 将秒数转换为帧数
num_interpolation_steps = [(b-a) * fps for a, b in zip(audio_offsets, audio_offsets[1:])]

video_path = pipeline.walk(
    prompts=['一只猫', '一只狗'],
    seeds=[42, 1337],
    num_interpolation_steps=num_interpolation_steps,
    audio_filepath='audio.mp3',
    audio_start_sec=audio_offsets[0],
    fps=fps,
    height=512,  // 如果大于 512，则使用 64 的倍数；如果小于 512，则使用 8 的倍数。
    width=512,   // 如果大于 512，则使用 64 的倍数；如果小于 512，则使用 8 的倍数。
    output_dir='dreams',        // 图片/视频将保存的目录
    guidance_scale=7.5,         // 数值越高越贴近提示词，数值越低则让模型自由发挥
    num_inference_steps=50,     // 每生成一张图像所用的扩散步数。50 是一个不错的默认值
)

使用 UI

from stable_diffusion_videos import StableDiffusionWalkPipeline, Interface
import torch

pipeline = StableDiffusionWalkPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4",
    torch_dtype=torch.float16,
).to("cuda")

interface = Interface(pipeline)
interface.launch()

致谢

这项工作基于 @karpathy 分享的 脚本。该脚本被修改为 这个 gist，随后又在此基础上进行了更新和改进，最终形成了这个仓库。

贡献

您可以在 这里 提交任何问题或功能请求。

祝您使用愉快 🤗

stable-diffusion-videos 快速上手指南

stable-diffusion-videos 是一个基于 Stable Diffusion 的开源工具，支持生成图像渐变视频（Morphing Videos），并可将音频节奏同步到视频插值中。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：3.8+
• GPU 要求：推荐使用 NVIDIA GPU（需安装 CUDA 驱动）；Apple M1/M2 芯片可使用 MPS，但需使用 torch.float32
• 依赖项：
  • PyTorch
  • Transformers
  • Diffusers
  • FFmpeg（用于视频合成，需单独安装）

💡 提示：国内用户可配置清华或阿里镜像源加速 pip 安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple stable_diffusion_videos

安装步骤

使用 pip 一键安装：

pip install stable_diffusion_videos

如需使用音频同步功能，请确保已安装 ffmpeg：

• Ubuntu/Debian:

  sudo apt update && sudo apt install ffmpeg
  

• macOS (Homebrew):

  brew install ffmpeg
  

• Windows: 下载预编译包或采用 conda install -c conda-forge ffmpeg

基本使用

以下是最小可用示例，生成从"a cat"到"a dog"的渐变视频：

from stable_diffusion_videos import StableDiffusionWalkPipeline
import torch

pipeline = StableDiffusionWalkPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4",
    torch_dtype=torch.float16,
).to("cuda")

video_path = pipeline.walk(
    prompts=['a cat', 'a dog'],
    seeds=[42, 1337],
    num_interpolation_steps=3,
    height=512,
    width=512,
    output_dir='dreams',
    name='animals_test',
    guidance_scale=8.5,
    num_inference_steps=50,
)

生成的视频将保存在 dreams/animals_test 目录下。

⚠️ Apple M1 用户请将 torch_dtype 改为 torch.float32，并将设备改为 "mps"。