ruDALL-E

从文本生成图像

pip install rudalle==1.1.3

🤗 HF 模型：

ruDALL-E Malevich (XL)
ruDALL-E Emojich (XL)（说明文档 这里）
ruDALL-E 超现实主义 (XL)
ruDALL-E Kandinsky (XXL)（即将推出）

最小示例：

使用 ruDALL-E Malevich (XL)，仅需 3.5GB 显存的示例！

微调示例

使用 ruDALLE 生成：

import ruclip
from rudalle.pipelines import generate_images, show, super_resolution, cherry_pick_by_ruclip
from rudalle import get_rudalle_model, get_tokenizer, get_vae, get_realesrgan
from rudalle.utils import seed_everything

# 准备模型：
device = 'cuda'
dalle = get_rudalle_model('Malevich', pretrained=True, fp16=True, device=device)
tokenizer = get_tokenizer()
vae = get_vae(dwt=True).to(device)

# 流程工具：
realesrgan = get_realesrgan('x2', device=device)
clip, processor = ruclip.load('ruclip-vit-base-patch32-384', device=device)
clip_predictor = ruclip.Predictor(clip, processor, device, bs=8)
text = '彩虹在夜城背景下'

seed_everything(42)
pil_images = []
scores = []
for top_k, top_p, images_num in [
    (2048, 0.995, 24),
]:
    _pil_images, _scores = generate_images(text, tokenizer, dalle, vae, top_k=top_k, images_num=images_num, bs=8, top_p=top_p)
    pil_images += _pil_images
    scores += _scores

show(pil_images, 6)

ruCLIP 自动精选：

top_images, clip_scores = cherry_pick_by_ruclip(pil_images, text, clip_predictor, count=6)
show(top_images, 3)

超分辨率：

sr_images = super_resolution(top_images, realesrgan)
show(sr_images, 3)

text, seed = '漂亮的动漫美少女', 6955

图像提示

参见 jupyters/ruDALLE-image-prompts-A100.ipynb

text, seed = '瓦西里升天大教堂', 42
skyes = [red_sky, sunny_sky, cloudy_sky, night_sky]

VideoDALL-E | ruCogVideo 由 @cene555 提供

视频生成示例 微调示例

宽高比图像 -->新<--

Kandinsky 12B

申请访问：这里

用梵高风格水彩画的机器人

FID = 15.4 (COCO Valid)

🚀 贡献者 🚀

• @bes 分享了 关于 IDWT 的绝妙想法和实现，用于以更高品质解码 512x512 的图像！😈💪 非常感谢您的建设性建议，我们非常感激。
• @neverix 非常感谢您为加速推理所做的贡献。
• @Igor Pavlov 训练了模型，并准备了包含 超分辨率 的代码。
• @oriBetelgeuse 非常感谢您提供了使用图像提示进行生成的简易 API。
• @Alex Wortega 创建了第一个免费版本的 Colab 笔记本，用于对 ruDALL-E Malevich (XL) 在运动鞋领域进行微调 💪
• @Anton Lozhkov 将其集成到 Hugging Face Spaces 中，并使用了 Gradio，详情请见 这里。

支持单位

社交媒体

ruDALL-E 快速上手指南

ruDALL-E 是由 SberBank AI 开源的文本生成图像模型，支持俄语及多语言提示。本指南将帮助你快速在本地或云端环境中部署并生成图像。

环境准备

• 操作系统: Linux (推荐 Ubuntu), macOS, Windows (需配置 CUDA 环境)
• Python 版本: 3.7 - 3.9
• GPU 要求:
  • 基础生成：建议显存 ≥ 4GB (使用 fp16 模式可在 3.5GB 显存下运行 Malevich 模型)
  • 高清放大/微调：建议显存 ≥ 8GB
• 依赖库: PyTorch, Transformers, Pillow, ruclip 等将通过安装命令自动解决。

提示：国内开发者若遇到下载依赖慢的问题，建议在 pip 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源。

安装步骤

通过 pip 直接安装稳定版本：

pip install rudalle==1.1.3

如需使用额外的图像处理功能（如超分辨率），请确保已安装相关深度学习框架（通常安装 rudalle 时会自动处理大部分依赖，若报错可手动安装 torch 和 torchvision）。

基本使用

以下是最小化示例，演示如何加载 Malevich (XL) 模型并根据俄语文本生成图像。

1. 导入与模型加载

import ruclip
from rudalle.pipelines import generate_images, show, super_resolution, cherry_pick_by_ruclip
from rudalle import get_rudalle_model, get_tokenizer, get_vae, get_realesrgan
from rudalle.utils import seed_everything

# 设置设备 (cuda 或 cpu)
device = 'cuda'

# 加载预训练模型 (Malevich 版本，开启半精度以节省显存)
dalle = get_rudalle_model('Malevich', pretrained=True, fp16=True, device=device)
tokenizer = get_tokenizer()
vae = get_vae(dwt=True).to(device)

# 加载辅助工具：超分辨率模型 和 CLIP 筛选器
realesrgan = get_realesrgan('x2', device=device)
clip, processor = ruclip.load('ruclip-vit-base-patch32-384', device=device)
clip_predictor = ruclip.Predictor(clip, processor, device, bs=8)

# 设置随机种子以保证结果可复现
seed_everything(42)

2. 生成图像

定义提示词（支持俄语，部分模型支持英语），设置生成参数并执行生成。

text = 'радуга на фоне ночного города'  # 示例：夜空背景下的彩虹

pil_images = []
scores = []

# 参数说明：top_k/top_p 控制多样性，images_num 为生成数量，bs 为批大小
for top_k, top_p, images_num in [
    (2048, 0.995, 24),
]:
    _pil_images, _scores = generate_images(
        text, tokenizer, dalle, vae, 
        top_k=top_k, images_num=images_num, bs=8, top_p=top_p
    )
    pil_images += _pil_images
    scores += _scores

# 展示生成的前 6 张图片
show(pil_images, 6)

3. 进阶处理（可选）

智能筛选 (Cherry-pick)：利用 ruCLIP 根据文本相关性自动筛选最佳图片。

# 从生成的图片中筛选出最符合描述的 6 张
top_images, clip_scores = cherry_pick_by_ruclip(pil_images, text, clip_predictor, count=6)
show(top_images, 3)

超分辨率放大：提升图片清晰度。

# 对筛选后的图片进行 2 倍超分辨率处理
sr_images = super_resolution(top_images, realesrgan)
show(sr_images, 3)

注意：默认示例使用的是俄语提示词。虽然模型主要面向俄语优化，但也可以尝试输入中文或英文提示词，效果可能因模型版本而异。如需更稳定的多语言支持，建议结合翻译工具将提示词转为俄语后再输入。