English | 简体中文

项目描述

本项目允许用户输入故事主题，并使用大语言模型（Large Language Model，LLM）生成故事视频。视频包含 AI 生成的图片、故事内容、音频和字幕。

后端技术栈采用 Python + FastAPI 框架，前端使用 React + Ant Design + Vite 构建。

视频演示

▶️ 小兔子和小小狐狸的故事	▶️ 大灰狼和小白兔的故事

界面截图

使用说明

1. 下载项目

git clone https://github.com/alecm20/story-flicks.git

2. 设置模型信息

# 首先，切换到项目的后端目录
cd backend
cp .env.example .env


text_provider = "openai"  # 文本生成模型的提供商。目前支持 openai、aliyun、deepseek、ollama 和 siliconflow。
                          # 阿里云文档：https://www.aliyun.com/product/bailian

image_provider = "aliyun"  # 图像生成模型的提供商。目前支持 openai、aliyun 和 siliconflow。

openai_base_url="https://api.openai.com/v1" # OpenAI 的基础 URL

aliyun_base_url="https://dashscope.aliyuncs.com/compatible-mode/v1" # 阿里云的基础 URL

deepseek_base_url="https://api.deepseek.com/v1" # DeepSeek 的基础 URL

ollama_base_url="http://localhost:11434/v1" # Ollama 的基础 URL

siliconflow_base_url="https://api.siliconflow.cn/v1" # SiliconFlow 的基础 URL

openai_api_key= # OpenAI 的 API 密钥，只需提供一个密钥

aliyun_api_key= # 阿里云百炼的 API 密钥，只需提供一个密钥

deepseek_api_key= # DeepSeek 的 API 密钥，目前仅支持文本生成

ollama_api_key= # 如需使用，请将 api_key 设置为"ollama"。目前此 API 密钥仅支持文本生成，无法用于参数过少的模型。建议使用 qwen2.5:14b 或更大的模型。

siliconflow_api_key= # SiliconFlow 的 API 密钥，siliconflow 的文本模型目前仅支持与 OpenAI 格式兼容的大模型，如 Qwen/Qwen2.5-7B-Instruct。图像模型仅测试过 black-forest-labs/FLUX.1-dev。


text_llm_model=gpt-4o # 如果 text_provider 设置为 openai，只能使用 OpenAI 模型，如 gpt-4o。如果选择 aliyun，可使用阿里云模型如 qwen-plus 或 qwen-max。Ollama 模型无法用于参数过少的模型。建议使用 qwen2.5:14b 或更大的模型。

image_llm_model=flux-dev # 如果 image_provider 设置为 openai，只能使用 OpenAI 模型，如 dall-e-3。如果选择 aliyun，推荐使用阿里云模型如 flux-dev，目前可免费试用。更多详情：https://help.aliyun.com/zh/model-studio/getting-started/models#a1a9f05a675m4。

3. 启动项目

3.1 手动启动

启动后端项目

# 首先，切换到项目根目录
cd backend
conda create -n story-flicks python=3.10 # 使用 conda，其他虚拟环境也可使用
conda activate story-flicks
pip install -r requirements.txt
uvicorn main:app --reload

如果项目启动成功，将出现以下输出：

INFO:     Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)
INFO:     Started reloader process [78259] using StatReload
INFO:     Started server process [78261]
INFO:     Waiting for application startup.
INFO:     Application startup complete.

启动前端项目

# 首先，切换到项目根目录
cd frontend
npm install
npm run dev

# 启动成功后，打开：http://localhost:5173/

启动成功后，将出现以下输出：

  VITE v6.0.7  ready in 199 ms

  ➜  Local:   http://localhost:5173/
  ➜  Network: use --host to expose
  ➜  press h + enter to show help

3.2 通过 Docker 启动

在项目根目录下运行：

docker-compose up --build

成功后，打开前端项目：http://localhost:5173/

4. 开始使用

根据界面上的字段，选择文本生成模型提供商、图像生成模型提供商、文本模型、图像模型、视频语言、语音、故事主题和故事段落。然后点击"生成"来创建视频。生成的图片数量将与指定的段落数量相对应，每段一张图片。设置的段落越多，生成视频所需的时间就越长。生成成功后，视频将显示在前端页面上。

story-flicks 快速上手指南

环境准备

• Python: 3.10
• Node.js: 用于前端项目
• Git: 用于克隆项目
• Conda (推荐): 用于管理 Python 环境

安装步骤

1. 克隆项目

git clone https://github.com/alecm20/story-flicks.git

2. 配置模型信息

cd backend
cp .env.example .env

编辑 .env 文件，配置以下内容：

# 文本生成模型提供商：openai / aliyun / deepseek / ollama / siliconflow
text_provider = "aliyun"

# 图像生成模型提供商：openai / aliyun / siliconflow
image_provider = "aliyun"

# 各提供商的 API 地址
aliyun_base_url="https://dashscope.aliyuncs.com/compatible-mode/v1"
openai_base_url="https://api.openai.com/v1"
deepseek_base_url="https://api.deepseek.com/v1"
ollama_base_url="http://localhost:11434/v1"
siliconflow_base_url="https://api.siliconflow.cn/v1"

# API Keys
aliyun_api_key=your_aliyun_api_key
openai_api_key=your_openai_api_key
deepseek_api_key=your_deepseek_api_key
ollama_api_key=ollama
siliconflow_api_key=your_siliconflow_api_key

# 模型配置
text_llm_model=qwen-plus
image_llm_model=flux-dev

推荐：国内开发者建议使用 aliyun 或 siliconflow 提供商，可获得更稳定的访问体验。

3. 启动后端服务

cd backend
conda create -n story-flicks python=3.10
conda activate story-flicks
pip install -r requirements.txt
uvicorn main:app --reload

后端启动成功后，显示：

INFO:     Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)
INFO:     Application startup complete.

4. 启动前端服务

cd frontend
npm install
npm run dev

前端启动成功后，显示：

  VITE v6.0.7  ready in 199 ms

  ➜  Local:   http://localhost:5173/

5. 使用 Docker 启动（可选）

docker-compose up --build

基本使用

1. 打开浏览器访问：http://localhost:5173/
2. 在界面中选择：
   • 文本生成模型提供商（如 aliyun）
   • 图像生成模型提供商（如 aliyun）
   • 文本模型（如 qwen-plus）
   • 图像模型（如 flux-dev）
   • 视频语言、语音、故事主题
   • 故事段落数量
3. 点击 Generate 按钮生成视频

生成时间取决于段落数量，段落越多生成时间越长。