访问我们的网站：Everlyn.ai

🔆 研究概述

我们最新的开源研究主要围绕三大核心模块展开。首先，我们提出了一种全新的视频压缩与分词方法，旨在同时提升图像质量和运行效率。其次，我们介绍了适用于高效自回归模型的框架。最后，我们分享了在多模态理解领域的最新进展，重点致力于减少大型语言模型中的幻觉现象。

1. 用于向量量化分布匹配

我们针对自回归视频模型中向量量化所面临的不稳定性和低效性问题展开了深入研究。通过采用基于Wasserstein距离的全新分布匹配方法，我们显著提升了码本利用率，并有效降低了量化误差。这一方法不仅使训练过程更加稳定，还为生成式视频任务带来了更优异的性能表现。

2. EfficientARV：面向图像与视频生成的高效自回归模型

EfficientARV 旨在打造一种高效的自回归模型，用于同时生成图像与视频。该项目探索了多种条件生成任务，包括图像动画、修复填充、外扩补全、视频预测以及视频插值等。此外，我们还希望将这些生成能力融入多模态大语言模型（MLLMs）中，从而构建更具交互性和鲁棒性的AI系统。

3. ANTRP：用于 MLLMs 的干预锚点令牌解码策略

最后，我们专注于通过解决幻觉问题来提升多模态大语言模型（MLLMs）的表现。相较于对摘要令牌进行惩罚，ANTRP 通过干预查询-密钥参数的方差，无需额外的推理时间即可有效降低幻觉现象。我们提出了动态令牌传播机制（TAME），该机制能够动态调整注意力权重的特征谱方差，从而缓解“锚点”令牌的过度传播问题。大量实验表明，特征谱与幻觉之间存在密切关联；而 TAME 在多种 MLLMs 中均显著减少了幻觉对象的数量。

---

在 Everlyn，我们不断推动人工智能技术的发展，突破视频生成领域的种种边界，将“无限可能的视频AI”这一梦想变为现实。

Everlyn-1 快速上手指南

Everlyn-1 是 Openlyn 团队开源的一系列前沿 AI 研究项目，核心涵盖视频压缩与分词、高效自回归生成模型以及多模态大语言模型（MLLM）的幻觉抑制技术。本指南将帮助您快速搭建环境并运行其核心组件。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04/22.04) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本：3.9 或更高版本。
• GPU 支持：推荐使用 NVIDIA GPU (显存 ≥ 16GB 用于视频生成任务)，并安装对应的 CUDA 驱动。
• 前置依赖：
  • PyTorch (建议 2.0+)
  • Git
  • pip 或 conda

国内加速建议： 安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

Everlyn-1 包含三个独立的子项目，请根据您的需求选择安装。以下以核心生成模型 EfficientARV 为例（其他组件安装逻辑类似）。

1. 克隆仓库

git clone https://github.com/Openlyn/EfficientARV.git
cd EfficientARV

2. 创建虚拟环境并安装依赖

python -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate

# 安装基础依赖
pip install -r requirements.txt

# 安装项目包
pip install -e .

注意：如果您需要体验 Wasserstein-VQ (视频分词) 或 ANTRP (幻觉抑制)，请分别克隆对应仓库 (Openlyn/Wasserstein-VQ 或 Openlyn/ANTRP) 并执行相同的安装步骤。

基本使用

以下示例展示如何使用 EfficientARV 进行简单的图像到视频生成（Image Animation）。

1. 准备输入素材

确保您有一张初始图像（例如 input_image.jpg）作为生成的起始帧。

2. 运行生成脚本

使用提供的推理脚本进行生成。以下命令将基于输入图像生成一段短视频：

python scripts/generate_video.py \
    --config configs/efficientarv_base.yaml \
    --input_path assets/input_image.jpg \
    --output_dir outputs/video \
    --num_frames 16 \
    --fps 8

3. 验证输出

生成完成后，检查 outputs/video 目录，您将看到生成的视频文件。

---

进阶提示：

• 视频分词测试：若需测试分布匹配分词器，请参考 Wasserstein-VQ 仓库中的 demo_quantize.py。
• MLLM 幻觉抑制：若需在多模态对话中应用 ANTRP 策略，请在加载 MLLM 模型时启用 TAME 模块配置。

更多详细参数配置及高级用法，请访问各子项目的 GitHub 页面或查阅官方文档。