项目 i-Code

i-Code 项目的愿景是构建集成且可组合的多模态人工智能。“i”代表集成式多模态学习。

多模态基础模型

• i-Code V1：i-Code：一种集成且可组合的多模态学习框架。AAAI 2023，论文链接。

• i-Code V2：i-Code V2：一种基于视觉、语言和语音数据的自回归生成框架。论文链接。

• i-Code V3 (CoDi)：通过可组合扩散实现任意模态之间的生成，论文链接。

• i-Code Studio：一个可配置且可组合的集成式人工智能框架，论文链接。

多模态文档智能

• i-Code Doc (UDOP)：统一视觉、文本和布局，用于通用文档处理。CVPR 2023 精选，论文链接。

基于知识的视觉问答

• [MM-Reasoner] MM-Reasoner：一种多模态、具备知识感知能力的框架，用于基于知识的视觉问答。EMNLP 2023 研究成果。

贡献说明

本项目欢迎各类贡献与建议。大多数贡献都需要您签署一份贡献者许可协议（CLA），以声明您有权并将您的贡献权利授予我们使用。详情请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地为 PR 添加标记（例如状态检查、评论）。您只需按照机器人提供的指示操作即可。对于所有使用我们 CLA 的仓库，您只需完成一次此步骤。

本项目已采纳 微软开源行为准则。更多信息请参阅 行为准则常见问题解答，或如有任何其他问题或意见，请联系 opencode@microsoft.com。

商标说明

本项目可能包含项目、产品或服务相关的商标或标识。未经授权使用微软商标或标识须遵守并遵循 微软商标与品牌指南。在本项目的修改版本中使用微软商标或标识时，不得造成混淆或暗示微软的赞助关系。任何第三方商标或标识的使用均应遵守该第三方的相关政策。

i-Code 快速上手指南

i-Code 是微软推出的集成式、可组合的多模态人工智能框架，支持视觉、语言、语音及文档布局的统一处理。本指南将帮助你快速搭建环境并运行基础模型。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04+) 或 Windows (需 WSL2)。
• Python 版本：3.8 或更高版本。
• GPU 支持：推荐使用 NVIDIA GPU，并安装对应的 CUDA Toolkit (版本需与 PyTorch 匹配，通常建议 CUDA 11.7+)。
• 前置依赖：
  • Git
  • Pip 或 Conda (推荐使用 Conda 管理虚拟环境)

提示：国内开发者建议使用清华源或阿里源加速 Python 包下载。

安装步骤

以下以安装最新的 i-Code V3 (CoDi) 为例，其他版本（V1, V2, Doc）安装逻辑类似，只需切换对应目录。

1. 克隆项目仓库

   git clone https://github.com/microsoft/i-Code.git
   cd i-Code
   

2. 创建并激活虚拟环境

   conda create -n icode python=3.9 -y
   conda activate icode
   

3. 安装基础依赖 进入你希望使用的具体模型目录（例如 i-Code-V3），并安装依赖。

   注：若直接安装 requirements.txt 速度较慢，可临时替换为国内镜像源。

   cd i-Code-V3
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 安装项目包

   pip install -e .
   

5. 下载预训练模型 根据各子项目 README 中的指引下载对应的预训练权重文件（Checkpoints），并将其放置在指定的 checkpoints 目录下。由于模型文件较大，建议使用支持断点续传的工具下载。

基本使用

以下是一个基于 i-Code V3 (CoDi) 进行“任意到任意”（Any-to-Any）生成的最简示例。假设你已经下载好了文本到图像生成的预训练模型。

1. 准备输入数据 创建一个名为 input_text.txt 的文件，写入提示词：

   A futuristic city with flying cars under a purple sky.
   

2. 运行生成脚本 在项目根目录或对应子目录下执行推理命令：

   python scripts/generate.py \
       --model_name codi_v3 \
       --input_path input_text.txt \
       --output_dir outputs \
       --task text_to_image \
       --checkpoint_path checkpoints/codi_v3_pt.pt
   

3. 查看结果 生成的图像将保存在 outputs 文件夹中。

注意：不同子项目（如 i-Code-Doc 用于文档处理，MM-Reasoner 用于问答）的入口脚本和参数略有不同，请参考各子目录下的 README.md 获取特定任务的详细参数说明。