[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-facebookresearch--ImageBind":3,"similar-facebookresearch--ImageBind":85},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":18,"owner_email":18,"owner_twitter":18,"owner_website":19,"owner_url":20,"languages":21,"stars":26,"forks":27,"last_commit_at":28,"license":29,"difficulty_score":30,"env_os":31,"env_gpu":32,"env_ram":33,"env_deps":34,"category_tags":40,"github_topics":18,"view_count":44,"oss_zip_url":18,"oss_zip_packed_at":18,"status":45,"created_at":46,"updated_at":47,"faqs":48,"releases":84},6932,"facebookresearch\u002FImageBind","ImageBind","ImageBind One Embedding Space to Bind Them All","ImageBind 是由 Meta AI 研发的一款开源多模态人工智能模型，旨在打破不同感官数据之间的壁垒。它核心解决了传统 AI 模型通常只能处理单一类型数据（如仅识别图像或仅理解文本）的局限，创新性地将图像、文本、音频、深度图、热成像以及惯性测量单元（IMU）数据这六种模态，映射到同一个统一的嵌入空间中进行学习。\n\n这意味着 ImageBind 能够像人类一样，通过一种感官的信息去理解和关联另一种感官的内容。例如，即使没有经过专门的配对训练，它也能实现跨模态检索（用声音找图片）、模态组合运算以及零样本分类等高级应用。其独特的技术亮点在于“涌现能力”，即通过在大规模数据上学习统一表示，模型自然而然地获得了处理未见过的跨模态任务的能力，无需针对每个新任务重新训练。\n\n这款工具非常适合 AI 研究人员、开发者以及对多模态融合技术感兴趣的设计师使用。研究人员可基于此探索新的算法架构，开发者能利用其预训练模型快速构建具备跨感官理解能力的智能应用，而设计师则可借助它创作交互形式更丰富的多媒体作品。ImageBind 为构建感知能力更全面、更接近人类认知方式的通用人工智能提供了坚实的基础设施。","# ImageBind: One Embedding Space To Bind Them All\n\n**[FAIR, Meta AI](https:\u002F\u002Fai.facebook.com\u002Fresearch\u002F)** \n\nRohit Girdhar*,\nAlaaeldin El-Nouby*,\nZhuang Liu,\nMannat Singh,\nKalyan Vasudev Alwala,\nArmand Joulin,\nIshan Misra*\n\nTo appear at CVPR 2023 (*Highlighted paper*)\n\n[[`Paper`](https:\u002F\u002Ffacebookresearch.github.io\u002FImageBind\u002Fpaper)] [[`Blog`](https:\u002F\u002Fai.facebook.com\u002Fblog\u002Fimagebind-six-modalities-binding-ai\u002F)] [[`Demo`](https:\u002F\u002Fimagebind.metademolab.com\u002F)] [[`Supplementary Video`](https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fimagebind\u002Fimagebind_video.mp4)] [[`BibTex`](#citing-imagebind)]\n\nPyTorch implementation and pretrained models for ImageBind. For details, see the paper: **[ImageBind: One Embedding Space To Bind Them All](https:\u002F\u002Ffacebookresearch.github.io\u002FImageBind\u002Fpaper)**.\n\nImageBind learns a joint embedding across six different modalities - images, text, audio, depth, thermal, and IMU data. It enables novel emergent applications ‘out-of-the-box’ including cross-modal retrieval, composing modalities with arithmetic, cross-modal detection and generation.\n\n\n\n![ImageBind](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_ImageBind_readme_58e613ec9a3f.gif)\n\n## ImageBind model\n\nEmergent zero-shot classification performance.\n\n\u003Ctable style=\"margin: auto\">\n  \u003Ctr>\n    \u003Cth>Model\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:blue\">IN1k\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:purple\">K400\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:green\">NYU-D\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:LightBlue\">ESC\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:orange\">LLVIP\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:purple\">Ego4D\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>download\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>imagebind_huge\u003C\u002Ftd>\n    \u003Ctd align=\"right\">77.7\u003C\u002Ftd>\n    \u003Ctd align=\"right\">50.0\u003C\u002Ftd>\n    \u003Ctd align=\"right\">54.0\u003C\u002Ftd>\n    \u003Ctd align=\"right\">66.9\u003C\u002Ftd>\n    \u003Ctd align=\"right\">63.4\u003C\u002Ftd>\n    \u003Ctd align=\"right\">25.0\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fimagebind\u002Fimagebind_huge.pth\">checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \n\u003C\u002Ftable>\n\n## Usage\n\nInstall pytorch 2.0+ and other 3rd party dependencies.\n\n```shell\nconda create --name imagebind python=3.10 -y\nconda activate imagebind\n\npip install .\n```\n\nFor windows users, you might need to install `soundfile` for reading\u002Fwriting audio files. (Thanks @congyue1977)\n\n```\npip install soundfile\n```\n\n\nExtract and compare features across modalities (e.g. Image, Text and Audio).\n\n```python\nfrom imagebind import data\nimport torch\nfrom imagebind.models import imagebind_model\nfrom imagebind.models.imagebind_model import ModalityType\n\ntext_list=[\"A dog.\", \"A car\", \"A bird\"]\nimage_paths=[\".assets\u002Fdog_image.jpg\", \".assets\u002Fcar_image.jpg\", \".assets\u002Fbird_image.jpg\"]\naudio_paths=[\".assets\u002Fdog_audio.wav\", \".assets\u002Fcar_audio.wav\", \".assets\u002Fbird_audio.wav\"]\n\ndevice = \"cuda:0\" if torch.cuda.is_available() else \"cpu\"\n\n# Instantiate model\nmodel = imagebind_model.imagebind_huge(pretrained=True)\nmodel.eval()\nmodel.to(device)\n\n# Load data\ninputs = {\n    ModalityType.TEXT: data.load_and_transform_text(text_list, device),\n    ModalityType.VISION: data.load_and_transform_vision_data(image_paths, device),\n    ModalityType.AUDIO: data.load_and_transform_audio_data(audio_paths, device),\n}\n\nwith torch.no_grad():\n    embeddings = model(inputs)\n\nprint(\n    \"Vision x Text: \",\n    torch.softmax(embeddings[ModalityType.VISION] @ embeddings[ModalityType.TEXT].T, dim=-1),\n)\nprint(\n    \"Audio x Text: \",\n    torch.softmax(embeddings[ModalityType.AUDIO] @ embeddings[ModalityType.TEXT].T, dim=-1),\n)\nprint(\n    \"Vision x Audio: \",\n    torch.softmax(embeddings[ModalityType.VISION] @ embeddings[ModalityType.AUDIO].T, dim=-1),\n)\n\n# Expected output:\n#\n# Vision x Text:\n# tensor([[9.9761e-01, 2.3694e-03, 1.8612e-05],\n#         [3.3836e-05, 9.9994e-01, 2.4118e-05],\n#         [4.7997e-05, 1.3496e-02, 9.8646e-01]])\n#\n# Audio x Text:\n# tensor([[1., 0., 0.],\n#         [0., 1., 0.],\n#         [0., 0., 1.]])\n#\n# Vision x Audio:\n# tensor([[0.8070, 0.1088, 0.0842],\n#         [0.1036, 0.7884, 0.1079],\n#         [0.0018, 0.0022, 0.9960]])\n\n```\n\n## Model card\nPlease see the [model card](model_card.md) for details.\n\n## License\n\nImageBind code and model weights are released under the CC-BY-NC 4.0 license. See [LICENSE](LICENSE) for additional details.\n\n## Contributing\n\nSee [contributing](CONTRIBUTING.md) and the [code of conduct](CODE_OF_CONDUCT.md).\n\n## Citing ImageBind\n\nIf you find this repository useful, please consider giving a star :star: and citation\n\n```\n@inproceedings{girdhar2023imagebind,\n  title={ImageBind: One Embedding Space To Bind Them All},\n  author={Girdhar, Rohit and El-Nouby, Alaaeldin and Liu, Zhuang\nand Singh, Mannat and Alwala, Kalyan Vasudev and Joulin, Armand and Misra, Ishan},\n  booktitle={CVPR},\n  year={2023}\n}\n```\n","# ImageBind：一个嵌入空间，连接所有模态\n\n**[FAIR, Meta AI](https:\u002F\u002Fai.facebook.com\u002Fresearch\u002F)**\n\nRohit Girdhar*,\nAlaaeldin El-Nouby*,\nZhuang Liu,\nMannat Singh,\nKalyan Vasudev Alwala,\nArmand Joulin,\nIshan Misra*\n\n即将发表于 CVPR 2023（重点论文）\n\n[[`论文`](https:\u002F\u002Ffacebookresearch.github.io\u002FImageBind\u002Fpaper)] [[`博客`](https:\u002F\u002Fai.facebook.com\u002Fblog\u002Fimagebind-six-modalities-binding-ai\u002F)] [[`演示`](https:\u002F\u002Fimagebind.metademolab.com\u002F)] [[`补充视频`](https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fimagebind\u002Fimagebind_video.mp4)] [[`BibTex`](#citing-imagebind)]\n\nImageBind 的 PyTorch 实现及预训练模型。详情请参阅论文：**[ImageBind：一个嵌入空间，连接所有模态](https:\u002F\u002Ffacebookresearch.github.io\u002FImageBind\u002Fpaper)**。\n\nImageBind 学习跨六种不同模态的联合嵌入——图像、文本、音频、深度、热成像和 IMU 数据。它能够开箱即用地支持新颖的涌现式应用，包括跨模态检索、通过算术运算组合模态、跨模态检测与生成等。\n\n\n\n![ImageBind](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_ImageBind_readme_58e613ec9a3f.gif)\n\n## ImageBind 模型\n\n涌现式的零样本分类性能。\n\n\u003Ctable style=\"margin: auto\">\n  \u003Ctr>\n    \u003Cth>模型\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:blue\">IN1k\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:purple\">K400\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:green\">NYU-D\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:LightBlue\">ESC\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:orange\">LLVIP\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>\u003Cspan style=\"color:purple\">Ego4D\u003C\u002Fspan>\u003C\u002Fth>\n    \u003Cth>下载\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>imagebind_huge\u003C\u002Ftd>\n    \u003Ctd align=\"right\">77.7\u003C\u002Ftd>\n    \u003Ctd align=\"right\">50.0\u003C\u002Ftd>\n    \u003Ctd align=\"right\">54.0\u003C\u002Ftd>\n    \u003Ctd align=\"right\">66.9\u003C\u002Ftd>\n    \u003Ctd align=\"right\">63.4\u003C\u002Ftd>\n    \u003Ctd align=\"right\">25.0\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fimagebind\u002Fimagebind_huge.pth\">检查点\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \n\u003C\u002Ftable>\n\n## 使用方法\n\n安装 PyTorch 2.0 及以上版本以及其他第三方依赖。\n\n```shell\nconda create --name imagebind python=3.10 -y\nconda activate imagebind\n\npip install .\n```\n\n对于 Windows 用户，可能需要安装 `soundfile` 来读写音频文件。（感谢 @congyue1977）\n\n```\npip install soundfile\n```\n\n\n提取并比较不同模态之间的特征（例如图像、文本和音频）。\n\n```python\nfrom imagebind import data\nimport torch\nfrom imagebind.models import imagebind_model\nfrom imagebind.models.imagebind_model import ModalityType\n\ntext_list=[\"一只狗。\", \"一辆汽车\", \"一只鸟\"]\nimage_paths=[\".assets\u002Fdog_image.jpg\", \".assets\u002Fcar_image.jpg\", \".assets\u002Fbird_image.jpg\"]\naudio_paths=[\".assets\u002Fdog_audio.wav\", \".assets\u002Fcar_audio.wav\", \".assets\u002Fbird_audio.wav\"]\n\ndevice = \"cuda:0\" if torch.cuda.is_available() else \"cpu\"\n\n# 实例化模型\nmodel = imagebind_model.imagebind_huge(pretrained=True)\nmodel.eval()\nmodel.to(device)\n\n# 加载数据\ninputs = {\n    ModalityType.TEXT: data.load_and_transform_text(text_list, device),\n    ModalityType.VISION: data.load_and_transform_vision_data(image_paths, device),\n    ModalityType.AUDIO: data.load_and_transform_audio_data(audio_paths, device),\n}\n\nwith torch.no_grad():\n    embeddings = model(inputs)\n\nprint(\n    \"视觉 x 文本: \",\n    torch.softmax(embeddings[ModalityType.VISION] @ embeddings[ModalityType.TEXT].T, dim=-1),\n)\nprint(\n    \"音频 x 文本: \",\n    torch.softmax(embeddings[ModalityType.AUDIO] @ embeddings[ModalityType.TEXT].T, dim=-1),\n)\nprint(\n    \"视觉 x 音频: \",\n    torch.softmax(embeddings[ModalityType.VISION] @ embeddings[ModalityType.AUDIO].T, dim=-1),\n)\n\n# 预期输出：\n#\n# 视觉 x 文本:\n# tensor([[9.9761e-01, 2.3694e-03, 1.8612e-05],\n#         [3.3836e-05, 9.9994e-01, 2.4118e-05],\n#         [4.7997e-05, 1.3496e-02, 9.8646e-01]])\n#\n# 音频 x 文本:\n# tensor([[1., 0., 0.],\n#         [0., 1., 0.],\n#         [0., 0., 1.]])\n#\n# 视觉 x 音频:\n# tensor([[0.8070, 0.1088, 0.0842],\n#         [0.1036, 0.7884, 0.1079],\n#         [0.0018, 0.0022, 0.9960]])\n\n```\n\n## 模型卡片\n详细信息请参阅 [模型卡片](model_card.md)。\n\n## 许可证\n\nImageBind 的代码和模型权重采用 CC-BY-NC 4.0 许可协议发布。更多详情请参阅 [LICENSE](LICENSE)。\n\n## 贡献\n请参阅 [贡献指南](CONTRIBUTING.md) 和 [行为准则](CODE_OF_CONDUCT.md)。\n\n## 引用 ImageBind\n如果您觉得这个仓库有用，请考虑给个 star :star: 并引用：\n\n```\n@inproceedings{girdhar2023imagebind,\n  title={ImageBind: One Embedding Space To Bind Them All},\n  author={Girdhar, Rohit and El-Nouby, Alaaeldin and Liu, Zhuang\nand Singh, Mannat and Alwala, Kalyan Vasudev and Joulin, Armand and Misra, Ishan},\n  booktitle={CVPR},\n  year={2023}\n}\n```","# ImageBind 快速上手指南\n\nImageBind 是由 Meta FAIR 推出的多模态嵌入模型，能够将图像、文本、音频、深度、热成像和 IMU 数据六种模态映射到统一的嵌入空间中，支持跨模态检索、组合生成等零样本应用。\n\n## 环境准备\n\n- **操作系统**：Linux \u002F Windows \u002F macOS\n- **Python 版本**：3.10 推荐\n- **PyTorch 版本**：2.0+\n- **GPU**（可选）：支持 CUDA 的 NVIDIA 显卡可加速推理\n- **其他依赖**：`soundfile`（Windows 用户读取音频文件必需）\n\n> 💡 国内用户可使用清华或中科大镜像源加速 `pip` 和 `conda` 安装：\n> ```bash\n> conda config --add channels https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fpkgs\u002Fmain\u002F\n> pip config set global.index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n## 安装步骤\n\n```bash\n# 创建并激活虚拟环境\nconda create --name imagebind python=3.10 -y\nconda activate imagebind\n\n# 安装 ImageBind 及其依赖\npip install .\n\n# Windows 用户额外安装 soundfile\npip install soundfile\n```\n\n## 基本使用\n\n以下示例展示如何加载图像、文本和音频数据，并计算它们之间的跨模态相似度。\n\n```python\nfrom imagebind import data\nimport torch\nfrom imagebind.models import imagebind_model\nfrom imagebind.models.imagebind_model import ModalityType\n\n# 定义输入数据\ntext_list = [\"A dog.\", \"A car\", \"A bird\"]\nimage_paths = [\".assets\u002Fdog_image.jpg\", \".assets\u002Fcar_image.jpg\", \".assets\u002Fbird_image.jpg\"]\naudio_paths = [\".assets\u002Fdog_audio.wav\", \".assets\u002Fcar_audio.wav\", \".assets\u002Fbird_audio.wav\"]\n\n# 设置设备\ndevice = \"cuda:0\" if torch.cuda.is_available() else \"cpu\"\n\n# 加载预训练模型\nmodel = imagebind_model.imagebind_huge(pretrained=True)\nmodel.eval()\nmodel.to(device)\n\n# 加载并转换数据\ninputs = {\n    ModalityType.TEXT: data.load_and_transform_text(text_list, device),\n    ModalityType.VISION: data.load_and_transform_vision_data(image_paths, device),\n    ModalityType.AUDIO: data.load_and_transform_audio_data(audio_paths, device),\n}\n\n# 提取嵌入向量\nwith torch.no_grad():\n    embeddings = model(inputs)\n\n# 计算跨模态相似度（以 Vision x Text 为例）\nprint(\n    \"Vision x Text: \",\n    torch.softmax(embeddings[ModalityType.VISION] @ embeddings[ModalityType.TEXT].T, dim=-1),\n)\n```\n\n输出结果为各模态间的相似度矩阵，数值越接近 1 表示匹配度越高。","某智能安防团队正在构建一套全天候多模态监控系统，需要同时处理可见光视频、红外热成像、现场声音及文字报警记录。\n\n### 没有 ImageBind 时\n- **模型孤岛严重**：团队需分别训练图像识别、音频分类和文本匹配三个独立模型，导致系统架构臃肿且维护成本极高。\n- **跨模态检索失效**：当保安输入“寻找有异常尖叫的热成像画面”时，系统无法理解文本与红外图像、音频之间的关联，只能人工逐帧排查。\n- **数据标注昂贵**：为了让模型学会关联不同感官数据，需要大量人工标注“图片 - 声音 - 文字”的三元组配对数据，耗时耗力。\n- **冷启动困难**：面对新的威胁类型（如新型设备故障声），若无特定标注数据，现有单模态模型完全无法进行零样本识别。\n\n### 使用 ImageBind 后\n- **统一嵌入空间**：ImageBind 将可见光、红外、音频和文本映射到同一向量空间，仅需一个模型即可统筹处理六类模态数据，大幅简化架构。\n- **自然语言跨模态搜索**：保安直接输入文字描述，ImageBind 即可精准检索出匹配的红外视频片段或特定音频事件，实现“文搜图”、“文搜音”甚至“图搜音”。\n- **零样本泛化能力**：利用 ImageBind 的预训练知识，系统无需额外标注即可识别未见过的异常声音或热源模式，显著降低数据准备门槛。\n- **模态算术组合**：支持通过向量运算组合特征（如“正常画面”减去“背景噪音”），灵活构建复杂的异常检测逻辑，提升预警准确率。\n\nImageBind 通过打破感官数据的壁垒，让机器像人类一样通过统一的直觉关联视觉、听觉与语言，极大提升了多模态系统的智能化水平与开发效率。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_ImageBind_58e613ec.gif","facebookresearch","Meta Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffacebookresearch_449342bd.png","",null,"https:\u002F\u002Fopensource.fb.com","https:\u002F\u002Fgithub.com\u002Ffacebookresearch",[22],{"name":23,"color":24,"percentage":25},"Python","#3572A5",100,9016,845,"2026-04-11T21:45:54","NOASSERTION",3,"Linux, macOS, Windows","可选（代码自动检测，若无 GPU 则使用 CPU），未明确具体型号和显存要求，需支持 PyTorch 2.0+ 的 CUDA 环境","未说明",{"notes":35,"python":36,"dependencies":37},"官方推荐使用 conda 创建 Python 3.10 环境。Windows 用户需额外安装 soundfile 库以处理音频文件。模型权重采用 CC-BY-NC 4.0 许可证（仅限非商业用途）。","3.10",[38,39],"torch>=2.0","soundfile (Windows 用户必需)",[41,42,43],"图像","音频","其他",2,"ready","2026-03-27T02:49:30.150509","2026-04-13T04:13:50.313443",[49,54,59,64,69,74,79],{"id":50,"question_zh":51,"answer_zh":52,"source_url":53},31234,"在 M1\u002FM2 Mac 上安装时遇到依赖问题（如 VTK、GEOS、Torch 版本不匹配）如何解决？","建议尝试使用 Python 3.9 环境，它在 M1\u002FM2 Mac 上能同时兼容旧版 torch 和 vtk。如果遇到 torch==1.13.0 找不到版本的问题，降级到 Python 3.8 通常也能解决。维护者已修复部分依赖问题，若仍报错请更新仓库代码。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind\u002Fissues\u002F116",{"id":55,"question_zh":56,"answer_zh":57,"source_url":58},31235,"如何加载和转换深度数据（Depth Data）？","可以使用绝对深度（单位：米）进行推理。参考社区实现的代码库，例如 [LanguageBind](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FLanguageBind)。也有用户分享了将深度图转换为视差图的代码逻辑，需根据传感器类型（如 realsense, xtion）设置基线（baseline）参数。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind\u002Fissues\u002F69",{"id":60,"question_zh":61,"answer_zh":62,"source_url":63},31236,"调用 load_and_transform_video_data 处理视频时报错 'EncodedVideo' 或 'sample_rate' 相关错误怎么办？","这是一个已知问题。解决方法是打开 `imagebind\u002Fdata.py` 文件，找到第 317 行左右，注释掉包含 `\"sample_rate\": sample_rate` 的那一行代码即可。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind\u002Fissues\u002F102",{"id":65,"question_zh":66,"answer_zh":67,"source_url":68},31237,"ImageBind 模型支持通过文本提示生成图像或音频吗？","ImageBind 本身主要用于多模态嵌入和对齐，不直接支持生成任务。若需通过提示词（如 \"cat meow\"）生成图像或音频，可以结合其他扩散模型项目使用，例如 [Anything2Image](https:\u002F\u002Fgithub.com\u002FZeqiang-Lai\u002FAnything2Image)、[InternGPT](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FInternGPT) 或 [BindDiffusion](https:\u002F\u002Fgithub.com\u002Fsail-sg\u002FBindDiffusion)。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind\u002Fissues\u002F43",{"id":70,"question_zh":71,"answer_zh":72,"source_url":73},31238,"是否有计划将 ImageBind 模型转换为 ONNX 格式以加速 CPU 推理？","目前官方没有将 ImageBind 模型转换为 ONNX 格式的计划，也没有现成的解决方案。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind\u002Fissues\u002F110",{"id":75,"question_zh":76,"answer_zh":77,"source_url":78},31239,"论文中关于 NYU-Depth-v2 数据集的实验划分（测试集大小）存在矛盾，应以哪个为准？","附录 A 中提到的 794 是笔误。正确的评估是基于 Table 1 中说明的 653 个测试集样本进行的。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind\u002Fissues\u002F88",{"id":80,"question_zh":81,"answer_zh":82,"source_url":83},31240,"为什么在模态头（modality heads）中只使用了 SelectElement(index=0)，这会丢弃其他图像块信息吗？","不会丢弃有效信息。这是因为 Transformer 架构中的第一个 token (index=0) 通常是类别令牌（class token），它聚合了整个序列的信息。后续的 16x16 图像块 tokens 是拼接在类别令牌之后的，模型主要利用类别令牌进行分类或嵌入表示。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind\u002Fissues\u002F106",[],[86,97,105,113,122,131],{"id":87,"name":88,"github_repo":89,"description_zh":90,"stars":91,"difficulty_score":30,"last_commit_at":92,"category_tags":93,"status":45},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,"2026-04-06T06:32:30",[94,95,41,96],"Agent","开发框架","数据工具",{"id":98,"name":99,"github_repo":100,"description_zh":101,"stars":102,"difficulty_score":30,"last_commit_at":103,"category_tags":104,"status":45},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[95,41,94],{"id":106,"name":107,"github_repo":108,"description_zh":109,"stars":110,"difficulty_score":44,"last_commit_at":111,"category_tags":112,"status":45},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[95,41,94],{"id":114,"name":115,"github_repo":116,"description_zh":117,"stars":118,"difficulty_score":44,"last_commit_at":119,"category_tags":120,"status":45},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[121,94,41,95],"插件",{"id":123,"name":124,"github_repo":125,"description_zh":126,"stars":127,"difficulty_score":30,"last_commit_at":128,"category_tags":129,"status":45},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[130,41,94,95],"语言模型",{"id":132,"name":133,"github_repo":134,"description_zh":135,"stars":136,"difficulty_score":30,"last_commit_at":137,"category_tags":138,"status":45},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[95,41,94,139],"视频"]