英文 | 简体中文

更新日志 - 报告问题 - 请求功能

主要功能

• 搜索图片/文本和短视频素材。
• 高效分析图片/文本和短视频内容，整合分散信息。
• 提供内容来源并分解图片/文本和短视频信息，通过内容卡片展示信息。
• 根据用户兴趣和需求，从图片/文本和短视频内容中生成定制化搜索结果。
• 本地部署，支持私有数据的离线内容搜索和问答。

目录

• 👋🏻 简介
• 💫 功能概览
  • 1 内容卡片
  • 2 多模态内容 RAG
  • 3 纯本地多模态模型
• 🤖 安装说明
  • mm_server 安装
  • mmrag_server 安装
  • qmedia_web 安装
• ⭐️ 使用
  • 组合使用
  • 独立模型服务
  • 纯本地多模态

👋🏻 简介

QMedia 是一个开源的多媒体 AI 内容搜索引擎，为文本/图片和短视频内容提供了丰富的信息提取方法。它整合非结构化文本/图片和短视频信息，构建多模态 RAG（检索增强生成）内容问答系统。旨在以开源方式分享和交流 AI 内容创作的理念。问题

与您的朋友分享 QMedia。

激发内容创作的新灵感

	加入我们的 Discord 社区！
	加入我们的微信群！

💫 功能概览

• 内容卡片

  • 以卡片形式展示图片/文本和视频内容
  • Web 服务 灵感源自小红书网页版，使用 TypeScript、Next.js、TailwindCSS 和 Shadcn/UI 技术栈实现
  • RAG 搜索/问答服务 和 图片/文本/视频模型服务 使用 Python 框架和 LlamaIndex 应用实现
  • Web 服务、RAG 搜索/问答服务 和 图片/文本/视频模型服务 可单独部署，以便根据用户资源灵活部署，并可嵌入其他系统进行图片/文本和视频内容提取。
  
  

• 多模态内容 RAG

  • 搜索图片/文本和短视频素材。
  • 基于用户查询从图片/文本和短视频内容中提取有用信息，生成高质量答案。
  • 通过内容卡片展示内容来源及图片/文本和短视频信息的分解。
  • 检索和问答依赖于图片/文本和短视频内容的分解，包括图像风格、文本布局、短视频转录、视频摘要等。
  • 支持 Google 内容搜索。
  

• 纯本地多模态模型

  在本地部署各种类型的模型 与 RAG 应用层分离，便于替换不同的模型 本地模型生命周期管理，可配置手动或自动释放以降低服务器负载

  语言模型：

  • 支持本地 Ollama 模型切换。
    • llama3:8b-instruct LLM（大型语言模型）模型的轻量级本地部署。
    • llama3:70b-instruct 开源 LLM 模型中的第八名。

  特征嵌入模型：

  • 图像嵌入：CLIP Encoder 将图像转换为文本特征编码。
  • 文本嵌入：BGE Encoder 多语言嵌入模型，将文本转换为特征编码，本地模型与 GPT Encoder 对齐。

  图像模型：

  • 图像文本 OCR（光学字符识别）识别：Qanything 本地知识库问答系统 OCR

  • 视觉理解模型：

    • llava-llama3: Ollama 本地部署的 GPT-4V 级别视觉理解模型。

  视频模型

  • 视频转录：
    • Faster Whisper: 快速提取视频转录内容，可在本地 CPU 上运行。
  • 基于 LLM 的短视频内容摘要
  • 短视频亮点识别
  • 短视频风格类型识别
  • 短视频内容分析与分解

未来计划

• 图片/文本短视频内容分析及爆款内容分解
• 搜索相似图片/文本/视频
• 卡片图片/文本内容生成
• 短视频内容编辑

---

🤖 安装

文件结构介绍

QMedia 服务： 根据资源可用性，可以本地部署，也可以将模型服务部署在云端

mm_server 安装

• Multimodal Model Service（多模态模型服务）mm_server:

  • 多模态模型部署和 API（应用程序编程接口）调用

  • Ollama LLM（大型语言模型）模型

  • 图像模型

  • 视频模型

  • 特征嵌入模型

    
    

mmrag_server 安装

• 内容搜索与问答服务 mmrag_server:

  • 内容卡片展示与查询

  • 图像/文本/短视频内容提取、嵌入和存储服务

  • 多模态数据 RAG（检索增强生成）检索服务

  • 内容问答服务

    
    

qmedia_web 安装

• Web 服务 qmedia_web: 语言：TypeScript 框架：Next.js 样式：Tailwind CSS 组件：shadcn/ui

---

⭐️ 使用

组合使用

mm_server + qmedia_web + mmrag_server 网页内容展示、内容 RAG 搜索与问答、模型服务

1. 服务启动流程：

# Start mm_server service
cd mm_server
source activate qllm
python main.py

# Start mmrag_server service
cd mmrag_server
source activate qmedia
python main.py

# Start qmedia_web service
cd qmedia_web
pnpm dev

2. 通过网页使用功能 在启动阶段，mmrag_server 将从 assets/medias 和 assets/mm_pseudo_data.json 读取伪数据，并调用 mm_server 从文本/图像和短视频中提取并结构化信息为 node（节点）信息，然后存储在 db（数据库）中。检索和问答将基于 db（数据库）中的数据。

自定义数据

# assets file structure
assets
├── mm_pseudo_data.json # Content card data
└── medias # Image/Video files

替换 assets 中的内容并删除历史存储的 db 文件。 assets/medias 包含图像/视频文件，可替换为您自己的图像/视频文件。 assets/mm_pseudo_data.json 包含内容卡片数据，可替换为您自己的内容卡片数据。运行服务后，模型将自动提取信息并存储在 db（数据库）中。

---

独立模型服务

可以独立使用 mm_server 本地图像/文本/视频信息提取服务。 它可以作为独立的图像编码、文本编码、视频转录提取和图像 OCR（光学字符识别）服务，在任何场景下均可通过 API 访问。

# Start mm_server service independently
cd mm_server
python main.py

# uvicorn main:app --reload --host localhost --port 50110

API 内容：

• http://localhost:50110/docs

纯 Python RAG 服务/模型服务

可以通过 API 在纯 Python 环境中结合使用 mm_server + qmedia_web 进行内容提取和 RAG 检索。

# Start mmrag_server service independently
cd mmrag_server
python main.py

# uvicorn main:app --reload --host localhost --port 50110

API 内容：

• http://localhost:50110/docs
• http://localhost:8001/docs

---

Star 历史记录

许可证

QMedia 采用 MIT License 授权

致谢

感谢 QAnything 提供强大的 OCR 模型。

感谢 llava-llama3 提供强大的 LLM 视觉模型。

感谢 Ghibli Image Generator 提供 API 支持。

git clone <repository-url>
cd Qmedia

cd mm_server
source activate qllm
python main.py

cd mmrag_server
source activate qmedia
python main.py

cd qmedia_web
pnpm dev

assets
├── mm_pseudo_data.json # 替换为自定义内容卡片数据
└── medias              # 替换为您的图片/视频文件