fogsight

GitHub
2.4k 362 简单 1 次阅读 3天前NOASSERTION视频Agent其他
AI 解读 由 AI 自动生成,仅供参考

雾象(Fogsight)是一款由大型语言模型驱动的智能动画引擎,旨在将抽象的概念或词语瞬间转化为生动、叙事完整的高水平动画。它主要解决了传统动画制作门槛高、周期长,以及复杂知识难以直观可视化的痛点。无论是物理学中的“熵增定律”、数学里的“欧拉公式”,还是计算机科学算法,用户只需输入关键词,雾象即可自动编排旁白、视觉元素与动态效果,生成具备电影级质感的双语解说视频。

这款工具特别适合教育工作者、内容创作者、设计师以及希望快速验证创意的开发者使用。普通用户也能通过其在线平台零门槛体验,而技术人员则可在本地部署进行深度定制。雾象的核心亮点在于其独特的“语言用户界面(LUI)”:用户不仅能“言出法随”地生成内容,还能通过多轮对话像指导真人团队一样,对动画细节进行精准调优和迭代。作为 WaytoAGI 开源计划的一员,雾象让“在模糊智能中实现具象表达”成为可能,极大地降低了高质量科普与创意视频的生產成本。

使用场景

一位高校计算机讲师正准备录制“数据结构”系列微课,急需将抽象的算法逻辑转化为直观易懂的视觉素材。

没有 fogsight 时

  • 制作门槛极高:讲师需精通 After Effects 或 Blender 等专业软件,或花费高昂费用聘请动画师,否则只能使用枯燥的静态 PPT。
  • 创作周期漫长:从编写分镜脚本、绘制素材到关键帧动画渲染,制作一个“冒泡排序”演示视频往往需要数天甚至数周。
  • 修改成本巨大:若发现算法步骤讲解有误或节奏不对,需重新调整时间轴和素材,牵一发而动全身,迭代极其困难。
  • 表现力受限:非专业出身的教师难以设计出具有电影质感的动态效果,导致学生难以建立对抽象概念的空间想象。

使用 fogsight 后

  • 自然语言即生产:讲师只需输入“冒泡排序”或“熵增定律”,fogsight 即可自动编排剧情、生成旁白并渲染出高水平动画,无需任何编程或设计背景。
  • 分钟级快速交付:原本数周的工作流被压缩至几分钟,fogsight 利用 LLM 智能编排能力,一键完成从概念到成片的全过程。
  • 言出法随的迭代:通过语言用户界面(LUI),讲师可直接对话要求“放慢交换过程”或“增加双语解说”,fogsight 能精准理解并实时修正动画细节。
  • 视听质感飞跃:生成的视频自带电影级视觉效果与流畅叙事,将晦涩的代码逻辑转化为生动的动态影像,显著提升学生的理解效率。

fogsight 让教育者摆脱了技术工具的束缚,真正实现了“所想即所见”,将抽象知识瞬间转化为触手可及的生动影像。

运行环境要求

操作系统
  • 未说明
GPU

未说明

内存

未说明

依赖
notes需要大语言模型 API 密钥,官方推荐使用 Google Gemini 2.5 Pro(也可通过 OpenRouter 使用兼容 OpenAI SDK 的其他模型如 Claude)。支持本地源码运行或 Docker 部署。首次运行需配置 credentials.json 文件填入 API_KEY、BASE_URL 和 MODEL 信息。
python3.10+
requirements.txt 中定义的依赖包
fogsight hero image

快速开始

Fogsight (雾象) English | 中文

Fogsight Logo

雾象是一款由大型语言模型(LLM)驱动的动画引擎 agent 。用户输入抽象概念或词语,雾象会将其转化为高水平的生动动画。

将雾象部署在本地后,您只需输入词语,点击生成,便可得到动画。

您也可以直接访问网站 fogsight.ai 直接使用,免部署在线生成动画

UI

我们设计了易用的语言用户界面(Language User Interface),用户也可以进一步轻松编辑或改进生成动画,做到言出法随

雾象,意为 “在模糊智能中的具象”雾象是 WaytoAGI 开源计划项目成员。 WaytoAGI, 让更多人因 AI 而强大

动画示例

以下为 Fogsight AI 生成的动画示例,点击以跳转并查看


The Law of Increasing Entropy (Physics)
熵增定律 (物理学)
输入: 熵增定律

Euler's Polyhedron Formula (Mathematics)
欧拉多面体定理 (数学)
输入: 欧拉定理

Bubble Sort (Computer Science)
冒泡排序 (计算机科学)
输入: 冒泡排序

Affordance (Design)
可供性 (设计学)
输入: affordance in design

核心功能

  • 概念即影像: 输入一个主题,Fogsight 将为您生成一部叙事完整的高水平动画,包含双语旁白与电影级的视觉质感。
  • 智能编排: Fogsight 的核心是其强大的LLM驱动的编排能力。从旁白、视觉元素到动态效果,AI 将自动完成整个创作流程,一气呵成。
  • 语言用户界面 (LUI): 通过与 AI 的多轮对话,您可以对动画进行精准调优和迭代,直至达到您心中最理想的艺术效果。

快速上手

环境要求

  • Python 3.10+
  • 一个现代网络浏览器 (如 Chrome, Firefox, Edge)
  • 大语言模型的 API 密钥。我们仅推荐您使用 Google Gemini 2.5。

安装与运行

  1. 克隆代码仓库:

    git clone https://github.com/fogsightai/fogsight.git
    cd fogsight
    
  2. 安装依赖:

    pip install -r requirements.txt
    
  3. 配置API密钥:

    cp demo-credentials.json credentials.json
    # 复制 demo-credentials.json 文件并重命名为 credentials.json
    # 编辑 credentials.json 文件,填入您的 API_KEY 和 BASE_URL。
    # **请注意**,我们使用的是与 OpenAI 兼容的 SDK,但您仍应使用Gemini 2.5 pro
    
  4. 一键启动:

    python start_fogsight.py
    # 运行 start_fogsight.py 脚本
    # 它将自动启动后端服务并在浏览器中自动打开 http://127.0.0.1:8000
    
  5. 开始创作! 在页面中输入一个主题(例如"冒泡排序"),然后等待结果生成。

Docker 方式运行

如果您更喜欢使用 Docker,可以按照以下步骤:

  1. 确保 Docker 已安装: 请确保您的系统已安装 Docker 和 docker-compose。

  2. 克隆代码仓库:

    git clone https://github.com/fogsightai/fogsight.git
    cd fogsight
    
  3. 配置API密钥:

    cp demo-credentials.json credentials.json
    # 编辑 credentials.json 文件,填入您的 API_KEY、BASE_URL 和 MODEL
    
    # 使用 OpenRouter 的配置示例:
    # {
    #   "API_KEY": "sk-or-v1-您的OpenRouter密钥",
    #   "BASE_URL": "https://openrouter.ai/api/v1",
    #   "MODEL": "anthropic/claude-sonnet-4"
    # }
    
    # 使用 Gemini 的配置示例:
    # {
    #   "API_KEY": "您的Gemini密钥",
    #   "BASE_URL": "",
    #   "MODEL": "gemini-2.5-pro"
    # }
    
  4. 使用 Docker Compose 启动:

    # 使用默认端口 8000
    docker-compose up -d
    
    # 或者指定自定义端口(例如 3000)
    HOST_PORT=3000 docker-compose up -d
    

    如果 Docker 镜像无法拉取,可以尝试使用代理,或者使用镜像的国内源。

  5. 访问应用: 打开浏览器访问 http://localhost:8000(或您指定的端口)

  6. 停止服务:

    docker-compose down
    

联系我们/加入群聊

请访问此链接联系我们或加入交流群。

Contributors

高校

  • @taited - 香港中文大学(深圳) 博士生
  • @yjydya - 南洋理工大学 博士生
  • @zhichzhang - 南加州大学 硕士生

WaytoAGI 社区

Index Future Lab

AI 探索家

独立开发者与 AI 艺术家

开源许可

本项目基于 CC BY-NC-ND 4.0 协议发布, 禁止商业用途及修改衍生。若您计划在商业环境中使用,请与我们联系。

常见问题

相似工具推荐

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|今天
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

139k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

107.7k|★★☆☆☆|2天前
开发框架图像Agent

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。

85k|★★☆☆☆|今天
图像数据工具视频

ragflow

RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体(Agent)能力相结合,不仅支持从各类文档中高效提取知识,还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中,幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构(如表格、图表及混合排版),显著提升了信息检索的准确度,从而有效减少模型“胡编乱造”的现象,确保回答既有据可依又具备时效性。其内置的智能体机制更进一步,使系统不仅能回答问题,还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统,还是致力于探索大模型在垂直领域落地的创新者,都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口,既降低了非算法背景用户的上手门槛,也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目,它正成为连接通用大模型与行业专有知识之间的重要桥梁。

77.1k|★★★☆☆|昨天
Agent图像开发框架

PaddleOCR

PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来,转换成计算机可读取的结构化数据,让机器真正“看懂”图文内容。 面对海量纸质或电子文档,PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域,它扮演着连接图像与大型语言模型(LLM)的桥梁角色,能将视觉信息直接转化为文本输入,助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显:不仅支持全球 100 多种语言的识别,还能在 Windows、Linux、macOS 等多个系统上运行,并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目,PaddleOCR 既能满足快速集成的需求,也能支撑前沿的视觉语言研究,是处理文字识别任务的理想选择。

74.9k|★★★☆☆|今天
语言模型图像开发框架