[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-byjlw--video-analyzer":3,"tool-byjlw--video-analyzer":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70612,"2026-04-05T11:12:22",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":81,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":101,"forks":102,"last_commit_at":103,"license":104,"difficulty_score":45,"env_os":105,"env_gpu":106,"env_ram":107,"env_deps":108,"category_tags":116,"github_topics":117,"view_count":10,"oss_zip_url":81,"oss_zip_packed_at":81,"status":16,"created_at":122,"updated_at":123,"faqs":124,"releases":155},2458,"byjlw\u002Fvideo-analyzer","video-analyzer","Analyze videos using LLMs, Computer Vision and Automatic Speech Recognition","video-analyzer 是一款智能视频内容分析工具，旨在通过结合大型语言模型（LLM）、计算机视觉和自动语音识别技术，将复杂的视频文件转化为详尽的自然语言描述。它主要解决了传统视频检索困难、内容难以快速浏览以及缺乏无障碍文本替代方案的问题，让用户无需逐帧观看即可精准掌握视频核心信息。\n\n该工具的工作流程十分严谨：首先利用 OpenCV 智能提取关键帧，并使用 Whisper 模型进行高精度音频转录；随后，借助 Llama3.2 Vision 等视觉模型对画面进行深度解析，同时结合上下文保持时间线的连贯性；最后，系统将视觉分析与音频文本融合，生成结构化的 JSON 格式报告或流畅的文字综述。\n\nvideo-analyzer 的一大亮点在于其灵活的部署方式与隐私保护能力。用户既可以选择完全在本地运行，无需联网或 API 密钥，确保数据私密性；也可以接入 OpenAI 或 OpenRouter 等云服务以提升处理速度。此外，它还具备自动处理低质量音频的能力，增强了在真实场景下的鲁棒性。\n\n这款工具特别适合开发者、研究人员以及对多媒体内容管理有高效需求的专业人士。对于需要构建视频索引、进","video-analyzer 是一款智能视频内容分析工具，旨在通过结合大型语言模型（LLM）、计算机视觉和自动语音识别技术，将复杂的视频文件转化为详尽的自然语言描述。它主要解决了传统视频检索困难、内容难以快速浏览以及缺乏无障碍文本替代方案的问题，让用户无需逐帧观看即可精准掌握视频核心信息。\n\n该工具的工作流程十分严谨：首先利用 OpenCV 智能提取关键帧，并使用 Whisper 模型进行高精度音频转录；随后，借助 Llama3.2 Vision 等视觉模型对画面进行深度解析，同时结合上下文保持时间线的连贯性；最后，系统将视觉分析与音频文本融合，生成结构化的 JSON 格式报告或流畅的文字综述。\n\nvideo-analyzer 的一大亮点在于其灵活的部署方式与隐私保护能力。用户既可以选择完全在本地运行，无需联网或 API 密钥，确保数据私密性；也可以接入 OpenAI 或 OpenRouter 等云服务以提升处理速度。此外，它还具备自动处理低质量音频的能力，增强了在真实场景下的鲁棒性。\n\n这款工具特别适合开发者、研究人员以及对多媒体内容管理有高效需求的专业人士。对于需要构建视频索引、进行内容审核或开发辅助功能的团队而言，video-analyzer 提供了一个高度可配置且功能强大的开源解决方案。无论是用于学术研究中的视频数据挖掘，还是企业级的媒体资产自动化标注，它都能显著降低人工成本，提升工作效率。","# Video Analysis using vision models like Llama3.2 Vision and OpenAI's Whisper Models\n\nA video analysis tool that combines vision models like Llama's 11B vision model and Whisper to create a description by taking key frames, feeding them to the vision model to get details. It uses the details from each frame and the transcript, if available, to describe what's happening in the video. \n\n## Table of Contents\n- [Features](#features)\n- [Requirements](#requirements)\n  - [System Requirements](#system-requirements)\n  - [Installation](#installation)\n  - [Ollama Setup](#ollama-setup)\n  - [OpenAI-compatible API Setup](#openai-compatible-api-setup-optional)\n- [Usage](#usage)\n  - [Quick Start](#quick-start)\n  - [Sample Output](#sample-output)\n  - [Complete Usage Guide](docs\u002FUSAGES.md)\n- [Design](#design)\n  - [Detailed Design Documentation](docs\u002FDESIGN.md)\n- [Project Structure](#project-structure)\n- [Configuration](#configuration)\n- [Output](#output)\n- [Prompt Tuning](#prompt-tuning)\n- [Uninstallation](#uninstallation)\n- [License](#license)\n- [Contributing](#contributing)\n\n## Features\n- 💻 Can run completely locally - no cloud services or API keys needed\n- ☁️  Or, leverage any OpenAI API compatible LLM service (openrouter, openai, etc) for speed and scale\n- 🎬 Intelligent key frame extraction from videos\n- 🔊 High-quality audio transcription using OpenAI's Whisper\n- 👁️ Frame analysis using Ollama and Llama3.2 11B Vision Model\n- 📝 Natural language descriptions of video content\n- 🔄 Automatic handling of poor quality audio\n- 📊 Detailed JSON output of analysis results\n- ⚙️ Highly configurable through command line arguments or config file\n\n## Design\nThe system operates in three stages:\n\n1. Frame Extraction & Audio Processing\n   - Uses OpenCV to extract key frames\n   - Processes audio using Whisper for transcription\n   - Handles poor quality audio with confidence checks\n\n2. Frame Analysis\n   - Analyzes each frame using vision LLM\n   - Each analysis includes context from previous frames\n   - Maintains chronological progression\n   - Uses frame_analysis.txt prompt template\n\n3. Video Reconstruction\n   - Combines frame analyses chronologically\n   - Integrates audio transcript\n   - Uses first frame to set the scene\n   - Creates comprehensive video description\n\n![Design](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbyjlw_video-analyzer_readme_27dc04c84a69.png)\n\n## Requirements\n\n### System Requirements\n- Python 3.11 or higher\n- FFmpeg (required for audio processing)\n- When running LLMs locally (not necessary when using openrouter)\n  - At least 16GB RAM (32GB recommended)\n  - GPU at least 12GB of VRAM or Apple M Series with at least 32GB\n\n### Installation\n\n1. Clone the repository:\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer.git\ncd video-analyzer\n```\n\n2. Create and activate a virtual environment:\n```bash\npython3 -m venv .venv\nsource .venv\u002Fbin\u002Factivate  # On Windows: .venv\\Scripts\\activate\n```\n\n3. Install the package:\n```bash\npip install .  # For regular installation\n# OR\npip install -e .  # For development installation\n```\n\n4. Install FFmpeg:\n- Ubuntu\u002FDebian:\n  ```bash\n  sudo apt-get update && sudo apt-get install -y ffmpeg\n  ```\n- macOS:\n  ```bash\n  brew install ffmpeg\n  ```\n- Windows:\n  ```bash\n  choco install ffmpeg\n  ```\n\n### Ollama Setup\n\n1. Install Ollama following the instructions at [ollama.ai](https:\u002F\u002Follama.ai)\n\n2. Pull the default vision model:\n```bash\nollama pull llama3.2-vision\n```\n\n3. Start the Ollama service:\n```bash\nollama serve\n```\n\n### OpenAI-compatible API Setup (Optional)\n\nIf you want to use OpenAI-compatible APIs (like OpenRouter or OpenAI) instead of Ollama:\n\n1. Get an API key from your provider:\n   - [OpenRouter](https:\u002F\u002Fopenrouter.ai)\n   - [OpenAI](https:\u002F\u002Fplatform.openai.com)\n\n2. Configure via command line:\n   ```bash\n   # For OpenRouter\n   video-analyzer video.mp4 --client openai_api --api-key your-key --api-url https:\u002F\u002Fopenrouter.ai\u002Fapi\u002Fv1 --model gpt-4o\n\n   # For OpenAI\n   video-analyzer video.mp4 --client openai_api --api-key your-key --api-url https:\u002F\u002Fapi.openai.com\u002Fv1 --model gpt-4o\n   ```\n\n   Or add to config\u002Fconfig.json:\n   ```json\n   {\n     \"clients\": {\n       \"default\": \"openai_api\",\n       \"openai_api\": {\n         \"api_key\": \"your-api-key\",\n         \"api_url\": \"https:\u002F\u002Fopenrouter.ai\u002Fapi\u002Fv1\"  # or https:\u002F\u002Fapi.openai.com\u002Fv1\n       }\n     }\n   }\n   ```\n\nNote: With OpenRouter, you can use llama 3.2 11b vision for free by adding :free to the model name\n\n## Design\nFor detailed information about the project's design and implementation, including how to make changes, see [docs\u002FDESIGN.md](docs\u002FDESIGN.md).\n\n## Usage\n\nFor detailed usage instructions and all available options, see [docs\u002FUSAGES.md](docs\u002FUSAGES.md).\n\n### Quick Start\n\n```bash\n# Local analysis with Ollama (default)\nvideo-analyzer video.mp4\n\n# Cloud analysis with OpenRouter\nvideo-analyzer video.mp4 \\\n    --client openai_api \\\n    --api-key your-key \\\n    --api-url https:\u002F\u002Fopenrouter.ai\u002Fapi\u002Fv1 \\\n    --model meta-llama\u002Fllama-3.2-11b-vision-instruct:free\n\n# Analysis with custom prompt\nvideo-analyzer video.mp4 \\\n    --prompt \"What activities are happening in this video?\" \\\n    --whisper-model large\n```\n\n## Output\n\nThe tool generates a JSON file (`output\\analysis.json`) containing:\n- Metadata about the analysis\n- Audio transcript (if available)\n- Frame-by-frame analysis\n- Final video description\n\n### Sample Output\n```\nThe video begins with a person with long blonde hair, wearing a pink t-shirt and yellow shorts, standing in front of a black plastic tub or container on wheels. The ground appears to be covered in wood chips.\\n\\nAs the video progresses, the person remains facing away from the camera, looking down at something inside the tub. ........\n```\nfull sample output in `docs\u002Fsample_analysis.json`\n## Configuration\n\nThe tool uses a cascading configuration system with command line arguments taking highest priority, followed by user config (config\u002Fconfig.json), and finally the default config. See [docs\u002FUSAGES.md](docs\u002FUSAGES.md) for detailed configuration options.\n\n\n## Prompt Tuning\n\nThe prompts that drive frame analysis and video reconstruction can be automatically optimized for your specific content and use case using [video-analyzer-tune](video-analyzer-tune\u002FREADME.md).\n\n```bash\npip install video-analyzer-tune\n```\n\nRun `video-analyzer` on a few representative videos, edit the outputs to show what ideal results look like, then let DSPy MIPROv2 find better prompt instructions automatically. The tuned prompts are written as new files you point to via your config — the main package is unaffected.\n\nSee [video-analyzer-tune\u002FREADME.md](video-analyzer-tune\u002FREADME.md) for full instructions.\n\n## Uninstallation\n\nTo uninstall the package:\n```bash\npip uninstall video-analyzer\n```\n\n## License\n\nApache License\n\n## Contributing\n\nWe welcome contributions! Please see [docs\u002FCONTRIBUTING.md](docs\u002FCONTRIBUTING.md) for detailed guidelines on how to:\n- Review the project design\n- Propose changes through GitHub Discussions\n- Submit pull requests\n","# 使用 Llama3.2 Vision 和 OpenAI 的 Whisper 模型等视觉模型进行视频分析\n\n一款结合了 Llama 11B 视觉模型和 Whisper 的视频分析工具，通过提取关键帧并将其输入视觉模型以获取详细信息来生成描述。它会利用每一帧的细节以及可选的转录文本，来描述视频中正在发生的内容。\n\n## 目录\n- [功能](#features)\n- [要求](#requirements)\n  - [系统要求](#system-requirements)\n  - [安装](#installation)\n  - [Ollama 设置](#ollama-setup)\n  - [OpenAI 兼容 API 设置（可选）](#openai-compatible-api-setup-optional)\n- [使用方法](#usage)\n  - [快速入门](#quick-start)\n  - [示例输出](#sample-output)\n  - [完整使用指南](docs\u002FUSAGES.md)\n- [设计](#design)\n  - [详细设计文档](docs\u002FDESIGN.md)\n- [项目结构](#project-structure)\n- [配置](#configuration)\n- [输出](#output)\n- [提示词调优](#prompt-tuning)\n- [卸载](#uninstallation)\n- [许可证](#license)\n- [贡献](#contributing)\n\n## 功能\n- 💻 完全可在本地运行——无需云服务或 API 密钥\n- ☁️ 或者，可以利用任何兼容 OpenAI API 的 LLM 服务（如 OpenRouter、OpenAI 等）来提升速度和扩展性\n- 🎬 从视频中智能提取关键帧\n- 🔊 使用 OpenAI 的 Whisper 进行高质量音频转录\n- 👁️ 使用 Ollama 和 Llama3.2 11B 视觉模型进行帧分析\n- 📝 对视频内容生成自然语言描述\n- 🔄 自动处理低质量音频\n- 📊 提供详细的分析结果 JSON 输出\n- ⚙️ 可通过命令行参数或配置文件高度自定义\n\n## 设计\n系统分为三个阶段：\n\n1. 帧提取与音频处理\n   - 使用 OpenCV 提取关键帧\n   - 使用 Whisper 处理音频以进行转录\n   - 通过置信度检查处理低质量音频\n\n2. 帧分析\n   - 使用视觉 LLM 分析每一帧\n   - 每次分析都会参考前几帧的上下文\n   - 保持时间顺序的连贯性\n   - 使用 frame_analysis.txt 提示词模板\n\n3. 视频重构\n   - 按时间顺序整合各帧的分析结果\n   - 集成音频转录\n   - 以第一帧作为场景设定\n   - 生成全面的视频描述\n\n![设计](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbyjlw_video-analyzer_readme_27dc04c84a69.png)\n\n## 要求\n\n### 系统要求\n- Python 3.11 或更高版本\n- FFmpeg（音频处理所需）\n- 在本地运行 LLM 时（使用 OpenRouter 时无需此要求）\n  - 至少 16GB 内存（推荐 32GB）\n  - GPU 至少 12GB 显存，或配备至少 32GB 显存的 Apple M 系列芯片\n\n### 安装\n\n1. 克隆仓库：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer.git\ncd video-analyzer\n```\n\n2. 创建并激活虚拟环境：\n```bash\npython3 -m venv .venv\nsource .venv\u002Fbin\u002Factivate  # Windows 上：.venv\\Scripts\\activate\n```\n\n3. 安装软件包：\n```bash\npip install .  # 普通安装\n# 或\npip install -e .  # 开发模式安装\n```\n\n4. 安装 FFmpeg：\n- Ubuntu\u002FDebian：\n  ```bash\n  sudo apt-get update && sudo apt-get install -y ffmpeg\n  ```\n- macOS：\n  ```bash\n  brew install ffmpeg\n  ```\n- Windows：\n  ```bash\n  choco install ffmpeg\n  ```\n\n### Ollama 设置\n\n1. 按照 [ollama.ai](https:\u002F\u002Follama.ai) 上的说明安装 Ollama。\n\n2. 拉取默认的视觉模型：\n```bash\nollama pull llama3.2-vision\n```\n\n3. 启动 Ollama 服务：\n```bash\nollama serve\n```\n\n### OpenAI 兼容 API 设置（可选）\n\n如果您希望使用 OpenAI 兼容的 API（如 OpenRouter 或 OpenAI），而不是 Ollama：\n\n1. 从您的提供商处获取 API 密钥：\n   - [OpenRouter](https:\u002F\u002Fopenrouter.ai)\n   - [OpenAI](https:\u002F\u002Fplatform.openai.com)\n\n2. 通过命令行配置：\n   ```bash\n   # 对于 OpenRouter\n   video-analyzer video.mp4 --client openai_api --api-key your-key --api-url https:\u002F\u002Fopenrouter.ai\u002Fapi\u002Fv1 --model gpt-4o\n\n   # 对于 OpenAI\n   video-analyzer video.mp4 --client openai_api --api-key your-key --api-url https:\u002F\u002Fapi.openai.com\u002Fv1 --model gpt-4o\n   ```\n\n   或者添加到 config\u002Fconfig.json 中：\n   ```json\n   {\n     \"clients\": {\n       \"default\": \"openai_api\",\n       \"openai_api\": {\n         \"api_key\": \"your-api-key\",\n         \"api_url\": \"https:\u002F\u002Fopenrouter.ai\u002Fapi\u002Fv1\"  # 或 https:\u002F\u002Fapi.openai.com\u002Fv1\n       }\n     }\n   }\n   ```\n\n注意：使用 OpenRouter 时，可以通过在模型名称后添加 :free 来免费使用 llama 3.2 11b 视觉模型。\n\n## 设计\n有关项目的详细设计和实现信息，包括如何进行更改，请参阅 [docs\u002FDESIGN.md](docs\u002FDESIGN.md)。\n\n## 使用方法\n\n有关详细的使用说明及所有可用选项，请参阅 [docs\u002FUSAGES.md](docs\u002FUSAGES.md)。\n\n### 快速入门\n\n```bash\n# 使用 Ollama 进行本地分析（默认）\nvideo-analyzer video.mp4\n\n# 使用 OpenRouter 进行云端分析\nvideo-analyzer video.mp4 \\\n    --client openai_api \\\n    --api-key your-key \\\n    --api-url https:\u002F\u002Fopenrouter.ai\u002Fapi\u002Fv1 \\\n    --model meta-llama\u002Fllama-3.2-11b-vision-instruct:free\n\n# 使用自定义提示词进行分析\nvideo-analyzer video.mp4 \\\n    --prompt \"这段视频中正在发生哪些活动？\" \\\n    --whisper-model large\n```\n\n## 输出\n\n该工具会生成一个 JSON 文件（`output\\analysis.json`），其中包含：\n- 分析的元数据\n- 音频转录（如果有的话）\n- 每帧的分析结果\n- 最终的视频描述\n\n### 示例输出\n```\n视频开始时，一位长着金色长发、身穿粉色T恤和黄色短裤的人站在一个带轮子的黑色塑料桶或容器前。地面似乎铺满了木屑。\\n\\n随着视频的推进，这个人一直背对着镜头，低头看着桶里的东西。........\n```\n完整的示例输出见 `docs\u002Fsample_analysis.json`。\n\n## 配置\n\n该工具采用级联配置系统，命令行参数优先级最高，其次是用户配置（config\u002Fconfig.json），最后是默认配置。有关详细的配置选项，请参阅 [docs\u002FUSAGES.md](docs\u002FUSAGES.md)。\n\n## 提示词调优\n\n驱动帧分析和视频重构的提示词可以根据您的具体内容和使用场景，使用 [video-analyzer-tune](video-analyzer-tune\u002FREADME.md) 自动优化。\n\n```bash\npip install video-analyzer-tune\n```\n\n对几段具有代表性的视频运行 `video-analyzer`，编辑输出以展示理想的结果，然后让 DSPy MIPROv2 自动找到更好的提示词指令。调优后的提示词会被写入新的文件，并通过您的配置指向这些文件——主程序本身不受影响。\n\n有关完整说明，请参阅 [video-analyzer-tune\u002FREADME.md](video-analyzer-tune\u002FREADME.md)。\n\n## 卸载\n\n要卸载该软件包：\n```bash\npip uninstall video-analyzer\n```\n\n## 许可证\n\nApache 许可证\n\n## 贡献\n\n我们欢迎各种形式的贡献！请参阅 [docs\u002FCONTRIBUTING.md](docs\u002FCONTRIBUTING.md)，了解以下方面的详细指南：\n- 审查项目设计\n- 通过 GitHub Discussions 提出改进建议\n- 提交拉取请求","# video-analyzer 快速上手指南\n\n`video-analyzer` 是一款结合视觉大模型（如 Llama3.2 Vision）和语音识别模型（Whisper）的视频分析工具。它能提取关键帧、转录音频，并生成详细的自然语言视频描述。支持完全本地运行或调用兼容 OpenAI 的 API。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n### 系统要求\n*   **Python**: 3.11 或更高版本\n*   **FFmpeg**: 用于音频处理（必须安装）\n*   **硬件配置**（若选择本地运行 LLM）：\n    *   内存：至少 16GB（推荐 32GB）\n    *   显存：GPU 至少 12GB VRAM，或 Apple M 系列芯片且内存至少 32GB\n\n### 前置依赖安装\n请根据您的操作系统安装 FFmpeg：\n\n*   **Ubuntu\u002FDebian**:\n    ```bash\n    sudo apt-get update && sudo apt-get install -y ffmpeg\n    ```\n*   **macOS**:\n    ```bash\n    brew install ffmpeg\n    ```\n*   **Windows**:\n    ```bash\n    choco install ffmpeg\n    ```\n\n## 安装步骤\n\n1.  **克隆仓库并进入目录**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer.git\n    cd video-analyzer\n    ```\n\n2.  **创建并激活虚拟环境**\n    ```bash\n    python3 -m venv .venv\n    source .venv\u002Fbin\u002Factivate  # Windows 用户请使用: .venv\\Scripts\\activate\n    ```\n\n3.  **安装工具包**\n    ```bash\n    pip install .\n    ```\n    > 提示：国内用户若遇到下载慢的问题，可添加 `-i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple` 使用清华源加速。\n\n4.  **配置 Ollama（本地运行模式必需）**\n    *   前往 [ollama.ai](https:\u002F\u002Follama.ai) 下载并安装 Ollama。\n    *   拉取默认的视觉模型：\n        ```bash\n        ollama pull llama3.2-vision\n        ```\n    *   启动 Ollama 服务：\n        ```bash\n        ollama serve\n        ```\n\n## 基本使用\n\n安装完成后，您可以直接对视频文件进行分析。\n\n### 1. 本地快速分析（默认模式）\n使用本地 Ollama 服务进行分析，无需 API Key：\n\n```bash\nvideo-analyzer video.mp4\n```\n\n### 2. 使用云端 API 分析（可选）\n如果您希望获得更快的速度或没有本地高性能 GPU，可以使用兼容 OpenAI 的 API（如 OpenRouter 或 OpenAI）。\n\n**示例：使用 OpenRouter 免费模型**\n```bash\nvideo-analyzer video.mp4 \\\n    --client openai_api \\\n    --api-key your-key \\\n    --api-url https:\u002F\u002Fopenrouter.ai\u002Fapi\u002Fv1 \\\n    --model meta-llama\u002Fllama-3.2-11b-vision-instruct:free\n```\n\n### 3. 自定义提示词与模型\n您可以指定特定的 Whisper 模型或自定义分析 prompt：\n\n```bash\nvideo-analyzer video.mp4 \\\n    --prompt \"What activities are happening in this video?\" \\\n    --whisper-model large\n```\n\n### 输出结果\n分析完成后，工具会在 `output\u002F` 目录下生成 `analysis.json` 文件，包含：\n*   分析元数据\n*   音频转录文本\n*   逐帧分析详情\n*   最终的视频综合描述","某电商公司的内容审核团队每天需处理数百条用户上传的商品展示视频，以确保内容合规并提取关键卖点用于搜索索引。\n\n### 没有 video-analyzer 时\n- **人工审核效率低下**：审核员必须逐秒观看视频，面对海量素材极易产生视觉疲劳，导致漏审或误判，单人日均处理量有限。\n- **关键信息提取困难**：难以从非结构化的视频流中精准捕捉商品细节（如颜色、材质、瑕疵），依赖人工打标不仅速度慢，且标准难以统一。\n- **音频内容被忽视**：传统计算机视觉方案仅关注画面，无法识别视频中的口播介绍或背景音，导致大量包含重要促销信息的音频数据被浪费。\n- **隐私与成本顾虑**：若使用云端商业API进行批量分析，不仅产生高昂的调用费用，还面临用户数据上传至第三方服务器的合规风险。\n\n### 使用 video-analyzer 后\n- **自动化全流程分析**：video-analyzer 自动提取关键帧并结合 Whisper 转录音频，生成包含画面细节和语音内容的完整自然语言描述，将审核时间从分钟级缩短至秒级。\n- **多模态精准理解**：借助 Llama3.2 Vision 模型，它能准确识别画面中的商品特征，同时结合上下文逻辑，有效区分“展示瑕疵”与“真实损坏”，提升打标准确率。\n- **音画同步深度洞察**：工具能智能处理低质量音频，将口播内容与画面动作对应，例如识别出“主播正在演示防水功能”这一复合场景，丰富搜索标签维度。\n- **本地化部署保障安全**：支持通过 Ollama 在本地完全离线运行，无需上传数据至云端，既消除了隐私泄露风险，又避免了持续的 API 订阅费用。\n\nvideo-analyzer 通过本地化的多模态大模型能力，将非结构化视频转化为可检索、可审核的结构化数据，显著提升了内容处理效率与数据安全性。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbyjlw_video-analyzer_a8a082f8.png","byjlw","Jesse White","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fbyjlw_c1df6b82.jpg","A little of this\r\nA little of that","@pytorch-labs @pytorch",null,"www.byjlw.com","https:\u002F\u002Fgithub.com\u002Fbyjlw",[85,89,93,97],{"name":86,"color":87,"percentage":88},"Python","#3572A5",87.1,{"name":90,"color":91,"percentage":92},"JavaScript","#f1e05a",5.5,{"name":94,"color":95,"percentage":96},"HTML","#e34c26",4.2,{"name":98,"color":99,"percentage":100},"CSS","#663399",3.2,1341,187,"2026-04-02T18:26:26","Apache-2.0","Linux, macOS, Windows","本地运行 LLM 时必需。NVIDIA GPU 需至少 12GB 显存，或 Apple M 系列芯片（需配合至少 32GB 统一内存）。若使用云端 API 则无需本地 GPU。未说明具体 CUDA 版本。","最低 16GB，推荐 32GB",{"notes":109,"python":110,"dependencies":111},"1. 必须安装 FFmpeg 用于音频处理。2. 本地运行需安装 Ollama 并拉取 llama3.2-vision 模型。3. 支持通过 OpenAI 兼容 API（如 OpenRouter、OpenAI）云端运行，此时对本地硬件无特殊高要求。4. 可通过 config\u002Fconfig.json 或命令行参数配置 API 密钥和模型。","3.11+",[112,113,114,115],"opencv-python","openai-whisper","ollama","ffmpeg",[38,15,35],[118,119,120,121],"asr","llms","video","video-processing","2026-03-27T02:49:30.150509","2026-04-06T05:37:34.986761",[125,130,135,140,145,150],{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},11317,"出现 Hugging Face 连接错误（LocalEntryNotFoundError 或网络被禁用）如何处理？","如果无法在线下载模型，可以手动下载模型文件，并在配置文件中指定模型的本地路径。\n此外，有用户反馈该问题可能与 Python 版本有关，尝试使用 Python 3.11 而非 3.10 也可能解决此问题。","https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer\u002Fissues\u002F17",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},11315,"运行时报错“Prompt file not found”（提示文件未找到）怎么办？","这通常是因为使用 `pip install .` 安装时，prompt 文件夹未被正确包含。解决方案是使用开发模式安装：\n1. 先卸载：`pip uninstall video-analyzer`\n2. 从源码目录重新安装：`pip install -e .`\n\n如果必须使用非开发模式安装，需要在配置文件 `config\u002Fdefault_config.json` 中手动设置 prompt 文件的路径。","https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer\u002Fissues\u002F22",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},11316,"遇到 OpenMP 错误（libiomp5.dylib 已初始化）或程序在音频提取后卡住如何解决？","这通常是由于环境中存在多个 OpenMP 运行时副本（常见于 Conda 环境）导致的冲突。\n建议的解决方案是创建一个干净的虚拟环境（clean venv）并重新安装依赖，避免使用可能冲突的 Conda 环境。虽然设置环境变量 `KMP_DUPLICATE_LIB_OK=TRUE` 可以绕过检查，但这可能导致崩溃或结果错误，不推荐作为长期方案。","https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer\u002Fissues\u002F43",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},11318,"报错“pkg_resources is deprecated”或兼容性问题，支持哪些 Python 版本？","目前项目尚未完全适配 Python 3.13。建议使用 Python 3.11 或 3.12 版本，这两个版本经过测试可以正常工作。如果遇到 pkg_resources 弃用警告，请检查是否使用了不支持的 Python 版本。","https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer\u002Fissues\u002F36",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},11319,"Windows 上报错“Could not locate cudnn_ops64_9.dll”或缺少 CUDA 符号怎么办？","该项目默认不安装 GPU 版本的 PyTorch。请确保你已正确安装了与你的显卡驱动兼容的 GPU 版本 PyTorch 以及相应的 CUDA\u002FcuDNN 库。需要手动配置 GPU 环境才能使用加速功能。","https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer\u002Fissues\u002F54",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},11320,"分析完成后，在哪里查看视频帧的时间戳和详细分析数据？","生成的分析结果（包括视频信息、持续时间、当前帧时间等）保存在输出文件夹中的 `analysis.json` 文件里。","https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer\u002Fissues\u002F42",[156,161,166],{"id":157,"version":158,"summary_zh":159,"released_at":160},61803,"tune-v0.1.0","## 初次发布\n\n基于 DSPy 的视频分析器提示优化器。它会根据您提供的示例，自动重写帧分析和视频重建的提示，以符合您的偏好。\n\n## 功能特性\n\n- 使用 DSPy MIPROv2 对 `frame_analysis.txt` 和 `describe.txt` 提示进行端到端优化\n- 支持 LLM 作为评判者进行打分，并可配置描述与帧注释的权重\n- 兼容 Ollama 以及任何 OpenAI 兼容的 API（使用与 video-analyzer 相同的参数）\n- 可接受训练数据作为目录、`analysis.json` 文件路径，或 `training_data.json` 包装文件\n- 将调优后的提示写入为可直接替换的文件——主包不受影响\n\n## 安装\n\n```\npip install video-analyzer-tune==0.1.0\n```\n\n需安装 `video-analyzer >= 0.1.2`。\n\n完整使用说明请参阅 [video-analyzer-tune\u002FREADME.md](https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer\u002Fblob\u002Fmain\u002Fvideo-analyzer-tune\u002FREADME.md)。","2026-03-20T06:16:43",{"id":162,"version":163,"summary_zh":164,"released_at":165},61804,"v0.1.2","## 变更内容\n\n- **修复：** 磁盘上的帧和 `analysis.json` 文件中的帧现在始终按时间顺序排列。之前的一个 PR 中的清理步骤不小心遗漏了最后的排序步骤——关键帧虽然会根据视觉重要性得分进行选择，但在写入文件前从未按时间戳重新排序。([#59](https:\u002F\u002Fgithub.com\u002Fbyjlw\u002Fvideo-analyzer\u002Fpull\u002F59))\n\n## 安装\n\n```\npip install video-analyzer==0.1.2\n```","2026-03-20T06:16:42",{"id":167,"version":168,"summary_zh":169,"released_at":170},61805,"release","错误修复、代码重构、更完善的文档以及更多配置选项","2025-03-16T00:23:52"]