tfjs-models

14.8k 4.4k 非常简单 1 次阅读今天Apache-2.0图像开发框架

AI 解读由 AI 自动生成，仅供参考

tfjs-models 是一个专为 TensorFlow.js 打造的预训练模型库，旨在让开发者轻松在浏览器或 Node.js 环境中直接应用先进的人工智能能力。它解决了传统机器学习部署门槛高、环境配置复杂的问题，无需后端服务器支持，即可实现图像分类、实时人体姿态估计、手部追踪、物体检测及语义分割等功能。

这套工具特别适合前端开发者、全栈工程师以及希望快速原型验证的研究人员使用。即使没有深厚的机器学习背景，也能通过简洁的 API 调用，将复杂的视觉识别功能集成到网页应用中。其核心亮点在于“开箱即用”：所有模型均托管于 NPM 和 unpkg，只需一行命令即可安装；同时，API 设计刻意隐藏了底层的张量运算细节，让非算法专家也能专注于业务逻辑创新。无论是构建互动式教育应用、无障碍辅助工具，还是创意视觉项目，tfjs-models 都能作为可靠的积木，帮助你在客户端高效落地智能场景。

使用场景

一家初创健身科技公司正在开发一款基于浏览器的实时动作纠正 Web 应用，旨在让用户无需安装 App 即可通过摄像头获得专业的姿态指导。

没有 tfjs-models 时

团队必须自行收集海量运动数据集并从头训练人体姿态模型，耗时数月且需要昂贵的 GPU 算力支持。
为了实现浏览器端运行，开发人员需手动将庞大的 Python/TensorFlow 模型转换为 JavaScript 格式，过程繁琐且极易出错。
前端工程师不得不深入理解复杂的张量（Tensor）运算和机器学习底层逻辑，导致非 AI 背景的成员难以参与核心功能开发。
首屏加载时间过长，用户需要等待大量模型文件下载和解码，严重影响了网页的流畅体验和留存率。

使用 tfjs-models 后

直接调用预置的 Pose Detection 模型（如 MoveNet），几分钟内即可集成高精度的人体关键点检测功能，零训练成本。
通过简单的 npm 命令安装包，模型已针对浏览器环境预先优化和转换，开箱即用，彻底消除了格式转换的痛点。
API 设计高度封装，隐藏了底层张量操作，普通前端开发者仅需几行代码即可获取关节坐标，大幅降低了技术门槛。
模型托管在 CDN 上并经过体积优化，显著缩短了加载时间，实现了真正的低延迟实时动作反馈。

tfjs-models 通过将复杂的预训练模型转化为易用的前端模块，让普通 Web 开发者也能轻松构建高性能的浏览器端 AI 应用。

运行环境要求

操作系统

未说明

GPU

未说明

内存

未说明

依赖

notes该工具基于 TensorFlow.js，主要运行在浏览器或 Node.js 环境中，无需安装 Python。通过 npm 或 yarn 安装对应的模型包即可使用。开发测试需安装 yarn 并运行相应脚本。模型旨在隐藏底层张量操作，方便非机器学习专家调用。

python不需要

@tensorflow/tfjs

@tensorflow-models/mobilenet

@tensorflow-models/hand-pose-detection

@tensorflow-models/pose-detection

@tensorflow-models/coco-ssd

@tensorflow-models/deeplab

@tensorflow-models/face-landmarks-detection

@tensorflow-models/speech-commands

@tensorflow-models/universal-sentence-encoder

@tensorflow-models/toxicity

快速开始

预训练的 TensorFlow.js 模型

此仓库托管了一系列已移植到 TensorFlow.js 的预训练模型。

这些模型托管在 NPM 和 unpkg 上，因此可以在任何项目中开箱即用。它们可以直接使用，也可以在 TensorFlow.js 的迁移学习场景中使用。

要了解模型的 API，请查看各个目录中的 README 文件。通常，我们会尽量隐藏张量，以便非机器学习专家也能轻松使用这些 API。

对于有意贡献模型的开发者，请在 tfjs 的 GitHub 问题页面上提交一个问题，以评估社区的兴趣。我们致力于添加能够补充现有模型集、并可在其他应用中作为构建模块使用的模型。

模型

类型	模型	演示	详情	安装
图像	MobileNet	在线演示	使用来自 ImageNet 数据库的标签对图像进行分类。	`npm i @tensorflow-models/mobilenet`
	MobileNet	源码	使用来自 ImageNet 数据库的标签对图像进行分类。	`npm i @tensorflow-models/mobilenet`
	手部姿态检测	在线演示	使用 TensorFlow.js 在浏览器中实现实时手部姿态检测。	`npm i @tensorflow-models/hand-pose-detection`
	手部姿态检测	源码	使用 TensorFlow.js 在浏览器中实现实时手部姿态检测。	`npm i @tensorflow-models/hand-pose-detection`
	人体姿态检测	在线演示	一个用于浏览器中实时人体姿态检测的 API。	`npm i @tensorflow-models/pose-detection`
	人体姿态检测	源码	一个用于浏览器中实时人体姿态检测的 API。	`npm i @tensorflow-models/pose-detection`
	COCO SSD		目标检测模型，旨在在同一张图像中定位和识别多个对象。基于 TensorFlow 目标检测 API。	`npm i @tensorflow-models/coco-ssd`
	COCO SSD	源码	目标检测模型，旨在在同一张图像中定位和识别多个对象。基于 TensorFlow 目标检测 API。	`npm i @tensorflow-models/coco-ssd`
	DeepLab v3		语义分割	`npm i @tensorflow-models/deeplab`
	DeepLab v3	源码	语义分割	`npm i @tensorflow-models/deeplab`
	人脸关键点检测	在线演示	实时 3D 人脸关键点检测，用于推断人脸的大致表面几何形状。	`npm i @tensorflow-models/face-landmarks-detection`
	人脸关键点检测	源码	实时 3D 人脸关键点检测，用于推断人脸的大致表面几何形状。	`npm i @tensorflow-models/face-landmarks-detection`

音频 语音命令
在线演示对来自语音命令数据集的1秒音频片段进行分类。 npm i @tensorflow-models/speech-commands 源代码文本 通用句子编码器
将文本编码为512维的嵌入向量，用作情感分类、文本相似度等自然语言处理任务的输入。 npm i @tensorflow-models/universal-sentence-encoder 源代码 文本毒性
在线演示评估一条评论可能对对话产生的影响，评分范围从“非常有害”到“非常健康”。 npm i @tensorflow-models/toxicity 源代码 深度估计 人像深度
在线演示为单张人像图片估算每个像素的深度（即与相机中心的距离），可用于创意应用，例如3D照片和重新打光。 npm i @tensorflow-models/depth-estimation 源代码 通用工具 KNN 分类器
该包提供了一个使用K近邻算法创建分类器的工具。可用于迁移学习。 npm i @tensorflow-models/knn-classifier 源代码

开发

您可以在任意模型目录下运行以下命令来执行单元测试：

yarn test

新模型应包含一个用于测试的 NPM 脚本（请参考这个 package.json 文件以及辅助脚本）。

要运行所有测试，您可以从本仓库的根目录下执行以下命令：

yarn presubmit

tfjs-models 快速上手指南

tfjs-models 是 TensorFlow.js 官方维护的预训练模型集合，涵盖图像、音频、文本等多种模态。这些模型已针对浏览器和 Node.js 环境优化，无需机器学习背景即可通过简单的 API 调用实现复杂功能（如物体检测、姿态估计、情感分析等）。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

操作系统：Windows, macOS, 或 Linux。
Node.js：建议安装 LTS 版本（v14 或更高）。
包管理器：推荐使用 npm 或 yarn。
- 国内加速建议：若下载依赖较慢，可配置淘宝镜像源：
```
npm config set registry https://registry.npmmirror.com
```
前端基础：了解基本的 HTML/JS 知识。若在浏览器运行，需确保页面可通过本地服务器访问（推荐 http-server 或 Vite），以避免浏览器的 CORS 限制。

安装步骤

该仓库包含多个独立模型包，请根据需求安装特定的模型。以下是通用安装流程：

初始化项目（如果尚未创建）：

mkdir my-tfjs-app
cd my-tfjs-app
npm init -y

安装核心依赖：首先必须安装 TensorFlow.js 核心库。
```
npm install @tensorflow/tfjs
```
安装具体模型：选择你需要的模型进行安装。例如，安装用于图像分类的 MobileNet：
```
npm install @tensorflow-models/mobilenet
```
或者安装用于人体姿态检测的 Pose Detection：
```
npm install @tensorflow-models/pose-detection
```
常用模型包名参考：
- 图像分类：@tensorflow-models/mobilenet
- 物体检测：@tensorflow-models/coco-ssd
- 手部/姿态检测：@tensorflow-models/hand-pose-detection, @tensorflow-models/pose-detection
- 语音命令：@tensorflow-models/speech-commands
- 文本毒性检测：@tensorflow-models/toxicity

基本使用

以下以 MobileNet（图像分类）为例，展示如何在 HTML 页面中加载模型并进行预测。

1. 准备 HTML 结构

创建一个 index.html 文件，引入 TensorFlow.js 和你的模型脚本。

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <title>TFJS Models Demo</title>
    <!-- 引入 TensorFlow.js -->
    <script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs"></script>
    <!-- 引入 MobileNet 模型 -->
    <script src="https://cdn.jsdelivr.net/npm/@tensorflow-models/mobilenet"></script>
</head>
<body>
    <h2>图像分类示例</h2>
    <!-- 替换为你想要测试的图片 URL -->
    <img id="image" src="https://storage.googleapis.com/tfjs-models/assets/kitten.jpg" width="400">
    <div id="status">正在加载模型...</div>
    <ul id="results"></ul>

    <script>
        const img = document.getElementById('image');
        const statusDiv = document.getElementById('status');
        const resultsList = document.getElementById('results');

        async function run() {
            try {
                // 1. 加载预训练模型
                const model = await mobilenet.load();
                statusDiv.innerText = '模型加载完成，正在识别...';

                // 2. 对图片进行分类
                const predictions = await model.classify(img);

                // 3. 显示结果
                statusDiv.innerText = '识别结果：';
                predictions.forEach(p => {
                    const li = document.createElement('li');
                    li.innerText = `${p.className}: ${(p.probability * 100).toFixed(2)}%`;
                    resultsList.appendChild(li);
                });
            } catch (error) {
                console.error(error);
                statusDiv.innerText = '发生错误，请查看控制台。';
            }
        }

        // 确保图片加载完成后运行
        img.onload = () => run();
    </script>
</body>
</html>

2. 运行项目

由于浏览器安全策略，直接双击打开 HTML 文件可能导致资源加载失败。建议使用本地服务器运行：

# 安装 http-server (如果未安装)
npm install -g http-server

# 在当前目录启动服务
http-server

打开浏览器访问 http://localhost:8080，即可看到模型对图片的分类结果。

进阶提示

迁移学习：结合 @tensorflow-models/knn-classifier，你可以利用上述模型的特征提取能力，仅用少量样本训练自定义分类器。
实时检测：对于摄像头视频流，请参考各模型目录下的 demo 源码（如 pose-detection/demos/live_video），通常涉及 requestAnimationFrame 循环处理视频帧。

版本历史

tasks-v0.0.1-alpha.62021/05/13

pose-detection-v0.0.1-rc.02021/04/08

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

★ 349.3k|★★★☆☆|昨天

Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。

★ 162.1k|★★★☆☆|昨天

开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 141.5k|★★☆☆☆|今天

开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。

★ 107.9k|★★☆☆☆|今天

开发框架图像Agent

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器

★ 93.4k|★★☆☆☆|今天

插件开发框架

LLMs-from-scratch

LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备

★ 90.1k|★★★☆☆|今天

语言模型图像Agent