OpenTrit-CHN v2.0.0

OpenTrit-CHN 是基于 OpenTrit 升级的双分支三值神经网络量化框架，同时适配国内信创生态和国际主流环境，新增异步部署、风险分析、深度巡检核心能力。

核心特性

• 双分支设计：
  • XC分支：适配鲲鹏/昇腾/统信/麒麟等国产软硬件，中文注释，符合GB/T 35274-2023标准；
  • Global分支：适配x86/NVIDIA/通用Linux，英文注释，符合IEEE 1855-2019标准。
• 异步部署：非阻塞推理，支持超时控制、任务状态追踪，大幅提升部署吞吐量；
• 风险分析：设备风险、部署风险、性能风险全维度识别，提供分级预警和兜底方案；
• 深度巡检：实时监控设备状态、任务性能、精度指标，生成可视化巡检报告；
• 统一核心算法：共享三值量化、熵值模式切换、分层误差补偿等核心逻辑；
• 易用性：极简API，一行代码完成模型量化与跨框架转换；
• 高性能：16×内存压缩比，3.2×推理加速，82.5%硬件利用率。

快速开始

环境准备

# 克隆仓库
git clone https://github.com/jakerdliu/OpenTrit-CHN.git
cd ~/Desktop/OpenTrit-CHN

# 安装基础依赖
pip install -r requirements.txt

OpenTrit-CHN 快速上手指南

OpenTrit-CHN v2.0.0 是一款专为双分支架构设计的三值神经网络量化框架，完美适配国产信创生态（鲲鹏/昇腾/统信/麒麟）及国际主流环境（x86/NVIDIA）。本指南将帮助您快速完成环境搭建并体验其异步部署与深度巡检能力。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：
  • XC 分支（信创）：统信 UOS、麒麟 Kylin 或其他兼容国产 OS。
  • Global 分支（通用）：Ubuntu/CentOS/Debian 等主流 Linux 发行版。
• Python 版本：3.10 或更高版本。
• 硬件支持：
  • 国产环境：鲲鹏 920、昇腾 910/310 等。
  • 通用环境：x86_64 架构 CPU 或 NVIDIA GPU。
• 前置依赖：已安装 git 和 pip。

提示：国内用户建议使用国内镜像源加速依赖下载，以提升安装成功率。

2. 安装步骤

执行以下命令克隆仓库并安装基础依赖：

# 克隆仓库
git clone https://github.com/jakerdliu/OpenTrit-CHN.git
cd ~/Desktop/OpenTrit-CHN

# 安装基础依赖（推荐使用国内镜像源）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，框架会自动检测当前硬件环境并加载对应的分支（XC 或 Global）。

3. 基本使用

OpenTrit-CHN 提供极简 API，仅需一行代码即可完成模型量化、异步推理启动及风险自检。

示例：一键量化与异步推理

以下示例展示如何加载预训练模型，启用异步部署模式，并自动进行风险分析：

from opentrit_chn import TritQuant, AsyncEngine

# 初始化量化引擎（自动识别 XC 或 Global 分支）
quantizer = TritQuant(model_path="./models/resnet50.pth", bitwidth=2)

# 执行量化并启动异步推理引擎
# enable_risk_analysis: 开启全维度风险分析
# enable_inspection: 开启深度巡检并生成报告
engine = AsyncEngine(
    quantized_model=quantizer.run(),
    timeout_ms=5000,
    enable_risk_analysis=True,
    enable_inspection=True
)

# 提交推理任务（非阻塞）
task_id = engine.submit(input_data=batch_images)

# 追踪任务状态
status = engine.get_status(task_id)
print(f"Task {task_id} status: {status}")

# 获取巡检报告
report = engine.generate_inspection_report()
report.show()

功能说明：

• 自动分支适配：代码无需修改即可在国产芯片或 NVIDIA GPU 上运行。
• 异步非阻塞：submit 方法立即返回任务 ID，主线程可继续处理其他逻辑。
• 安全兜底：若风险分析检测到设备异常或精度下降超标，系统将自动触发预警并切换至兜底方案。