Overview

文档概览

从模型输入、适配和优化走向端侧推理与应用集成。

Before You Start

准备工作

• 准备待部署模型与输入样例
• 确认目标芯片与运行环境
• 了解模型输入输出

部署链路概览

理解模型、优化工具、推理框架与硬件之间的关系。

1. 1
   确认模型格式

   根据目标硬件、系统版本与项目环境完成检查，并记录关键配置与结果。

2. 2
   选择目标平台

   根据目标硬件、系统版本与项目环境完成检查，并记录关键配置与结果。

3. 3
   准备验证数据

   根据目标硬件、系统版本与项目环境完成检查，并记录关键配置与结果。

模型适配与优化

完成模型转换、算子检查与量化配置。

1. 1
   检查算子支持

   根据目标硬件、系统版本与项目环境完成检查，并记录关键配置与结果。

2. 2
   配置模型转换

   根据目标硬件、系统版本与项目环境完成检查，并记录关键配置与结果。

3. 3
   开展精度验证

   根据目标硬件、系统版本与项目环境完成检查，并记录关键配置与结果。

集成端侧应用

将推理能力接入机器人或智能终端应用。

1. 1
   调用推理接口

   根据目标硬件、系统版本与项目环境完成检查，并记录关键配置与结果。

2. 2
   处理输入输出

   根据目标硬件、系统版本与项目环境完成检查，并记录关键配置与结果。

3. 3
   记录性能与日志

   根据目标硬件、系统版本与项目环境完成检查，并记录关键配置与结果。