系统与 AI 平台

统一模型推理平台

以统一 API 调度多种端侧算力

跨平台 AI 中间件,为 CPU、GPU、NPU 提供统一推理接口与调度能力。

统一 API跨平台异构算力
统一模型推理平台

Overview

产品定位

统一模型推理平台屏蔽不同端侧硬件和推理后端的差异,使上层应用可以通过一致接口调用模型能力。

Capabilities

核心能力

围绕端侧部署和实际产品开发组织关键能力。

01

统一推理接口

为上层应用提供一致的模型加载与执行方式。

02

异构算力调度

面向 CPU、GPU、NPU 等计算单元组织推理任务。

03

跨平台中间件

降低不同硬件平台之间的应用迁移成本。

04

工具链协同

衔接模型优化结果和业务应用开发。

Applications

应用场景

将产品能力组合到真实设备与业务场景。

多硬件产品线

以一致接口维护不同算力配置的产品。

端侧 AI 服务

向业务应用提供统一模型推理能力。

模型快速迁移

减少算法在不同平台间迁移的改造工作。

Resources & Support

资料与支持

获取产品文档、软件包和技术支持入口。