统一推理接口
为上层应用提供一致的模型加载与执行方式。
Product
Overview
统一模型推理平台屏蔽不同端侧硬件和推理后端的差异,使上层应用可以通过一致接口调用模型能力。
Capabilities
围绕端侧部署和实际产品开发组织关键能力。
为上层应用提供一致的模型加载与执行方式。
面向 CPU、GPU、NPU 等计算单元组织推理任务。
降低不同硬件平台之间的应用迁移成本。
衔接模型优化结果和业务应用开发。
Applications
将产品能力组合到真实设备与业务场景。
以一致接口维护不同算力配置的产品。
向业务应用提供统一模型推理能力。
减少算法在不同平台间迁移的改造工作。
Resources & Support
获取产品文档、软件包和技术支持入口。