项目简介

ModelBox是一个适用于端边云场景的AI推理应用开发框架，提供了基于Pipeline的并行执行流程，能帮助AI应用开发者较快的开发出高效，高性能，以及支持软硬协同优化的AI应用，项目特点：

1. 易于开发
AI推理业务可视化编排开发，功能模块化，丰富组件库；c++，python，java多语言支持。

2. 易于集成
集成云上对接的组件，云上对接更容易。

3. 高性能，高可靠
pipeline并发运行，数据计算智能调度，资源管理调度精细化，业务运行更高效。

4. 软硬件异构
CPU，ARM，GPU，NPU多异构硬件支持，资源利用更便捷高效。

5. 全场景
视频，语音，文本，NLP全场景，专为服务化定制，云上集成更容易，端边云数据无缝交换。

6. 易于维护
服务运行状态可视化，应用，组件性能实时监控，优化更容易。