• 语言
  • C 1
  • C++ 1
  • Javascript 1
  • Python 3
  • Ruby 1
  • Scala 1
  • 项目 新建
  • 1个项目结果

    最新

  • OpenI章鱼

    启智章鱼项目(OPENI-OCTOPUS)是一个集群管理和资源调度系统,最初由 微软研究院(MSR),微软搜索技术中心(STC),北京大学,西安交通大学,浙江大学和中国科学技术大学联合设计并开发,由鹏城实验室、北京大学 、中国科学技术大学和 AITISA 进行维护。 OPENI-OCTOPUS支持在GPU集群中运行AI任务作业(比如深度学习任务作业)。平台提供了一系列接口,能够支持主流的深度学习框架,如pytorch、tensorflow、paddlepaddle、mxnet、caffe、cntk等。这些接口同时具有强大的可扩展性:添加一些额外的脚本或者Python代码后,平台即可支持新的深度学习框架(或者其他类型的工作)。 作为深度学习中非常重要的一项要求,OPENI-OCTOPUS支持GPU调度。 为了能得到更好的性能,OPENI-OCTOPUS支持细粒度的拓扑感知任务部署,可以获取到指定位置的GPU(比如获取在相同的PCI-E总线上的GPU)。 启智采用microservices 结构:每一个组件都在一个容器中运行。 平台利用Kubernetes 来部署和管理系统中的静态组件。 其余动态的深度学习任务使用Hadoop YARN和GPU强化进行调度和管理。 训练数据和训练结果储存在Hadoop HDFS或后端集中存储上。 OPENI-OCTOPUS是完全开源的:它遵守Open-Intelligence许可。OPENI-OCTOPUS采用模块化的方式构建,可以根据用户的需要,插入不同的模块。 使用OPENI-OCTOPUS来实现和评价各种各样的研究思路是非常有吸引力的,因为它不仅仅包括: • 深度学习任务的调度机制 • 需要在真实平台环境下进行评估的深度神经网络的应用 • 新的深度学习框架 • 适用于AI的编译技术 • 适用于AI的高性能网络 • 分析工具:包括网络、平台和AI作业的分析 • AI Benchmark基本套件 • 适用于AI的新硬件,包括FPGA、ASIC和神经处理器 • AI存储支持 • AI平台管理 OPENI-OCTOPUS以开源的模式运营:来自学术和工业界的贡献我们都非常欢迎。

    9个月前

    Javascript