OpenI 珊瑚项目是OpenI启智开源社区中，为OpenI章鱼人工智能平台提供面向异构计算设备的通用管理框架开源项目。OpenI珊瑚项目是基于OpenStack社区Cyborg项目的Stein版本为底座，针对OpenI章鱼项目已由实现，专门面向Hadoop/Yarn/Spark生态的异构计算集成的项目。
7个月前
软件技术创新是当今国家整体创新能力的重要基础和发展引擎。近年来，大众参与的软件创新与创业活动已经成为网络时代软件开发和应用的新形态，正在快速改变着全球软件创新模式和软件产业格局。国防科技大学、北京大学、北京航空航天大学、中国科学院软件研究所等单位合作开展了基于网络的软件开发群体化方法与技术研究，揭示了以大众化协同开发、开放式资源共享、持续性可信评估为核心的互联网大规模协同机理，与软件开发工程化方法相结合，系统地提出了基于网络的软件开发群体化方法。本项目是群体化方法与技术的开源实现案例，在基于Redmine的在线项目管理基础上，进一步支持社交化的协同开发、协同学习、协同研究等群体创新实践服务。
7个月前
启智章鱼项目（OPENI-OCTOPUS）是一个集群管理和资源调度系统，最初由 微软研究院(MSR)，微软搜索技术中心(STC)，北京大学，西安交通大学，浙江大学和中国科学技术大学联合设计并开发，由鹏城实验室、北京大学 、中国科学技术大学和 AITISA 进行维护。 OPENI-OCTOPUS支持在GPU集群中运行AI任务作业（比如深度学习任务作业）。平台提供了一系列接口，能够支持主流的深度学习框架，如pytorch、tensorflow、panddle panddle、mxnet、caffe、cntk等。这些接口同时具有强大的可扩展性：添加一些额外的脚本或者Python代码后，平台即可支持新的深度学习框架（或者其他类型的工作）。 作为深度学习中非常重要的一项要求，OPENI-OCTOPUS支持GPU调度。 为了能得到更好的性能，OPENI-OCTOPUS支持细粒度的拓扑感知任务部署，可以获取到指定位置的GPU（比如获取在相同的PCI-E总线上的GPU）。 启智采用microservices 结构：每一个组件都在一个容器中运行。 平台利用Kubernetes 来部署和管理系统中的静态组件。 其余动态的深度学习任务使用Hadoop YARN和GPU强化进行调度和管理。 训练数据和训练结果储存在Hadoop HDFS或后端集中存储上。 OPENI-OCTOPUS是完全开源的：它遵守Open-Intelligence许可。OPENI-OCTOPUS采用模块化的方式构建，可以根据用户的需要，插入不同的模块。 使用OPENI-OCTOPUS来实现和评价各种各样的研究思路是非常有吸引力的，因为它不仅仅包括： • 深度学习任务的调度机制 • 需要在真实平台环境下进行评估的深度神经网络的应用 • 新的深度学习框架 • 适用于AI的编译技术 • 适用于AI的高性能网络 • 分析工具：包括网络、平台和AI作业的分析 • AI Benchmark基本套件 • 适用于AI的新硬件，包括FPGA、ASIC和神经处理器 • AI存储支持 • AI平台管理 OPENI-OCTOPUS以开源的模式运营：来自学术和工业界的贡献我们都非常欢迎。
7个月前
# OpenI纵横 OpenI纵横 是微众银行AI团队开源的一套联邦学习计算工具集，主要面向联邦学习研究人员。它是为了解决在满足用户数据安全、法律合规条件下的多方数据使用和联合建模。 OpenI纵横简单易用，方便快速实验和迭代算法，它提供了丰富的一站式联邦建模算法组件，满足大多数联邦建模任务。 OpenI纵横提供的核心功能列表： * 支持联邦交集计算算法 * 支持联邦样本采样、联邦特征工程 * 支持横向和纵向联邦Logistic Regression算法 * 支持纵向联邦SecureBoost算法 * 支持同态加密计算 <https://www.fedai.org/> ## 安装 OpenI纵横 可以在linux 或 mac上进行安装部署。 #### 依赖安装，执行以下命令 pip install -r requirements.txt #### 启动storage服务 执行storage配置命令，生成数据存储路径： sh ./storage/lvdb-service/configure 启动storage服务： cd storage/lvdb-service/src && sh startup.sh 启动完成后，需要执行如下命令，退回到顶层目录继续进行 3. 步骤 cd ../../.. #### 启动算法server 算法server目前是3方，对应代码包algorithm下的guest、host、arbiter三个目录 a. 对于每方算法包的部署，首先需要配置 ./algorithm/$role/dict/conf.ini 的所有方的ip和端口。 即 guest_server_host、guest_server_port、host_server_host、host_server_por、arbiter_server_hos、arbiter_server_port。其中$role表示是guest、host、arbiter三方角色 b. 配置完成后，各方启动对应的算法server. guest: python algorithm/guest/bin/privacy_guest_server.py host: python algorithm/host/bin/privacy_host_server.py arbiter: python algorithm/arbiter/bin/privacy_arbiter_server.py ## 快速入门 该节文档帮助你快速 OpenI纵横 上的程序，以examples/data/breast_a(b).csv数据 运行纵向Logistic Regression 作为示例. #### 导入数据到storage guest方数据导入： python algorithm/scripts/load_db.py examples/data/breast_b.csv breast_b host方数据导入： python algorithm/scripts/load_db.py examples/data/breast_a.csv breast_a #### 创建任务运行目录 在每次运行任务前，需要创建任务文件夹，且把相应算法目录下的bin、dict两个文件夹拷贝进去 algorithm/scripts/create_task_dir.py提供了该功能。 使用方法： python algorithm/scripts/create_task_dir.py ./algorithm/ $role $taskid 其中 $role 代表任务方角色，即guest、host、arbiter， $taskid唯一标识此次运行任务 guest方任务运行文件夹创建； python algorithm/scripts/create_task_dir.py ./algorithm/ guest test_hetero_lr_01 host方任务运行文件夹创建： python algorithm/scripts/create_task_dir.py ./algorithm/ host test_hetero_lr_01 arbiter方任务运行文件夹创建： python algorithm/scripts/create_task_dir.py ./algorithm/ arbiter test_hetero_lr_01 #### 修改配置： 创建任务文件夹后，需要在任务对应的文件夹下进行算法输入数据、算法参数的配置。 a. guest配置修改: 修改 ./algorithm/guest/task/test_hetero_lr_01/dict/conf.ini， local_db = breast_b remote_db = breast_a b. host配置修改 修改 ./algorithm/host/task/test_hetero_lr_01/dict/conf.ini local_db = breast_b remote_db = breast_a 其中：local_db代表guest方的数据表名，remote_db代表的是host方 #### 任务运行 在guest方任务文件夹下直接运行bin/start_task_guest.py即可. python ./algorithm/guest/task/test_hetero_lr_01/bin/start_task_guest.py test_hetero_lr_01 1 lr 1 任务日志在各方任务文件夹的log目录下 ./algorithm/guest/task/test_hetero_lr_01/log
2个月前