华为发布Volcano开源项目,让AI算力像火山一样迸发
Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。
Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。
整体架构
Volcano 提供一整套目前 Kubernetes 在批量和弹性工作负载处理中缺失的机制,包括:
- 机器学习/深度学习
- 生物信息学/基因组学
- 其他“大数据”应用
这些类型的应用程序通常运行在 Volcano 集成的 Tensorflow,Spark,PyTorch,MPI 等通用域框架上。
Volcano 为 Kubernetes 添加的机制和功能的一些例子:
1、作业管理的扩展和改进,如:
- Multi-pod 作业
- 生命周期管理扩展,包括挂起、恢复和重启
- 提升错误处理
- 作业的索引
- 任务依赖
2、调度扩展
- 联合调度
- 公平调度
- 队列调度
- 抢先和收回
- 预订和回填
- 基于拓扑逻辑的调度
3、运行时扩展
- 支持 Singularity 等专用容器运行时,具有 GPU 加速器扩展和增强的安全功能
4、其他
- 数据局部感知和智能调度
- 优化数据吞吐量,往返延迟等
Volcano 建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的***创意和实践。
更多信息来自:东方联盟网 vm888.com
>更多相关文章
- 02-23人工智能和python之间有什么联系?为何用python?
- 03-022021年值得关注的人工智能趋势
- 03-02人工智能和物联网——5个新兴的应用案例
- 03-02人工智能将使纺织工业的生产过程实现数字化和自动化
- 03-02如何应对人工智能在医疗保健领域的挑战
- 07-21人工智能、物联网和大数据如何拯救蜜蜂
首页推荐
佛山市东联科技有限公司一直秉承“一切以用户价值为依归
- 01-11全球最受赞誉公司揭晓:苹果连续九年第一
- 12-09罗伯特·莫里斯:让黑客真正变黑
- 12-09谁闯入了中国网络?揭秘美国绝密黑客小组TA
- 12-09警示:iOS6 惊现“闪退”BUG
- 05-06TCL科技:预计大尺寸面板价格上涨动能有望延
- 05-06新加坡电信Optus任命新首席执行官以重建品牌
- 05-06微软宣布为消费级用户账户提供安全密钥支持
- 05-06当好大数据产业“守门员”(筑梦现代化 共绘
- 04-29通用智能人“通通”亮相中关村论坛
相关文章
24小时热门资讯
24小时回复排行
热门推荐
最新资讯
操作系统
黑客防御