掌握聚合最新动态了解行业最新趋势
API接口,开发服务,免费咨询服务

使用TensorFlow和Kubernetes构建GPU加速工作流

Daniel Whitenack在最近举行的北美2017 KubeCon+CloudNativeCon大会上分享了如何使用TensorFlow和Kubernetes进行基于GPU的深度学习。

他以物体检测为例子介绍了一种典型的人工智能工作流程。该工作流程包括预处理、模型训练、模型生成和模型推理。这些步骤都可以运行在Docker容器里。

模型训练一般是通过框架来完成的,如TensorFlow或Caffe。在这一阶段,GPU可用于帮助提升性能。深度学习在使用TensorFlow或其他框架时,需要借助GPU在图像数据上训练模型。

模型训练可以运行在Kubernetes集群的GPU节点上。Kubernetes为多GPU节点提供了一个非常好的框架,按照如下步骤可实现更好的工作流:

  • 将数据正确地分配代码(pod)。
  • 在正确的节点上处理数据。
  • 在正确的时间触发正确的代码。

该工作流程也可以用于跟踪哪个版本的代码和数据产生了哪些结果(用于调试、维护和合规的目的)。

Kubernetes为此提供了基础支持,也因为它具备了可移植性和可伸缩性,所以非常适用于机器学习项目。

Whitenack介绍了一个叫作Pachyderm的开源项目,它支持数据管道,并为Kubernetes提供了数据管理层。工作流中一般会包含多个数据预处理和后处理作业。Pachyderm提供了统一的框架用于调度多步骤工作流、数据管理和向GPU分配工作负载。

Pachyderm框架的特性包括:

  • 数据版本:版本化的数据可存储在Amazon S3数据库里。
  • 用于分析的容器。
  • 分布式管道或数据处理DAG。
  • 数据监管:可用于合规和调试。

Whitenack在现场进行了演示,使用Pachyderm和Kubernetes实现了一个AI工作流。示例应用程序实现了图像到图像的转换,将卫星图自动转成地图。他在例子中使用TensorFlow进行模型训练和推理。

如果读者对Pachyderm框架感兴趣,可以参考机器学习示例开发者文档Kubernetes GPU文档,或者直接加入Slack通道

info去.png

原文来自:infoQ

声明:所有来源为“聚合数据”的内容信息,未经本网许可,不得转载!如对内容有异议或投诉,请与我们联系。邮箱:marketing@think-land.com

掌握聚合最新动态了解行业最新趋势
API接口,开发服务,免费咨询服务
使用TensorFlow和Kubernetes构建GPU加速工作流
发布:2018-01-12 11:35:31

Daniel Whitenack在最近举行的北美2017 KubeCon+CloudNativeCon大会上分享了如何使用TensorFlow和Kubernetes进行基于GPU的深度学习。

他以物体检测为例子介绍了一种典型的人工智能工作流程。该工作流程包括预处理、模型训练、模型生成和模型推理。这些步骤都可以运行在Docker容器里。

模型训练一般是通过框架来完成的,如TensorFlow或Caffe。在这一阶段,GPU可用于帮助提升性能。深度学习在使用TensorFlow或其他框架时,需要借助GPU在图像数据上训练模型。

模型训练可以运行在Kubernetes集群的GPU节点上。Kubernetes为多GPU节点提供了一个非常好的框架,按照如下步骤可实现更好的工作流:

  • 将数据正确地分配代码(pod)。
  • 在正确的节点上处理数据。
  • 在正确的时间触发正确的代码。

该工作流程也可以用于跟踪哪个版本的代码和数据产生了哪些结果(用于调试、维护和合规的目的)。

Kubernetes为此提供了基础支持,也因为它具备了可移植性和可伸缩性,所以非常适用于机器学习项目。

Whitenack介绍了一个叫作Pachyderm的开源项目,它支持数据管道,并为Kubernetes提供了数据管理层。工作流中一般会包含多个数据预处理和后处理作业。Pachyderm提供了统一的框架用于调度多步骤工作流、数据管理和向GPU分配工作负载。

Pachyderm框架的特性包括:

  • 数据版本:版本化的数据可存储在Amazon S3数据库里。
  • 用于分析的容器。
  • 分布式管道或数据处理DAG。
  • 数据监管:可用于合规和调试。

Whitenack在现场进行了演示,使用Pachyderm和Kubernetes实现了一个AI工作流。示例应用程序实现了图像到图像的转换,将卫星图自动转成地图。他在例子中使用TensorFlow进行模型训练和推理。

如果读者对Pachyderm框架感兴趣,可以参考机器学习示例开发者文档Kubernetes GPU文档,或者直接加入Slack通道

info去.png

原文来自:infoQ

声明:所有来源为“聚合数据”的内容信息,未经本网许可,不得转载!如对内容有异议或投诉,请与我们联系。邮箱:marketing@think-land.com

选择想要的接口, 看看能免费获取多少次调用 选择(单选)或填写想要的接口
  • 短信API服务
  • 银行卡四元素检测[简]
  • 身份证实名认证
  • 手机状态查询
  • 三网手机实名制认证[简]
  • 身份证OCR识别
  • 证件识别
  • 企业工商信息
短信API服务
  • 短信API服务
  • 银行卡四元素检测[简]
  • 身份证实名认证
  • 手机状态查询
  • 三网手机实名制认证[简]
  • 身份证OCR识别
  • 证件识别
  • 企业工商信息
  • 确定
选择您的身份
请选择寻找接口的目的
预计每月调用量
请选择预计每月调用量
产品研发的阶段
请选择产品研发的阶段
×

前往领取
讯飞星火认知大模型API
0512-88869195
数 据 驱 动 未 来
Data Drives The Future