如何在Kubernetes上部署一个深度学习模型

  • 了解如何使用 Kubermatic Kubernetes 平台来部署、扩展与管理图像识别预测的深度学习模型。

随着企业增加了对人工智能(AI)、机器学习(ML)与深度学习(DL)的使用，出现了一个关键问题：如何将机器学习的开发进行规模化与产业化?这些讨论经常聚焦于机器学习模型本身；然而，模型仅仅只是完整解决方案的其中一环。为了达到生产环境的应用和规模，模型的开发过程必须还包括一个可以说明开发前后关键活动以及可公用部署的可重复过程。

成都创新互联网络公司拥有十载的成都网站开发建设经验，上千家客户的共同信赖。提供成都网站设计、成都做网站、网站开发、网站定制、卖链接、建网站、网站搭建、响应式网站、网页设计师打造企业风格，提供周到的售前咨询和贴心的售后服务

本文演示了如何使用 Kubermatic Kubernetes 平台对图像识别预测的深度学习模型进行部署、扩展与管理。

Kubermatic Kubernetes 平台是一个生产级的开源 Kubernetes 集群管理工具，提供灵活性和自动化，与机器学习/深度学习工作流程整合，具有完整的集群生命周期管理。

开始

这个例子部署了一个用于图像识别的深度学习模型。它使用了 CIFAR-10 数据集，包含了 60,000 张分属 10 个类别的 32x32 彩色图，同时使用了 Apache MXNet 的 Gluon 与 NVIDIA GPU 进行加速计算。如果你希望使用 CIFAR-10 数据集的预训练模型，可以查阅其 入门指南。

使用训练集中的样本对模型训练 200 次，只要训练误差保持缓慢减少，就可以保证模型不会过拟合。下方图展示了训练的过程：

深度学习模型训练 loss 图

训练结束后，必须保存模型训练所得到的参数，以便稍后可以加载它们：

 
 
 
 
    
  
  
  
  
  1. file_name = "net.params"
    2. 
  
  
  
  
  2. net.save_parameters(file_name)
    3.

一旦你的模型训练好了，就可以用 Flask 服务器来封装它。下方的程序演示了如何接收请求中的一张图片作为参数，并在响应中返回模型的预测结果：

 
 
 
 
    
  
  
  
  
  1. from gluoncv.model_zoo import get_model
    2. 
  
  
  
  
  2. import matplotlib.pyplot as plt
    3. 
  
  
  
  
  3. from mxnet import gluon, nd, image
    4. 
  
  
  
  
  4. from mxnet.gluon.data.vision import transforms
    5. 
  
  
  
  
  5. from gluoncv import utils
    6. 
  
  
  
  
  6. from PIL import Image
    7. 
  
  
  
  
  7. import io
    8. 
  
  
  
  
  8. import flask
    9. 
  
  
  
  
  9. app = flask.Flask(__name__)
    10. 
  
  
  
  
  10. @app.route("/predict",methods=["POST"])
    11. 
  
  
  
  
  11. def predict():
    12. 
  
  
  
  
  12.     if flask.request.method == "POST":
    13. 
  
  
  
  
  13.         if flask.request.files.get("img"):
    14. 
  
  
  
  
  14.            img = Image.open(io.BytesIO(flask.request.files["img"].read()))
    15. 
  
  
  
  
  15.             transform_fn = transforms.Compose([
    16. 
  
  
  
  
  16.             transforms.Resize(32),
    17. 
  
  
  
  
  17.             transforms.CenterCrop(32),
    18. 
  
  
  
  
  18.             transforms.ToTensor(),
    19. 
  
  
  
  
  19.             transforms.Normalize([0.4914, 0.4822, 0.4465], [0.2023, 0.1994, 0.2010])])
    20. 
  
  
  
  
  20.             img = transform_fn(nd.array(img))
    21. 
  
  
  
  
  21.             net = get_model('cifar_resnet20_v1', classes=10)
    22. 
  
  
  
  
  22.             net.load_parameters('net.params')
    23. 
  
  
  
  
  23.             pred = net(img.expand_dims(axis=0))
    24. 
  
  
  
  
  24.             class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer',
    25. 
  
  
  
  
  25.                        'dog', 'frog', 'horse', 'ship', 'truck']
    26. 
  
  
  
  
  26.             ind = nd.argmax(pred, axis=1).astype('int')
    27. 
  
  
  
  
  27.             prediction = 'The input picture is classified as [%s], with probability %.3f.'%
    28. 
  
  
  
  
  28.                          (class_names[ind.asscalar()], nd.softmax(pred)[0][ind].asscalar())
    29. 
  
  
  
  
  29.     return prediction
    30. 
  
  
  
  
  30. if __name__ == '__main__':
    31. 
  
  
  
  
  31.    app.run(host='0.0.0.0')
    32.

容器化模型

在将模型部署到 Kubernetes 前，你需要先安装 Docker 并使用你的模型创建一个镜像。

下载、安装并启动 Docker：

 
 
 
 
    
  
  
  
  
  1. sudo yum install -y yum-utils device-mapper-persistent-data lvm2
    2. 
  
  
  
  
  2. sudo yum-config-manager --add-repo 
    3. 
  
  
  
  
  3. sudo yum install docker-ce
    4. 
  
  
  
  
  4. sudo systemctl start docker
    5.

创建一个你用来管理代码与依赖的文件夹：

 
 
 
 
    
  
  
  
  
  1. mkdir kubermatic-dl
    2. 
  
  
  
  
  2. cd kubermatic-dl
    3.

创建 requirements.txt 文件管理代码运行时需要的所有依赖：

 
 
 
 
    
  
  
  
  
  1. flask
    2. 
  
  
  
  
  2. gluoncv
    3. 
  
  
  
  
  3. matplotlib
    4. 
  
  
  
  
  4. mxnet
    5. 
  
  
  
  
  5. requests
    6. 
  
  
  
  
  6. Pillow
    7.

创建 Dockerfile，Docker 将根据这个文件创建镜像：

 
 
 
 
    
  
  
  
  
  1. FROM python:3.6
    2. 
  
  
  
  
  2. WORKDIR /app
    3. 
  
  
  
  
  3. COPY requirements.txt /app
    4. 
  
  
  
  
  4. RUN pip install -r ./requirements.txt
    5. 
  
  
  
  
  5. COPY app.py /app
    6. 
  
  
  
  
  6. CMD ["python", "app.py"]
    7.

这个 Dockerfile 主要可以分为三个部分。首先，Docker 会下载 Python 的基础镜像。然后，Docker 会使用 Python 的包管理工具 pip 安装 requirements.txt 记录的包。最后，Docker 会通过执行 python app.py 来运行你的脚本。

构建 Docker 容器：

 
 
 
 
    
  
  
  
  
  1. sudo docker build -t kubermatic-dl:latest .
    2.

这条命令使用 kubermatic-dl 镜像为你当前工作目录的代码创建了一个容器。

使用

 
 
 
 
    
  
  
  
  
  1. sudo docker run -d -p 5000:5000 kubermatic-dl
    2.

命令检查你的容器可以在你的主机上正常运行。

使用

 
 
 
 
    
  
  
  
  
  1. sudo docker ps -a
    2.

命令查看你本地容器的运行状态：

查看容器的运行状态

将你的模型上传到 Docker Hub

在向 Kubernetes 上部署模型前，你的镜像首先需要是公开可用的。你可以通过将你的模型上传到 Docker Hub 来将它公开。(如果你没有 Docker Hub 的账号，你需要先创建一个)

在终端中登录 Docker Hub 账号：

 
 
 
 
    
  
  
  
  
  1. sudo docker login
    2.

给你的镜像打上标签，这样你的模型上传到 Docker Hub 后也能拥有版本信息：

 
 
 
 
    
  
  
  
  
  1. sudo docker tag  /
    2. 
  
  
  
  
  2. sudo docker push /
    3.

给镜像打上 tag

使用

 
 
 
 
    
  
  
  
  
  1. sudo docker images
    2.

命令检查你的镜像的 ID。

部署你的模型到 Kubernetes 集群

首先在 Kubermatic Kubernetes 平台创建一个项目, 然后根据 快速开始 创建一个 Kubernetes 集群。

创建一个 Kubernetes 集群

下载用于访问你的集群的 kubeconfig，将它放置在下载目录中，并记得设置合适的环境变量，使得你的环境能找到它：

Kubernetes 集群示例

使用 kubectl 命令检查集群信息，例如，需要检查 kube-system 是否在你的集群正常启动了就可以使用命令 kubectl cluster-info。

查看集群信息

为了在集群中运行容器，你需要创建一个部署用的配置文件(deployment.yaml)，再运行 apply 命令将其应用于集群中：

 
 
 
 
    
  
  
  
  
  1. apiVersion: apps/v1
    2. 
  
  
  
  
  2. kind: Deployment
    3. 
  
  
  
  
  3. metadata:
    4. 
  
  
  
  
  4.   name: kubermatic-dl-deployment
    5. 
  
  
  
  
  5. spec:
    6. 
  
  
  
  
  6.   selector:
    7. 
  
  
  
  
  7.     matchLabels:
    8. 
  
  
  
  
  8.       app: kubermatic-dl
    9. 
  
  
  
  
  9.   replicas: 3
    10. 
  
  
  
  
  10.   template:
    11. 
  
  
  
  
  11.     metadata:
    12. 
  
  
  
  
  12.       labels:
    13. 
  
  
  
  
  13.         app: kubermatic-dl
    14. 
  
  
  
  
  14.     spec:
    15. 
  
  
  
  
  15.      containers:
    16. 
  
  
  
  
  16.      - name: kubermatic-dl
    17. 
  
  
  
  
  17.        image: kubermatic00/kubermatic-dl:latest
    18. 
  
  
  
  
  18.        imagePullPolicy: Always
    19. 
  
  
  
  
  19.        ports:
    20. 
  
  
  
  
  20.        - containerPort: 8080
    21. 
 
 
 
 
 
 
 
 
    
  
  
  
  
  1. kubectl apply -f deployment.yaml`
    2.

为了将你的部署开放到公网环境，你需要一个能够给你的容器创建外部可达 IP 地址的服务：

 
 
 
 
    
  
  
  
  
  1. kubectl expose deployment kubermatic-dl-deployment --type=LoadBalancer --port 80 --target-port 5000`
    2.

就快大功告成了!首先检查你布署的服务的状态，然后通过 IP 请求的你图像识别 API：

 
 
 
 
    
  
  
  
  
  1. kubectl get service
    2.

获取请求图像识别 API 的 IP 地址

最后根据你的外部 IP 使用以下两张图片对你的图像识别服务进行测试：

马

狗

测试 API

总结

在这篇教程中，你可以创建一个深度学习模型，并且使用 Flask 提供 REST API 服务。它介绍了如何将应用放在 Docker 容器中，如何将这个镜像上传到 Docker Hub 中，以及如何使用 Kubernetes 部署你的服务。只需几个简单的命令，你就可以使用 Kubermatic Kubernetes 平台部署该应用程序，并且开放服务给别人使用。

分享标题：如何在Kubernetes上部署一个深度学习模型
文章网址：http://www.hantingmc.com/qtweb/news13/494663.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

响应式网站知识

各行业网站

绵阳梓潼网站建设　　 　主机托管　　 　成都网站制作　　 　四川柴油发电机　　 　seo优化　　 　广告媒介投放　　 　app开发　　 　小程序开发　　 　德阳东方电机技改　　 　成都名片印刷　　 　贵安服务器托管　　 　成都网站维护　　 　网站快速收录　　 　力比特工程　　 　app开发公司　　 　南充主机托管　　 　专业网站设计　　 　成都做网站　　 　整合营销　　 　成都服务器托管