Spinnaker多云持续交付平台: 部署Minio存储服务

news/2024/7/4 7:44:07 标签: 云原生, 云计算, 运维

目录

 一、实验

1.环境

2.K8S storage节点部署NFS

3.K8S 动态创建PV

4.K8S master节点部署HELM3

4.K8S master节点部署Minio存储服务（第一种方式安装）

5.Minio客户端安装MC命令

6.K8S master节点使用Docker 部署Minio存储服务（第二种方式安装）

二、问题

1.K8S无法删除pv，pvc问题

2.minio 部署模式有哪些

3.pod Readiness探针与Liveness探针失败

4. 添加 MinIO服务失败

5.docker创建容器失败

6.K8S如何快速创建Minio存储

 一、实验

1.环境

（1）主机

表1  主机

主机架构版本IP备注
master1K8S master节点1.20.6192.168.204.180

node1K8S node节点1.20.6192.168.204.181
node2K8S node节点1.20.6192.168.204.182
stor01

nfs存储节点

192.168.204.177

（2）查看集群状态

2.K8S storage节点部署NFS

（1）安装配置nfs服务

#在stor01(192.168.204.183)节点上安装nfs，并配置nfs服务
mkdir /opt/k8s
chmod 777 /opt/k8s/
 
yum -y install nfs-utils rpcbind
 
#给204网段用户赋予读写权限、同步内容、不压缩共享对象root用户权限
vim /etc/exports
/opt/k8s 192.168.204.0/24(rw,sync,no_root_squash)

#首次安装 
systemctl  start  rpcbind nfs

#非首次安装
systemctl  restart rpcbind
systemctl restart nfs

#监听服务
ss -antp | grep rpcbind

#查看共享
exportfs  -arv 

showmount  -e

 
#所有节点配置hosts映射，或者配置DNS解析
echo '192.168.204.177 stor01' >> /etc/hosts

在stor01(192.168.204.177)节点上安装nfs，并配置nfs服务

安装

配置文件

重启服务

监听服务

查看共享目录

（2）查看域名

vim /etc/hosts

3.K8S 动态创建PV

(1) 创建 Service Account，用来管理 NFS-Subdir-External-Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

编写资源清单文件

vim nfs-rbac.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  namespace: default # 替换成你要部署的 Namespace
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: default
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: default
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: default
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io

生成资源

kubectl apply -f nfs-rbac.yaml

再次查看sa

kubectl get sa

（3）使用 Deployment 来部署 NFS-Subdir-External-Provisioner

NFS Provisione(即 nfs-client)，有两个功能：一个是在 NFS 共享目录下创建挂载点(volume)，另一个则是将 PV 与 NFS 的挂载点建立关联。

vim  nfs-provisioner-deploy.yaml


apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate                   ## 设置升级策略为删除再创建(默认为滚动更新)
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          #image: gcr.io/k8s-staging-sig-storage/nfs-subdir-external-provisioner:v4.0.0
          image: registry.cn-beijing.aliyuncs.com/xngczl/nfs-subdir-external-provisione:v4.0.0
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME     ## Provisioner的名称,以后设置的storageclass要和这个保持一致
              value: nfs-client
            - name: NFS_SERVER           ## NFS服务器地址,需和valumes参数中配置的保持一致
              value: stor01
            - name: NFS_PATH             ## NFS服务器数据存储目录,需和valumes参数中配置的保持一致
              value: /opt/k8s
      volumes:
        - name: nfs-client-root
          nfs:
            server: stor01             ## NFS服务器地址
            path: /opt/k8s            ## NFS服务器数据存储目录

kubectl apply -f nfs-provisioner-deploy.yaml

（5）创建 StorageClass，负责建立 PVC 并调用 NFS-Subdir-External-Provisioner进行预定的工作，并让 PV 与 PVC 建立关联，声明 NFS 动态卷提供者名称为 “nfs-storage”。

vim nfs-storage.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-storage
  annotations:
    storageclass.kubernetes.io/is-default-class: "false"  ## 是否设置为默认的storageclass
provisioner: nfs-client                                   ## 动态卷分配者名称，必须和上面创建的"provisioner"变量中设置的Name一致
parameters:
  archiveOnDelete: "true"                                 ## 设置为"false"时删除PVC不会保留数据,"true"则保留数据
mountOptions:
  - hard                                                  ## 指定为硬挂载方式
  - nfsvers=4                                             ## 指定NFS版本,这个需要根据NFS Server版本号设置



kubectl apply -f nfs-storage.yaml

4.K8S master节点部署HELM3

（1）Helm版本与K8S集群兼容

Helm | Helm版本支持策略

ee70de7fccd441c2866678f1b28ca9da.png

（2）查看K8S集群状态

# kubectl get node

（3）策略

当前K8S 集群为1.20.6版本，选择HELM 3.8.1 版本。

（4）部署


1）安装 helm 
//下载二进制 Helm client 安装包
wget https://get.helm.sh/helm-v3.8.1-linux-amd64.tar.gz
 
tar -zxvf helm-v3.8.1-linux-amd64.tar.gz
mv linux-amd64/helm /usr/local/bin/helm
helm version
 
//命令补全
source <(helm completion bash)
 
2）使用 helm 安装 Chart
//添加常用的 chart 仓库，
helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

3) 更新 charts 列表
helm repo update
helm repo list

安装

使用 helm 安装 Chart

4.K8S master节点部署Minio存储服务（第一种方式安装）

（1）Minio官方文档

minio 13.4.2 · bitnami/bitnami (artifacthub.io)

（2）获取最新minio charts

1)查询 minio 资源
helm search repo minio

2)创建目录
mkdir -p /root/minio/ && cd /root/minio/

3)拉取 chart 到本地目录
第一种方式：
helm fetch bitnami/minio --version 13.3.3
第二种方式
helm pull bitnami/minio --version 13.3.3 

4)解压
tar -zxvf minio-13.3.3.tgz
cp minio/values.yaml ./values-test.yaml

5）查看当前目录层级
tree -L 2
.
├── minio
│   ├── Chart.lock
│   ├── charts
│   ├── Chart.yaml
│   ├── README.md
│   ├── templates
│   └── values.yaml
├── minio-13.3.3.tgz
└── values-test.yaml

查询

拉取解压

查看目录

（3）查看集群 storageclasses

kubectl get storageclasses.storage.k8s.io

（4）修改配置文件

vim values-test.yaml

(5)安装minio集群

helm install minio minio -f values-test.yaml

-n 指定 kubernetes 集群名称空间
-f 指定使用的配置文件，文件中定义的配置可以覆盖 minio/values.yaml 文件中配置

NAME: minio
LAST DEPLOYED: Thu Feb  8 09:03:41 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: minio
CHART VERSION: 13.3.3
APP VERSION: 2024.1.31

** Please be patient while the chart is being deployed **

MinIO&reg; can be accessed via port  on the following DNS name from within your cluster:

   minio.default.svc.cluster.local

To get your credentials run:

   export ROOT_USER=$(kubectl get secret --namespace default minio -o jsonpath="{.data.root-user}" | base64 -d)
   export ROOT_PASSWORD=$(kubectl get secret --namespace default minio -o jsonpath="{.data.root-password}" | base64 -d)

To connect to your MinIO&reg; server using a client:

- Run a MinIO&reg; Client pod and append the desired command (e.g. 'admin info'):

   kubectl run --namespace default minio-client \
     --rm --tty -i --restart='Never' \
     --env MINIO_SERVER_ROOT_USER=$ROOT_USER \
     --env MINIO_SERVER_ROOT_PASSWORD=$ROOT_PASSWORD \
     --env MINIO_SERVER_HOST=minio \
     --image docker.io/bitnami/minio-client:2024.1.31-debian-11-r1 -- admin info minio

To access the MinIO&reg; web UI:

- Get the MinIO&reg; URL:

   echo "MinIO&reg; web URL: http://127.0.0.1:9001/minio"
   kubectl port-forward --namespace default svc/minio 9001:9001

(6) 查看

helm list

kubectl get deploy

kubectl get pod

kubectl get pod -o wide

(7) 查看pv与pvc

kubectl get pv

kubectl get pvc

（8）NFS 查看卷

ls

ls | grep minio

5.Minio客户端安装MC命令

（1）下载

wget https://dl.min.io/client/mc/release/linux-amd64/mc

（2）安装

chmod a+x mc

mv mc /usr/local/bin/

mc --version

(3) 配置访问minio

mc config host add minio http://10.99.219.173:9000 minio minio123 --api S3v4

# 查看配置，不同 mc 版本，以下内容输出可能不一定完全相同
mc config host list

gcs  
  URL       : https://storage.googleapis.com
  AccessKey : YOUR-ACCESS-KEY-HERE
  SecretKey : YOUR-SECRET-KEY-HERE
  API       : S3v2
  Path      : dns

local
  URL       : http://localhost:9000
  AccessKey : 
  SecretKey : 
  API       : 
  Path      : auto

minio
  URL       : http://10.99.219.173:9000
  AccessKey : minio
  SecretKey : minio123
  API       : S3v4
  Path      : auto

play 
  URL       : https://play.min.io
  AccessKey : Q3AM3UQ867SPQQA43P2F
  SecretKey : zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG
  API       : S3v4
  Path      : auto

s3   
  URL       : https://s3.amazonaws.com
  AccessKey : YOUR-ACCESS-KEY-HERE
  SecretKey : YOUR-SECRET-KEY-HERE
  API       : S3v4
  Path      : dns

6.K8S master节点使用Docker 部署Minio存储服务（第二种方式安装）

（1）docker 命令去安装稳定版本的 minio

docker pull minio/minio

（2）创建存放数据的目录

# 一个用来存放配置，一个用来存储上传文件的目录
# 启动前需要先创建Minio外部挂载的配置文件（ /rootconfig）,和存储上传文件的目录（ /root/data）

mkdir -p /root/data

mkdir -p /root/config

(3) 创建Minio容器并运行（多行模式）

# 9090端口指的是minio的客户端端口
# MINIO_ACCESS_KEY ：账号
# MINIO_SECRET_KEY ：密码（账号长度必须大于等于5，密码长度必须大于等于8位）

docker run -p 9000:9000 -p 9090:9090 \
     --net=host \
     --name minio \
     -d --restart=always \
     -e "MINIO_ACCESS_KEY=minioadmin" \
     -e "MINIO_SECRET_KEY=minioadmin" \
     -v /root/data:/data \
     -v /root/config:/root/.minio \
     minio/minio server \
     /data --console-address ":9090" -address ":9000"

（4）另一种方式创建Minio容器并运行（单行模式）

docker run -p 9000:9000 -p 9090:9090      --net=host      --name minio      -d --restart=always      -e "MINIO_ACCESS_KEY=minioadmin"      -e "MINIO_SECRET_KEY=minioadmin"      -v /root/data:/data      -v /root/config:/root/.minio      minio/minio server      /data --console-address ":9090" -address ":9000"

（5）查看docker进程

docker ps | grep minio

（6）登录

http://192.168.204.180:9090/login

进入系统

（7）创建用户

填写信息

（8）完成创建

（9）创建组

(10)创建accessKey和secretKey 

查看

（11）创建Bucket

查看

（12）上传文件

查看

二、问题

1.K8S无法删除pv，pvc问题

（1）报错

error: resource(s) were provided, but no name was specified

（2）原因分析

删除顺序不对。

（3）解决方法

正确的删除顺序：
 
1）先删除pod
helm -n devops uninstall minio(项目名称) 
 
2）解除pv绑定
kubectl patch pv pvname(pv名称) -p '{"metadata":{"finalizers":null}}'
 
3）解除pvc绑定
kubectl patch pvc pvcname(pvc名称) -p '{"metadata":{"finalizers":null}}'

4) 删除pv
kubectl delete pv pvname(pv名称) -n devops

5) 删除pvc
kubectl delete pvc pvname(pvc名称) -n devops

2.minio 部署模式有哪些

（1）模式

1）standalone
独立模式下，服务部署数量为1个

3）distributed
分别模式下，服务部署数量，必须大于4个

（2）standalone模式

 

创建（服务部署数量为1个）

（3）distributed模式

创建 （服务部署数量为4个）

 

3.pod Readiness探针与Liveness探针失败

(1)报错

通过yaml文件创建pod时，执行完yaml文件，过一会就开始报错说Back-off restarting failed container。

查看pod状态一致处于CrashLoopBackOff

kubectl get pod

kubectl describe pod minio-9c678d65c-45js9

（2）原因分析

Back-off restarting failed container的Warning事件，一般是由于通过指定的镜像启动容器后，容器内部没有常驻进程，导致容器启动成功后即退出，从而进行了持续的重启。

（3）解决方法

如果是通过yaml文件创建的pod，找到对应的deployment，增加命令command: ["/bin/bash", "-ce", "tail -f /dev/null"]
kubectl edit deploy

4. 添加 MinIO服务失败

（1）报错

（2）原因分析

端口不能漏，–api不能漏

（3）解决方法

连接

mc config host add minio http://10.99.219.173:9000 minio minio123 --api S3v4

如需删除

mc config host remove minio

5.docker创建容器失败

（1）报错

（2）原因分析

容器名称重复

（3）解决方法

查看

docker ps -a

删除

docker rm -f a17f4299e7bd

成功：

docker run -p 9000:9000 --name minio -v /root/data:/data -v /root/config:/root/.minio minio/minio server /data

6.K8S如何快速创建Minio存储

（1）官方文档

MinIO Object Storage for Kubernetes — MinIO Object Storage for Kubernetes

（2）下载 MinIO 对象

curl https://raw.githubusercontent.com/minio/docs/master/source/extra/examples/minio-dev.yaml -O

（3）应用 MinIO 对象定义

kubectl apply -f minio-dev.yaml

命令输出应如下所示：

namespace/minio-dev created
pod/minio created

（4）验证 Pod 的状态

kubectl get pods -n minio-dev

（5）检索有关 Pod 状态的详细信息

kubectl describe pod/minio -n minio-dev

kubectl logs pod/minio -n minio-dev

（6）临时访问 MinIO S3 API 和控制台

使用以下命令将流量从 MinIO Pod 临时转发到本地计算机

#该命令在 shell 中处于活动状态时，将 pod 端口转发到本地计算机上的匹配端口。 该命令仅在 shell 会话中处于活动状态时起作用。 终止会话将关闭本地计算机上的端口。

#要配置对 Pod 的长期访问，需要在 Kubernetes 中配置 Ingress 或类似的网络控制组件，以路由进出 Pod 的流量。

kubectl port-forward pod/minio 9000 9090 -n minio-dev

（7）浏览器连接到 MinIO 服务器

通过在本地计算机上打开浏览器并导航到 来访问 MinIO 控制台。http://127.0.0.1:9001

使用凭据 登录控制台。 这些是默认的 root 用户凭证。minioadmin | minioadmin

（8）连接 MinIO 客户端

如果本地计算机已安装mc，请使用以下命令进行身份验证并连接到 MinIO 部署

mc alias set k8s-minio-dev http://127.0.0.1:9000 minioadmin minioadmin
mc admin info k8s-minio-dev


http://www.niftyadmin.cn/n/5370678.html

相关文章

Mysql大表添加字段失败解决方案

Mysql大表添加字段失败解决方案

背景 最近遇到一个问题&#xff0c;需要在user用户表千万级别数据中添加两个字段&#xff0c;发现老是加不上去&#xff0c;一直卡死。表数据量不仅大&#xff0c;而且是一个热点表&#xff0c;访问频率特别高&#xff0c;而且该表的访问是在一个大事务中。加字段的时候一直在…
阅读更多...
给定长度为n的01串s，有两种操作：1、交换相邻的两个字符，花费为1e12；2、删除一个字符，花费为1e12 + 1，求使s不递减的最少花费

给定长度为n的01串s，有两种操作：1、交换相邻的两个字符，花费为1e12；2、删除一个字符，花费为1e12 + 1，求使s不递减的最少花费

题目 思路&#xff1a; #include <bits/stdc.h> using namespace std; #define int long long #define pb push_back #define fi first #define se second #define lson p << 1 #define rson p << 1 | 1 const int maxn 1e6 5, inf 1e12, maxm 4e4 5, …
阅读更多...
automative

automative

car sevice car-lib
阅读更多...
排序算法---快速排序

排序算法---快速排序

原创不易&#xff0c;转载请注明出处。欢迎点赞收藏~ 快速排序是一种常用的排序算法&#xff0c;采用分治的策略来进行排序。它的基本思想是选取一个元素作为基准&#xff08;通常是数组中的第一个元素&#xff09;&#xff0c;然后将数组分割成两部分&#xff0c;其中一部分的…
阅读更多...
Flink 2.0 状态存算分离改造实践

Flink 2.0 状态存算分离改造实践

本文整理自阿里云智能 Flink 存储引擎团队兰兆千在 FFA 2023 核心技术&#xff08;一&#xff09;中 的分享&#xff0c;内容关于 Flink 2.0 状态存算分离改造实践的研究&#xff0c;主要分为以下四部分&#xff1a; Flink 大状态管理痛点 阿里云自研状态存储后端 Gemini 的存…
阅读更多...
mac IDEA基础配置和激活+maven配置+scala插件导入+scala文件打包

mac IDEA基础配置和激活+maven配置+scala插件导入+scala文件打包

文章目录 下载IDEA通过插件激活下载Maven在IDEA上配置Maven在IDEA上加载Scala插件在IDEA中创建Maven项目在IDEA上通过Maven打包scala文件 下载IDEA通过插件激活 IDEA从这里下载&#xff0c;下载首次登陆需要创建一个IntelliJ账号&#xff0c;登陆后点击start trail开启一个月的…
阅读更多...
springboot(ssm悦己美容院后台管理系统 美容院管理系统Java系统

springboot(ssm悦己美容院后台管理系统 美容院管理系统Java系统

springboot(ssm悦己美容院后台管理系统 美容院管理系统Java系统 开发语言&#xff1a;Java 框架&#xff1a;springboot&#xff08;可改ssm&#xff09; vue JDK版本&#xff1a;JDK1.8&#xff08;或11&#xff09; 服务器&#xff1a;tomcat 数据库&#xff1a;mysql 5…
阅读更多...
【前端高频面试题--Vuex篇】

【前端高频面试题--Vuex篇】

&#x1f680; 作者 &#xff1a;“码上有前” &#x1f680; 文章简介 &#xff1a;前端高频面试题 &#x1f680; 欢迎小伙伴们 点赞&#x1f44d;、收藏⭐、留言&#x1f4ac;前端高频面试题--Vuex篇 Vuex 的原理Vuex中action和mutation的区别Vuex 和 localStorage 的区别Re…
阅读更多...
最新文章

Copyright @ 2022~2023