javascript
腾讯云
vsprintf
android studio
云原生
性能优化
课程设计
LAMBDA
STM32CubeMX
ACL
TCP/UDP
实时音视频
ts
Python办公自动化
字符串替换
在线聊天室
期末网页作业
内联函数
B+树
数据介绍
ceph
2024/5/7 12:40:59
Ceph读写性能估算方法
发布于 2018-08-13 12:42
阅读原文：http://www.cccttt.me/blog/2018/04/10/ceph-performance-estimate
1、前言 最近在做Ceph性能测试相关工作，在测试初期由于没有得到理想的测试结果，因此对Ceph集群进行了优化，但是一直有个问题…
大白话 同步阻塞、同步非阻塞、异步非阻塞
同步阻塞（屌丝）
我去找小丽、小丽在忙，我就一直等着、直到她忙完了我再把她接走
同步非阻塞（玩家）
我去找小丽、小丽在忙，我不等着、等她忙完了给我发信息，我再把她接走
异步非阻塞…
分布式存储Ceph介绍及搭建
一：存储的类型
1.单机存储设备
●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储） IDE、SATA、SCSI、SAS、USB 接口的磁盘 所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储
●NAS（…
Linux centos 卸载 ceph
在CentOS上卸载Ceph的操作步骤：
1. 停止Ceph集群：首先，你需要停止Ceph集群中的所有服务。在每个节点上运行以下命令来停止所有服务 systemctl stop ceph.target 2. 卸载Ceph软件包：在每个节点上，使用yum包管理器卸载C…
bclinux aarch64 ceph 14.2.10 文件存储 Ceph File System, 需要部署mds： ceph-deploy mds
创建池
[rootceph-0 ~]# ceph osd pool create cephfs_data 64 pool cephfs_data created [rootceph-0 ~]# ceph osd pool create cephfs_metadata 32 pool cephfs_metadata created
cephfs_metadata 64 报错 官方说明：
元数据池通常最多可容纳几 GB 的数据。为…
Ceph IO流程及数据分布
1. Ceph IO流程及数据分布 1.1 正常IO流程图 步骤：
client 创建cluster handler。client 读取配置文件。client 连接上monitor，获取集群map信息。client 读写io 根据crshmap 算法请求对应的主osd数据节点。主osd数据节点同时写入另外两个副本节点数据。…
实操：搭建ceph群集并进行扩容恢复故障验证
文章目录一：基本环境二：IP配置，修改主机名三：配置其他基本环境3.1 配置host文件3.2 关闭防火墙和核心防护（三个节点都做）3.3 节点之间配置ssh免交互3.4 配置yum在线源（三个节点都做）…
aws redhat7.6安装ceph
问题1:aws redhat自带的yum 源缺少很多库，所以需要加第三方源 解决： yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm 问题2：安装ceph依然出错，依然缺少很多库。 解决： 1.替换re…
centos7升级内核和驱动以及安装ceph
sed -i ‘s/SELINUXenforcing/SELINUXdisabled/’ /etc/selinux/config systemctl stop firewalld systemctl disable firewalld export http_proxyhttp://...:8119 export https_proxyhttp://...:8119
yum -y install wget ntp vim epel-release #升级内核
wget http://mirr…
kvm创建镜像源导入openstack+ceph环境——code：1006报错解决方法
文章目录一：搭建kvm服务器1.1 安装系统，勾选cpu虚拟化1.2 准备kvm环境1.3 安装kvm所需要的软件1.4 重启验证1.5 开启libvirtd服务1.6 设置kvm网络二：centos镜像制作2.0 centos镜像制作思路2.1 将centos 7 、CentOS7-Base-163.repo和centos-cl…
JAVA解析XML的四种方式优缺点对比
1、示例XML为hello.xml，如下：
<?xml version"1.0" encoding"UTF-8"?>
<bookstore><book id"1"> <!-- id"1"---属性名和属性值 --><name>天龙八部</name><author&…
CentOS 7 单台物理机搭建Ceph集群
CentOS 7 单台物理机搭建Ceph集群学习ceph时，看到crush规则的时候，crush策略最小为osd，但是这个osd定义的是真实的osd还是指单块磁盘？为了验证一下，自己在CentOS7下用测试机模拟了一下单台机器使用一块磁盘搭建ceph。配…
leveldb 文档
1. leveldb 文档 1.1. index.md 1.1.1. 常规操作1.1.2. 进阶操作 1.2. impl.md1.3. File1.4. Log files1.5. Sort tables 1.5.1. manifest1.5.2. Current1.5.3. Info logs1.5.4. 其他 1.6. Level 0 1. leveldb 文档 文章目录1. leveldb 文档1.1. index.md1.1.1. 常规操作1.1.2…
Ceph rbd的寻址(rbd块文件的下载)
1. Ceph rbd 与 rgw的寻址(rbd块/对象存储文件的下载) 1.1. 索引的存储1.2. rbd 的寻址1.3. 小笔记1.4. rgw的寻址1.5. 数据恢复思路 1.5.1. 场景1.5.2. 思路 1. Ceph rbd 与 rgw的寻址(rbd块/对象存储文件的下载)
1.1. 索引的存储
ceph的索引都存储在omap中
rbd – 每个r…
OpenStack集成Ceph
1. 版本说明2. 前期准备 2.1. 创建keyring2.2. 创建pool2.3. 安装依赖包 3. glance 对接 3.1. glance-api.conf 4. 对接nova 4.1. libvirt配置4.2. nova conf配置 5. 对接cinder 5.1. /etc/cinder/cinder.conf5.2. virsh secret(所有计算节点)5.3. 配置cinder type 6. 测试 6.1…
rgw index对象存储在rocksdb中的组织形式
0.1. 定位index对象0.2. 分析rocksdb 0.1. 定位index对象
找到某个桶的bucket index对象
radosgw-admin bucket stats --bucket test
"id": "c96a8bc3-c206-46a9-9f4a-71f80f7a8e95.24169.1"查到他在哪个osd
ceph osd map default.rgw.buckets.index .…
Ceph fuse挂载
1. 前提2. 命令行3. fstab4. 关于fuse的挂载参数 无配置挂载，指定IP挂载 1. 前提
# 写入keyring到文件
echo -e "[client.admin]\nkey AQDk18FgMo7NABAA4ufuz3O6/0lE4vsVgHs1yQ" > /var/cephfs_keyring2. 命令行
# fuse挂载
ceph-fuse -m 10.10.10.…
一次CephFS性能分析
一次CephFS性能分析 1. 背景2. 性能分析思路 2.1. 理论值计算2.2. 实际操作下看能不能复现 2.2.1. 性能分析关注点2.2.2. 开始分析 2.2.2.1. ceph -s2.2.2.2. 查看mds服务2.2.2.3. 查看ceph osd perf2.2.2.4. 查看磁盘iostat2.2.2.5. 网络2.2.2.6. 客户端磁盘 3. 总结 1. 背景…
Ceph故障排除: 1 pool(s) do not have an application enabled
1. 现象
执行ceph -s时有报错:1 pool(s) do not have an application enabled
rootceph-mgr01:/apps# ceph -scluster:id: 86c42734-37fc-4091-b543-be6ff23e5134health: HEALTH_WARN1 pool(s) do not have an application enabledservices:mon: 3 daemons, quorum ceph-…
ceph环境下服务器定位慢盘的方法一例
ceph构建的分布式存储，对硬盘性能要求很高，有时硬盘SMART健康状态正常，但盘片可能存在问题了性能劣化，成为慢盘，导致分布式存储业务出现问题，此时在设备上尚无硬盘设备有故障灯，较难定位问题盘。本文探讨Linux环境下华为RH2288HV3服务器从操作系统层面定位慢盘的方法。 …
Ceph分布式存储系统优化分析
Ceph支持多种存储访问接口，现有的多种性能测试工具都可用于Ceph的性能测试，如测试块接口性能的fio，iometer等；测试CephFS接口的filebench，fio等;测试对象接口的cosbench等。Ceph有专用的基准测试集CBT，其包…
预告|万博智云CTO孙琦将出席2023 OpenInfra Days China，并发表最新容灾方案，欢迎报名参会！
2023年12月1日，北京海航万豪酒店将迎来一场令人瞩目的盛会——OpenInfra Days China 2023。 大会主题
本次活动是时隔两年来的首次线下盛会，聚集了全球社区的技术专家、行业领袖以及国内开源基础设施技术企业的代表，旨在交流研究OpenInfra基…
ceph集群重启之后节点掉线，健康检查出错的问题
一：重启之后出现报错
[rootct ~(keystone_admin)]# systemctl list-units --typeservice|grep cephceph-crash.service loaded active running Ceph crash dump collector
● ceph-mgrcomp2.service loaded failed fail…
Ceph入门到精通-Aws Iam(user,role,group,policy,resource)架构图和快速入门
-- Aws Iam(identity,user,role,group,policy,resource,)架构图和快速入门. 【官网】：Cloud Computing Services - Amazon Web Services (AWS) 应用场景
aws 云服务运维,devops过程中经常涉及各项服务，权限，角色的处理。 为了更好的使用各项…
记一次ceph排错过程
问题描述排错思路&排错过程思路笨办法排错过程 相对比较效率的办法 关于这儿提到的俩种解决思路(归根节点还是一种)，算是openstack对接ceph最基础的排错方式
问题描述
ceph作为openstack cinder的后端存储，在openstack创建云硬盘的时候报错&#…
对象存储S3权限控制
layout: post title: 对象存储S3权限控制 catalog: true tag: [Ceph, S3] 1. 背景 1.1. 需求1.2. 存在的问题 2. 几种已有方式的使用 2.1. 更改用户2.2. policy授权 2.2.1. example2.2.2. 设置2.2.3. 设置效果2.2.4. 参考示例 2.3. acl 3. 关于s3文档 1. 背景
1.1. 需求
A用户…
cephadm安装reef版本ceph集群
环境
操作系统 Rocky Linux 9.2 minimal
三个节点节点名称
ipmipub ipclus ipceph1192.168.255.8192.168.120.10ceph2192.168.255.9192.168.120.20ceph3192.168.255.10192.168.120.30
所有节点
yum -y install dmidecode vim wget lvm2 chrony epel-release yum-utils dev…
PureFlash v1.9.1特性介绍
PureFlashv1.9.1版本特性主要有4个：
1. 支持RDMA网络
使用RDMA协议可以大大减少对CPU的消耗，性能提升30%以上。
PureFlash的网络配置分为存储节点间网络（存储后端网）和客户端网络（前端网）。都支持使用RD…
用docker搭建Ceph集群之docker的基本概念以及操作
用docker搭建Ceph集群之docker的基本概念以及操作
Docker是一种开源的容器化技术，它可以让开发者将应用程序和相关的依赖项打包成一个可移植的容器，方便部署和管理。Docker可以在任何环境中运行，使得应用程序的部署变得更加简单和高效。
以…
Ceph的监控工具Dashboard安装部署，详细实战过程
Ceph的监控工具Dashboard安装部署
还是用之前的集群，老规矩，没有主机名的是所有节点都执行 安装mgr-dashboard，每个节点都要安装
yum install -y ceph-mgr-dashboard开启MGR的功能
ceph mgr module enable dashboard查看开启的模块
[root…
Ceph常用命令总结
查看集群健康状态
ceph -s 集群状态总览ceph health detail 集群状态详情ceph df 查看集群容量及使用率
osd相关
ceph osd tree 查看osd树形图ceoh osd df 查看osd使用率ceph osd df | sort -nr -k17 | head 查看osd使用率排序ceph osd down <ids> [<ids>...] 将…
基于鲲鹏平台Ceph深度性能调优
刘亮奇 架构师技术联盟 2021-04-12 07:50
摘自： https://mp.weixin.qq.com/s/o9HH-8TF0DbMqHrvsFh1NA 随着 IOT、大数据、移动互联等应用的暴涨，产生的数据也越来越多，整个存储市场总量也逐年增长，预计到 2021 年分布式存储会占到…
滴滴Ceph分布式存储系统优化之锁优化
摘自：https://mp.weixin.qq.com/s/oWujGOLLGItu1Bv5AuO0-A 2020-09-02 21:45
0.引言 Ceph是国际知名的开源分布式存储系统，在工业界和学术界都有着重要的影响。Ceph的架构和算法设计发表在国际系统领域顶级会议OSDI、SOSP、SC等上。Ceph社区得到Red Hat…
实操：搭建ceph集群+openstack_rocky
文章目录一：ceph基础环境二：ceph集群搭建三：安装步骤3.1 各节点关闭防火墙3.2 各节点安装pyhton-setuptools工具3.3 在openstack的控制节点，创建cph配置文件目录3.4 在控制节点安装ceph-deploy部署工具3.5 在三个节点安装ceph软件…
UOS/Ubuntu中ceph-deploy工具安装源问题解决方案
Ceph-Deploy 工具可用来装配起或拆除 Ceph 集群，Ceph-Deploy安装Ceph简单的同时也是Ceph官方推荐的默认安装工具，但是官方文档对作者这样的入门小白并不是很友好，网上关于UOS和Ubuntu（Debian发行版）可以解决问题的帖子…
ceph-deploy bclinux aarch64 ceph 14.2.10
ssh-copy-id，部署机免密登录其他三台主机
所有机器硬盘配置参考如下，计划采用vdb作为ceph数据盘 下载ceph-deploy pip install ceph-deploy 免密登录设置主机名
hostnamectl --static set-hostname ceph-0 .. 3 配置hosts
172.17.163.105 ceph-0
172.…
【分布式技术】分布式存储ceph部署
目录 一、存储的介绍
单机存储设备
单机存储的问题
商业存储
分布式存储
二、分布式存储
什么是分布式存储
分布式存储的类型
三、ceph简介
四、ceph的优点
五、ceph的架构
六、ceph的核心组件
七、OSD存储后端
八、Ceph 数据的存储过程
九、Ceph 版本发行生命周…
Failed to start Ceph object storage daemon osd.14
问题：ceph集群osd变为down的状态，并且重启osd也一直失败。 分析：
[rootshnode183 ~]# systemctl status ceph-osd14
● ceph-osd14.service - Ceph object storage daemon osd.14Loaded: loaded (/usr/lib/systemd/system/ceph-osd.service;…
【个人记录】ceph修改osd池副本数
执行ceph -s时提示： health: HEALTH_WARN3 pool(s) have no replicas configured显示有3个池没有配置副本。
在 Ceph 中，可以使用 ceph osd pool set 命令来配置 pool 的副本规则。要配置 pool 的副本规则为双副本，可以按照以下步骤进行操作…
一次ceph节点时钟同步异常排查总结
问题现象
ceph mon节点时钟同步异常：
$ sudo /var/lib/ceph/bin/ceph -scluster:id: 3fe6c651-2a0c-4f15-851b-7215536897ebhealth: HEALTH_WARNclock skew detected on mon.c$ sudo /var/lib/ceph/bin/ceph health detail
HEALTH_WARN clock skew detected o…
Ceph相关部署应用（博客）
这里写目录标题 Ceph相关部署应用一.存储基础1.单机存储设备2.商业存储解决方案3.分布式存储（软件定义的存储 SDS） 二.Ceph 简介1.Ceph2.Ceph 优势3.Ceph 架构4.Ceph 核心组件5.OSD 存储后端6.Ceph 数据的存储过程7.Ceph 版本发行生命周期8.Ceph 集群部署…
私有云平台搭建openstack和ceph结合搭建手册
OpenStack与云计算
什么是云？ 如何正确理解云，可以从以下几个方面。 云的构成。 用户：对用户而言是透明无感知的，不用关心底层构成，只需要知道利用云完成自己任务即可。 云提供商：对云资产管理和运维。 云…
【ceph】ceph关于清洗数据scrub的参数分析
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
mds备用的全部无法重启mds unable to obtain rotating service keys; retrying
问题：ceph集群突然mds全都无法启动，查询日志报错mds unable to obtain rotating service keys; retrying。 分析：节点时间不一致，ceph不但要求系统时间一致，还要求bios时间一致。 解决：
系统时间ntpdate调…
ceph mds dmaged造成cephfs崩掉的灾难性恢复
**问题：**未知原因，有可能是服务器搬离机柜造成的。也有可能是osd crash出错，数据丢失，cephfs无法提供服务，经查，是没有active的mds了，所有的mds都是standby状态，并且有两个是dmaged…
centos7.7源码安装ceph最新版+rdma
需求：为提升ceph性能，采用infiniband 网卡 rdma协议，ceph-deploy安装方式是不支持rdma协议的，故只能采用源码安装，把rdma参数编译进去。
环境准备
IPhostIOSkernel192.168.1.82host82centos7.74.19.6-1.el7.elrepo.x…
Ceph源码分析-在C++中，符号““和“*“有不同的用法。
在C中，符号"&"和"*"有不同的用法。 "&"符号： 在变量声明时，"&"用于定义引用类型。例如：int a 10; int& ref a; 这里的"ref"是一个引用，它引用了…
Ceph源码分析-在C++中，符号““和“*“有不同的用法。
在C中，符号"&"和"*"有不同的用法。 "&"符号： 在变量声明时，"&"用于定义引用类型。例如：int a 10; int& ref a; 这里的"ref"是一个引用，它引用了…
HEALTH_WARN 1 filesystem is degraded,一直在rejoin状态
问题：ceph多 mds机制下，重启mds有个cephfs出现degraded的状态，而且备份的mds一直在rejoin。 分析： 原因一：在某些mds备用不够的情况下，这个问题也可能会出现，应该是集群存储压力过大，…
ceph crush device classes(luminous)
转自https://ceph.com/community/new-luminous-crush-device-classes/
New in Luminous: CRUSH device classes
The flexibility of the CRUSH map in controlling data placement in Ceph is one of the system’s great strengths. It is also one of the most painful and…
Ceph问题及解决办法
问题1
创建存储池之后出现 100.000% pgs not active，导致后续 rbd 命令执行时卡住不返回？
解决办法：
cd /etc/ceph/
ceph osd getcrushmap -o /etc/ceph/crushmap
crushtool -d /etc/ceph/crushmap -o /etc/ceph/crushmap.txt
sed -i s/st…
Ceph基本操作—存储池、块设备
1. 存储池
创建存储池：8 个 PG
$ ceph osd pool create data-pool 8 8
pool data-pool created列出存储池：
$ ceph osd pool ls
data-pool查看存储池的统计信息：
$ rados df
POOL_NAME USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UN…
Java访问Ceph数据的相关细节
Ceph很多公司内部已经进行了部署，当然也有很多公司使用阿里的OSS或者亚马逊的S3。在现在硬件廉价的大环境下，更多的公司愿意把自己的数据内容自我保管，实现企业私有云。下面我们来看一下如何使用Java技术栈来访问Ceph。
1. 部署LIBRADOS环境…
Linux中对象存储压测工具-cosbench安装配置使用详解
因部署完对象存储，需要进行性能测试，使用到cosbench，进而稍加整理至此
一、介绍：
COSBench 是一个用于测试云对象存储系统的分布式基准测试工具，也允许用户为额外的存储系统创建适配器。
由两个主要组件组成
Drive…
Ceph分布式存储系列（七）：对象存储RGW和S3cmd的安装配置及常用命令
承接上文Ceph分布式存储系列（二）：ceph-deploy方式部署三节点ceph集群
这里就不详细介绍对象存储了，感兴趣可以在这里查看： Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理 …
Ceph分布式存储系列（四）：Pool相关命令及池快照snapshot的创建删除与回滚恢复
Pool简介：
pool是ceph存储数据时的逻辑分区，它起到namespace的作用。每个pool包含一定数量(可配置) 的PG。PG里的对象被映射到不同的Object上。pool是分布到整个集群的。 pool可以做故障隔离域，根据不同的用户场景不统一进行隔离。
支持两种…
API资源对象StorageClass；Ceph存储；搭建Ceph集群；k8s使用ceph
API资源对象StorageClass;Ceph存储;搭建Ceph集群;k8s使用ceph
API资源对象StorageClass
SC的主要作用在于，自动创建PV，从而实现PVC按需自动绑定PV。
下面我们通过创建一个基于NFS的SC来演示SC的作用。
要想使用NFS的SC，还需要安装一个NFS…
Ceph分布式存储系列（三）：Ceph集群在线扩容及OSD相关命令
承接上文：Ceph分布式存储系列（二）：ceph-deploy方式部署三节点ceph集群 通常情况下，因业务等一系列问题，导致集群扩容是一种常见且难以避免的事情，所以这次还是基于上一篇部署的三节点Ceph集群再…
Ceph分布式存储系列（二）：ceph-deploy方式部署三节点ceph集群
承接上文：Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理 之前都是使用Deepsea方式部署的ceph，长时间不用ceph-deploy了，这次来回顾，顺便总结下！
前言： ceph-deplo…
Ceph分布式存储系列（五）：pool池限制大小的方式
pool池不能和卷一样创建的时候指定大小，但是提供了限制配额的功能
两种限制方式：
限制池内的object数 （max_objects）限制池内的存储数据大小（max_bytes）
简单来说，其实就几条命令而已
查看池…
![[RDMA] 高性能异步的消息传递和RPC :Accelio](https://img-blog.csdnimg.cn/img_convert/13c2ab4b266e20d9af2fb2b17866dd8d.webp?x-oss-process=image/format,png)
[RDMA] 高性能异步的消息传递和RPC :Accelio
1. Introduce
Accelio是一个高性能异步的可靠消息传递和RPC库，能优化硬件加速。 RDMA和TCP / IP传输被实现，并且其他的传输也能被实现，如共享存储器可以利用这个高效和方便的API的优点。Accelio 是 Mellanox 公司的RDMA中间件，用…
K8S 生态周报| Istio v1.7.1 发布
“「K8S 生态周报」内容主要包含我所接触到的 K8S 生态相关的每周值得推荐的一些信息。欢迎订阅知乎专栏「k8s生态」[1]。”Istio v1.7.1 发布这是 Istio v1.7 系列的第一个 patch 版本。此次更新有些值得注意的内容：#26625 修复了 istioctl x authz check 使其能更…
Ceph 故障排查笔记 | 万字经验总结
Ceph OSD 异常无法正常启动当某个 OSD 无法正常启动时：$ ceph -scluster:id: b313ec26-5aa0-4db2-9fb5-a38b207471eehealth: HEALTH_WARNDegraded data redundancy: 177597/532791 objects degraded (33.333%), 212 pgs degraded, 212 pgs undersizedapplicatio…
Kubernetes Pod 突然就无法挂载 Ceph RBD 存储卷了。。
该文章随时会有校正更新，公众号无法更新，欢迎订阅博客查看最新内容：https://fuckcloudnative.io前言Kubernetes 坑不坑？坑！Ceph 坑不坑？坑！他俩凑到一起呢？巨坑！之前在 K…
在 Kubernetes 中部署高可用 Harbor 镜像仓库
该文章随时会有校正更新，公众号无法更新，欢迎订阅博客查看最新内容：https://fuckcloudnative.io前言系统环境：kubernetes 版本：1.18.10Harbor Chart 版本：1.5.2Harbor 版本：2.1.2Helm 版本&…
腾讯云存储专家深度解读基于Ceph对象存储的混合云机制
背景
毫无疑问，乘着云计算发展的东风，Ceph已经是当今最火热的软件定义存储开源项目。如下图所示，它在同一底层平台之上可以对外提供三种存储接口，分别是文件存储、对象存储以及块存储，本文主要关注的是对象存储即rados…
关于Ceph产品化的一些感悟
Ceph作为一款十年历史的开源分布式产品，其稳定性、可用性确实得到业界的普遍认可。2014年我们基于Ceph给用户提供的一个管理系统，到目前为止仅出现了两次问题，其中一次是硬件问题，一次是使用方式不当的问题。作为一个开源产品&…
使用bcache为Ceph OSD加速的具体实践
本文为Ceph中国行•武汉站上，杉岩数据高级研发工程师花瑞做的内容分享，闲言少叙，直接上干货。
1.Ceph中使用SSD部署混合式存储的两种方式目前在使用Ceph中使用SSD的方式主要有两种：cache tiering与OSD cache，众所周知&…
cephadm bootstrap命令使用
运行引导程序命令
运行命令：ceph bootstrap cephadm bootstrap --mon-ip *<mon-ip>*此命令将： 在本地为新集群创建监视器和管理器守护程序 主机。 为 Ceph 集群生成新的 SSH 密钥并将其添加到根目录 用户的文件。/root/.ssh/authorized_keys …
ceph-cursh规则实战及PGS unknown 问题处理
问题描述： [rootceph-mon01 ~]# ceph -s cluster: id: 92d4f66b-94a6-4c40-8941-734f3c44eb4f health: HEALTH_ERR 1 filesystem is offline 1 filesystem is online with fewer MDS than max_mds 1 pools have many more objects per pg than average Reduced …
Ceph入门到精通-cephadm bootstrap命令大全
默认情况下，Ceph 守护进程将其日志输出发送到 stdout/stderr，后者被选中 由容器运行时（Docker或Podman）启动，并（在大多数系统上）发送到 日记。如果您希望 Ceph 将传统日志文件写入 ，…
Ceph入门到精通- 选择硬件的一般原则
第 2 章。选择硬件的一般原则 作为存储管理员，您必须选择适当的硬件来运行生产红帽 Ceph 存储集群。为红帽 Ceph 存储选择硬件时，请查看以下一般原则。这些原则将有助于节省时间，避免常见错误，节省资金并实现更有效的解决方案。 先…
Ceph入门到精通- storcli安装
storcli 是LSI公司官方提供的Raid卡管理工具，storcli已经基本代替了megacli，是一款比较简单易用的小工具。将命令写成一个个的小脚本，会将使用变得更方便。
安装简单，Windows系统下解压出来以后可以直接运行。
Linux系统默认位置…
Ceph对象存储使用
文章目录 对象存储简介RadosGW简介RadosGW配置RGW使用的存储池配置rgw使用的http端口配置rgw使用https配置rgw高可用 客户端s3cmd测试数据读写创建rgw用户安装s3cmd客户端配置s3cmd访问rgw测试数据读写bucket授权 对象存储简介
对象存储是无层次结构的数据存储方法，…
Ceph：关于 Ceph 存储架构的一些笔记整理
写在前面 准备考试，整理 Ceph 相关笔记博文内容涉及，Ceph 架构/核心组件和对应的映射介绍理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所…
Ceph入门到精通-使用 Ceph 编排器管理 OSD
第6章.使用 Ceph 编排器管理 OSD 作为存储管理员，您可以使用 Ceph 编排器来管理红帽 Ceph 存储集群的 OSD。 6.1. Ceph OSD 当红帽 Ceph 存储集群启动并运行时，您可以在运行时将 OSD 添加到存储集群。
Ceph OSD 通常由一个存储驱动器的一个守护进程及其节点中的关联日志组成…
用docker搭建Ceph集群（基于nautilus版本）
用docker搭建Ceph集群（基于nautilus版本）
在本文中，我们将使用Docker搭建Ceph集群。我们将使用nautilus版本，这是Ceph的最新长期支持版本。
步骤1：安装Docker
首先，我们需要安装Docker。可以在Docker官网…
Centos stream 8 使用 cephadm 安装 Ceph (17.2.6 quincy)集群
一、环境
1、机器列表
名称IP角色备注cephnode12010.0.49.120_admin双网卡 双硬盘/sda/60G /sdb/160Gcephnode12110.0.49.121_storage双网卡 双硬盘/sda/60G /sdb/160G cephnode12210.0.49.122_storage双网卡 双硬盘/sda/60G /sdb/160G 2 、软件环境
[rootcephnode120 …
Ceph入门到精通-Cephadm：在重新安装的服务器上重用 OSD
Cephadm：在重新安装的服务器上重用 OSD 发表于 二月 8， 2021 by ebl 这是我关于 cephadm 的第二篇博文，cephadm 是部署和管理 Ceph 集群的（相对）新工具。我不时感到受到ceph用户邮件列表或客户问题的挑战，然…
Windows 下挂载使用 CephFS
一、Ceph集群搭建和CephFS创建
参考上期文章
Centos stream 8 使用 cephadm 安装 Ceph (17.2.6 quincy)集群_阿波罗.2012的博客-CSDN博客
二、将CephFS挂载到Windows Server 2019下
1、准备Dokany 下载地址：Release 1.5.1.1000 dokan-dev/dokany GitHub
下载…
k8s如何使用ceph rbd块存储（静态供给、存储类动态供给）
目录 前言安装ceph集群ceph集群创建rbd块存储rbd块存储不支持ReadWriteManyk8s配置rbd块存储（静态供给）创建secret创建pv创建pvck8s节点安装客户端依赖包部署pod查看pod验证是否持久化 k8s配置rbd块存储（动态供给）查看官网ceph集群…
一文看懂分布式存储 Ceph 架构原理
【摘要】本文带你层层深入Ceph的架构原理、读写原理，从而理解Ceph的特性及其应用场景。
1. 什么是Ceph？
首先，我们从 Ceph的官方网站上，可以看到：“Ceph is a unified, distributed storage system designed for exc…
ceph分布式存储实战
ceph分布式存储实战
分布式存储系统简介 性能与优势对比
虚拟机安装ceph集群 ceph存储系统简介
分布式存储概述 ceph基础 高可用ceph分布式存储系统部署
部署ceph集群 节点管理 ceph使用基础及数据存储案例 PG状态、数据读写流程及存储池操作 mon服务器的高可用: # apt in…
Ceph：关于Ceph 集群如何访问的一些笔记
写在前面 准备考试，整理 Ceph 相关笔记博文内容涉及,Ceph 集群四种访问方式介绍及 Demo，Ceph 客户端支持的操作介绍理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意…
Ceph入门到精通-分布式存储产品的测试实践
分布式存储产品的测试实践
在分布式存储产品的测试过程中，测试到底做了些什么事情呢？
一：测试工作内容
需求，设计评审 测试需要参与到每一个过程中 在设计评审的时候就需要知道验收的标准，这是最重要的开始。因为这…
Ceph Reef版本 RBD 性能测试：80万写IOPS（10节点、60个NVMe SSD）
2023-05-16 08:30 发表于上海
摘自：https://mp.weixin.qq.com/s/mKkPElmCktoZaRk0m0IbqA
1、背景 Ceph 社区最近冻结了即将发布的 Ceph Reef 版本，今天我们研究一下 Ceph Reef 版本在 10 个节点、60 个 NVMe 磁盘的集群上的 RBD 性能。 在确保硬件没有…
Ceph入门到精通-Linux下Ceph源码编译和GDB调试
Ceph版本：14.2.22 Linux版本：ubuntu-server 18.04 第一部分 下载Ceph源码
1.1 配置Ceph源码镜像源
Ceph源码是托管在Github上，由于某些原因，国内访问Github网站很慢，所以需要从其他途径加速获取源码。Github官方给出…
异步编程框架Seastar介绍
使用Seastar进行异步(Asynchronout)编程
介绍
我们在本文中介绍的Seastar，是一个用于在现代多核机器上，编写高效复杂的服务器应用程序的C库。
传统上，用于编写服务器应用程序的编程语言库和框架已经分为两个不同的阵营：那些注重…
ceph删除坏的磁盘
在Ceph集群中，查看和处理坏掉的磁盘主要涉及到以下几个步骤：检查磁盘状态、从集群中删除坏磁盘、最后是物理或逻辑地替换坏掉的磁盘。请注意，处理Ceph集群的操作需要谨慎执行，并确保在操作前你有足够的备份和恢复计划
1. 查看集群…
Minio VS Ceph
1. 概述2. 对比 [2.1. 软件整体对比1 2](#21-软件整体对比1-2) 2.1.1. 语言与代码量及技术栈 2.1.1.1. 编译时间2.1.1.2. 技术栈 [2.1.2. License 3](#212-license–4) 2.1.2.1. LGPL2.1.2.2. AGPLv3 2.1.3. 文档2.1.4. 社区支持 2.2. 对象存储功能对比 2.2.1. 数据存储 2.3. 致…
Kubernetes集成Ceph
1. 版本2. 块存储 2.1. 准备2.2. csi模式–当前使用 2.2.1. 配置configmap2.2.2. 配置secret2.2.3. 配置rbac2.2.4. 配置provisioner和node plugins2.2.5. 配置storageclass 2.3. external-storage模式 – 版本陈旧不再使用 2.3.1. 配置provisioner2.3.2. 创建clusterstorage2.…
【北亚企安数据恢复】Ceph存储介绍Ceph数据恢复流程
Ceph存储基本架构： Ceph存储可分为块存储，对象存储和文件存储。Ceph基于对象存储，对外提供三种存储接口，故称为统一存储。 Ceph的底层是RADOS(分布式对象存储系统)，RADOS由两部分组成：OSD和MON。 MON负责监…
ceph对象三元素data、xattr、omap
这里有一个ceph的原则，就是所有存储的不管是块设备、对象存储、文件存储最后都转化成了底层的对象object，这个object包含3个元素data，xattr，omap。data是保存对象的数据，xattr是保存对象的扩展属性，每个对象…
Ceph集群安装部署
Ceph集群安装部署 目录 Ceph集群安装部署 1、环境准备 1.1 环境简介1.2 配置hosts解析(所有节点)1.3 配置时间同步2、安装docker(所有节点)3、配置镜像 3.1 下载ceph镜像(所有节点执行)3.2 搭建制作本地仓库(ceph-01节点执行)3.3 配置私有仓库(所有节点执行)3.4 为 Docker 镜像…
ceph相关概念和部署
Ceph 可用于向云提供 Ceph 对象存储 平台和 Ceph 可用于提供 Ceph 块设备服务 到云平台。Ceph 可用于部署 Ceph 文件 系统。所有 Ceph 存储集群部署都从设置 每个 Ceph 节点，然后设置网络。
Ceph 存储集群需要满足以下条件：至少一个 Ceph 监控器&#x…
Ceph基本环境配置
基本环境准备
准备三台服务器（服务器至少需要添加两块磁盘）以及一台客户端，最好配置时间同步同时再次配置hosts解析。
node1192.168.134.160node2192.168.134.161node3192.168.134.162node4192.168.134.163客户端
配置免密登录
[rootnode…
【ceph】配置 ceph dashboard 详细配置过程
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
使用bcache加速hdd的原理及简单应用示例
bcache 是一种简单有效的方法，通过使用小容量高速磁盘（如 SSD ）让大容量的低速磁盘（通常为 HDD ）展现出与高速磁盘相近的性能。例如我们在 ceph 生产环境中，利用 bcache 将小容量的 SSD 盘作为一组大容量 H…
简述ceph文件储存系统
Ceph 是一个统一的分布式存储系统和共享机制，它定义了数据如何存储在一个或多个节点上并呈现给其他机器以供文件访问。 Ceph特点
高性能 a. 摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。 b.考…
分布式存储技术（上）：HDFS 与 Ceph的架构原理、特性、优缺点解析
面对企业级数据量，单机容量太小，无法存储海量的数据，这时候就需要用到多台机器存储，并统一管理分布在集群上的文件，这样就形成了分布式文件系统。HDFS是Hadoop下的分布式文件系统技术，Ceph是能处理海量非结…
Kubernetes集群部署Rook Ceph实现文件存储，对象存储，块存储
Kubernetes集群部署Rook Ceph部署Ceph集群
1. Rook Ceph介绍
Rook Ceph是Rook项目中的一个存储方案，专门针对Ceph存储系统进行了优化和封装。Ceph是一个高度可扩展的分布式存储系统，提供了对象存储、块存储和文件系统的功能，广泛应用于提供…
自下而上-存储全栈（TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4）存储技术专家成长路线
数字化时代的到来带来了大规模数据的产生，各行各业都面临着数据爆炸的挑战。 随着云计算、物联网、人工智能等新兴技术的发展，对存储技术的需求也越来越多样化。不同应用场景对存储的容量、性能、可靠性和成本等方面都有不同的要求。具备存储技术知识和技…
【云原生】k8s集群部署Rook+Ceph云原生存储
文章目录 一、Rook介绍二、Ceph介绍三、部署Rook和Ceph3.1 前置准备3.2 部署Rook3.3 部署Ceph集群3.4 部署ceph dashboard 四、部署Rook工具箱五、部署RBD StorageClass 一、Rook介绍
Rook 官网地址：https://rook.io 是一个自管理的分布式存储编排系统，…
分布式存储Ceph应用
Ceph应用一、创建 CephFS 文件系统 MDS 接口1、服务端操作2、客户端操作 二、创建 Ceph 块存储系统 RBD 接口1、创建存储池2、将存储池转换为 RBD 模式3、初始化存储池4、创建镜像5、镜像管理5.1 查看镜像5.2 修改镜像大小5.3 删除和还原镜像 6、Linux客户端使用7、快照管理 三…
一名普通Cepher到Curver的转变史
原文链接
一名普通Cepher到Curver的转变史 - 知乎
写在前面
首先，需要说明的是，我也一直认为Ceph是非常优秀的开源存储软件，想起来我接触Ceph也有好几年之久了，Ceph除了为我带来了知识上的收获，还为我带来了生活上的…
ceph分布式存储部署
一、概述 是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
特点
1、统一存储 虽然 ceph 底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口。所以在开源存储软件中，能够一统江湖。至于能不能千秋万…
Python数据结构大结局：DataFrame
这是 利用Excel学习Python 系列的第7篇文章前一篇文章提到了序列,可以理解为Excel里没有列名的一列数据,那么Excel里的由行列组成的表数据是如何对应到Python中的呢？就是今天要说的数据框：DataFrame。它是由一组数据和一对索引（行索引和列索引…
Ceph分布式存储的简单介绍与Ceph集群的部署搭建
文章目录 1. 存储的概述1.1 单机存储设备1.1.1 DAS（直接附加存储）1.1.2 NAS（网络附加存储）1.1.3 SAN（存储区域网络） 1.2 单机存储的缺陷1.3 分布式存储（软件定义的存储 SDS）1.4 分布…
Linux日志管理-logrotate（crontab定时任务、Ceph日志转储）
文章目录 一、logrotate概述二、logrotate基本用法三、logrotate运行机制logrotate参数 四、logrotate是怎么做到滚动日志时不影响程序正常的日志输出呢？Linux文件操作机制方案一方案二 五、logrotate实战--Ceph日志转储参考 一、logrotate概述
logrotate是一个用于…
LoongArch单机Ceph Bcache加速4K随机写性能测试
LoongArch单机Ceph Bcache加速4K随机写性能测试
两块HDD做OSD
[rootceph01 ~]# fio -direct1 -iodepth128 -thread -rwrandwrite -ioenginelibaio -bs4k -size100G -numjobs1 -runtime600 -group_reporting -namemytest -filename/dev/rbd0
mytest: (g0): rwrandwrite, bs(R)…
ceph虚拟机搭建（单节点、多节点）
步骤1.修改主机名（即节点名） 1） sed -i ‘/HOSTNAME/d’ /etc/sysconfig/network echo “HOSTNAME主机名” >> /etc/sysconfig/network cat /etc/sysconfig/network 2） echo “IP地址 主机名” >> /etc/hosts cat /et…
Ceph分布式存储自动化运维平台开发实践
文章目录 1. 背景介绍1.1 什么是Ceph？1.1.1 Ceph的核心组件1.1.2 Ceph的优势 1.2 自动化运维的需求目标 2. 平台架构设计和组件版本2.1 平台架构设计2.2 组件版本2.3 模块划分（已经脱敏处理）2.3.1 当前版本V1.0支持功能2.3.2 前后端代码结构t…
Ceph入门到精通-常见Nginx服务器故障处理
目的：
在Nginx服务器出现故障时，能快速定位并解决相关错误。概述：
Nginx常见错误与问题之解决方法技术指南。安装环境：
系统环境：redhat enterprise 6.5 64bit1、Nginx 常见启动错误有的时候初次安装nginx的时候会报这…
ceph数据分布式存储
单机存储的问题 存储处理能力不足 传统的IDE的IO值是100次/秒，SATA固态磁盘500次/秒，固态硬盘达到2000-4000次/秒。即使磁盘的IO能力再大数十倍，也不够抗住网站访问高峰期数十万、数百万甚至上亿用户的同时访问，这同时还要受到主机…
Crimson：高性能，高扩展的新一代 Ceph OSD
背景
随着物理硬件的不断发展，存储软件所使用的硬件的情况也一直在不断变化。
一方面，内存和 IO 技术一直在快速发展，硬件的性能在极速增加。在最初设计 Ceph 的时候，通常情况下，Ceph 都是被部署到机械硬盘上&#x…
非常详细的 Ceph 介绍、原理、架构
1. Ceph架构简介及使用场景介绍
1.1 Ceph简介 Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过…
在Bcache上启动OSD报unable to read osd superblock错误
环境信息
环境具体信息架构LoongArch处理器Loongson-3C5000内核版本4.19操作系统版本lns8Ceph版本Nautilus 14.2.22Ceph Cluster单机最小集群，一个Monitor，两个OSD，一个ManagerPAGESIZE16384
[rootceph01 ~]# getconf PAGESIZE
16384问题描…
Ceph 分布式存储
Ceph概述
存储基础
单机存储设备 ●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储） IDE、SATA、SCSI、SAS、USB 接口的磁盘 所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储
●NAS（网络附加存…
Ceph qos 限速
因为1 Mbps 1,000,000 bps rbd_qos_bps_limit、rbd_qos_read_bps_limit和rbd_qos_write_bps_limit都是与RBD（Rados Block Device）的QoS（Quality of Service，服务质量）相关的参数，用于限制I/O操作的速率。这…
rancher rook-ceph踩坑之旅
安装参考官方文档就行
说几个踩的坑：
sudo yum install -y lvm2All nodes with available raw devices will be used for the Ceph cluster. At least three nodes are required，这个很重要！我在安装zookeeper的时候就会报莫名其妙的错误&a…
使用rook搭建Ceph集群
宿主机：
MacBook Pro（Apple M2 Max）
VMware Fusion Player 版本 13.0.2 VM软硬件：
ubuntu 22.04.2
4核 CPU，5G 内存，40G硬盘
*每台机器分配硬件资源很重要，可以适当超过宿主机的资源量&am…
查询统计Ceph上的pg 总数
本文中的命令的第一版来源于国外的一个博客，后面的版本为我自己修改的版本
查询的命令如下：
ceph pg dump | awk /^pg_stat/ { col1; while($col!"up") {col}; col }/^[0-9a-f]\.[0-9a-f]/ { match($0,/^[0-9a-f]/); poolsubstr($0, RSTART,…
“杉岩两语”企业级CEPH之路—：iSCSI优化与实践
本文作者：杉岩数据CTO邱尚高 从开源到商用，一款企业级产品需要走过的路和踩过的坑还有很多很多，有些人过来了，有些人还在路上，而有些人则陷入了坑里……
本文为杉岩数据CTO邱尚高在ceph中国行深圳站上的分享࿰…
BlueStore源码分析之事务状态机
前言
BlueStore可以理解为一个支持ACID的本地日志型文件系统。所有的读写都是以Transaction进行，又因为支持覆盖写，所以写流程设计的相对复杂一些，涉及到一系列的状态转换。我们着重分析一下状态机、延迟指标以及如何保证IO的顺序性和并发性…
Ceph对象存储的基本概念、使用以及优点（基于nautilus版本）
Ceph对象存储的基本概念、使用以及优点（基于nautilus版本）
Ceph是一个分布式对象存储系统，能够提供高性能、高可靠性和可扩展性。在Ceph中，数据被存储为对象，每个对象都有一个唯一的标识符，称为对象ID。对…
Ceph分布式存储 原理+架构图详解
存储基础
单机存储设备 ●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储） IDE、SATA、SCSI、SAS、USB 接口的磁盘 所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储
●NAS（网络附加存储&#x…
关于 Ceph 存储集群配置的一些笔记
写在前面 Ceph 考试整理笔记，老师总结基础上，略有补充博文内容涉及： ceph 集群的配置简单介绍永久和零时修改集群配置文件集群 Mon 的配置集群身份验证的配置集群多网络的配置 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有…
OpenStack对接Ceph平台
OpenStack对接Ceph平台 目录 OpenStack对接Ceph平台 1、创建后端需要的存储池(ceph-01节点操作)2、创建后端用户 2.1 创建密钥(ceph-01节点操作) 2.1.1 创建用户client.cinder2.1.2 创建用户client.glance2.1.3 创建用户client.cinder-backup2.2 导出密钥(ceph-01节点操作)2.3 …
Ceph入门到精通-LVS基础知识
LB集群: （Load Balancing）即负载均衡集群,其目的是为了提高访问的并发量及提升服务器的性能，其 实现方式分为硬件方式和软件方式。 硬件实现方式： 常用的有 F5公司的BIG-IP系列、A10公司的AX系列、Citrix公司的 NetScaler系列…
ceph集群的扩容缩容
文章目录 集群扩容添加osd使用ceph-deploy工具手动添加 添加节点新节点前期准备新节点安装ceph，出现版本冲突 ceph-deploy增加节点 集群缩容删除osd删除节点 添加monitor节点删除monitor节点使用ceph-deploy卸载集群 实验所用虚拟机均为Centos 7.6系统，8…
Ceph入门到精通-OSD waring 设置建议
OSD
以下检查表明 OSD 节点存在问题。 警告 1 在 /var/lib/ceph/osd 中找到的多个ceph_fsid值。 这可能意味着您正在托管许多集群的 OSD 此节点或某些 OSD 配置错误以加入 您期望的集群。 2 设置可能会导致数据丢失，因为如果 未达到最小值，Ceph 将不会确…
Ceph入门到精通-Lunix性能分析工具汇总
出于对Linux操作系统的兴趣，以及对底层知识的强烈欲望，因此整理了这篇文章。本文也可以作为检验基础知识的指标，另外文章涵盖了一个系统的方方面面。如果没有完善的计算机系统知识，网络知识和操作系统知识，文档中的工具…
ceph架构及 IO流程
CEPH是由多个节点构成的集群，它具有良好的可扩展性和可靠性。节点之间相互通信以达到：
存储和检索数据
数据复制
监控集群的健康状况
保证数据的完整性
检测故障并恢复
基本架构如下图： 分布式对象存储系统RADOS是CEPH最为关键的技术&a…
Kylin v10 编译安装ceph 15.2.17
1. 环境：
ceph：octopus（15.2.17） OS：Kylin-Server-V10_U1-Release-Build02-20210824-GFB-x86_64 2. 基础环境准备
2.1 配置软件源
vim /etc/yum.repos.d/kylin_x86_64.repo
###Kylin Linux Advanced Server 10 - o…
Ceph入门到精通-大流量10GB/s LVS+OSPF 高性能架构
LVS 和 LVSkeepalived 这两种架构在平时听得多了，最近才接触到另外一个架构LVSOSPF。这个架构实际上是LVSKeepalived 的升级版本，我们所知道LVSKeepalived 架构是这样子的： 随着业务的扩展，我们可以对web服务器做水平扩展…
Ceph入门到精通-大流量10GB/s支持OSPF(ECMP)-LVS 集群
Keepalived-LVS 能够提高集群的高可用性并增加后端检测功能、简化配置，满足常规需求。但Keepalived-LVS集群中，同一个VIP只能由一台设备进行宣告，为一主多备的架构，不能横向拓展集群的性能，为此我们引入OSPF来解决该问…
Linux学习--Ceph部署
前期准备
资源下载 链接: https://pan.baidu.com/s/1Yof-X-fD8kYLSmLAWFo5Ug 提取码: txj5
环境准备
主机名 IP地址
ceph1 192.168.88.11/24
ceph2 192.168.88.12/24
ceph3 192.168.88.13/24
client1 192.168.88.10/24
pubserver 192.168.88.240/24在pubserver上配置ansible…
Ceph入门到精通-如何编译安装Quagga？
Quagga
1. 理论部分
1.1 软件简介
Quagga中文翻译斑驴，是一种先进的路由软件包，提供一套基于TCP/IP的路由协议。
1.2 斑驴的应用场景
– 使得操作系统变成专业的路由 – 使得操作系统具有与传统路由通过路由协议直接对接
1.3 斑驴支持的路由协议
…
Ceph入门到精通-FAQ-display ospf error中，各个Error值的含义是什么
发布时间: 2015-02-13 | 浏览次数: 4738 | 下载次数: 0 | 文档编号： EKB1000068090
目录
问题描述解决方案
问题描述
Q：display ospf error中，各个Error值的含义是什么？
解决方案
A： 1、General pac…
Ceph入门到精通-lunix将文本5行合成1行并按列统计
要将每5行合并为1行，您可以使用shell命令来完成。假设您有一个名为text.txt的文本文件，您可以使用以下命令来实现：
bash cat text.txt | paste -d - - - - -
这将把文件中的每5行合并为1行，并且每个字段之间用空格分隔开来。您…
ceph中PGLog处理流程
ceph的PGLog是由PG来维护，记录了该PG的所有操作，其作用类似于数据库里的undo log。PGLog通常只保存近千条的操作记录(默认是3000条， 由osd_min_pg_log_entries指定)，但是当PG处于降级状态时，就会保存更多的日志&#x…
Ceph入门到精通-C++入门知识点
C中的双冒号(::)是作用域分解运算符（scope resolution operator）。
它主要有以下两种用法：
用于区分同名的不同成员，例如在不同类中声明了同名的成员函数或成员变量，可以使用A::B的方式来特指A类的B成员。当全局变量…
Ceph入门到精通- 加快日志轮转
提高 Ceph 组件的调试级别可能会产生大量数据。如果您几乎有完整的磁盘，可以通过修改 /etc/logrotate.d/ceph 中的 Ceph 日志轮转文件来加快日志轮转。Cron 作业调度程序使用此文件来调度日志轮转。
先决条件
一个正在运行的 Red Hat Ceph Storage 集群。节点的根…
Ceph入门到精通-进入维保模式设置命令set noout
设置 noout、norecover、norebalance、nobackfill、nodown 和 pause 标志。在具有客户端密钥环的节点上运行以下命令：例如，Ceph Monitor 或 OpenStack 控制器节点： [rootmon ~]# ceph osd set noout
[rootmon ~]# ceph osd set norecover
[ro…
一体机新品亮相，XSKY软件定义存储的初心与梦想
画风一转，软件定义存储厂商XSKY开始玩硬核啦！
近日，XSKY正式推出了其软件定义存储一体机产品XSCALER EXPRESS 2000（以下简称“XE2000”）。XSKY创始人兼CEO胥昕透露：“在酝酿和准备四年之后，XSK…
Ceph分布式存储系统搭建
目录 安装部署示例
（一）准备环境
1). 设置主机名
2). 关闭防火墙
3).添加sdb磁盘并格式化
4).配置hosts解析文件
5).配置免密登录
6).同步时区
7). 安装 Ceph 包
（二）创建 Ceph 集群
1、 安装ceph-deploy管理工具
2、 …
高级运维学习（八）Ceph 概述与部署
ceph概述 ceph可以实现的存储方式： 块存储：提供像普通硬盘一样的存储，为使用者提供“硬盘”文件系统存储：类似于NFS的共享方式，为使用者提供共享文件夹对象存储：像百度云盘一样，需要使用单独的客…
Kubernetes 使用 ceph-csi 消费 RBD 作为持久化存储
本文详细介绍了如何在 Kubernetes 集群中部署 ceph-csi（v3.1.0），并使用 RBD 作为持久化存储。需要的环境参考下图：本文使用的环境版本信息：Kubernetes 版本：$ kubectl get node
NAME STATUS ROLES …
rook-ceph的使用
目录 前言什么是rook先决条件开始部署rookcluster.yaml文件讲解查看cephcluster查看pod安装ceph-toolbox客户端工具启用ceph-dashboard访问dashboard删除rook-ceph集群 前言
环境：centos 7.9 k8s 1.22.17
为什么要是使用rook部署ceph？从官网https://do…
Ceph入门到精通-基于ECMP的多活负载均衡策略
本文简单介绍一下，如何基于ECMP，使用QuaggaLVSKeepalived构建多活负载均衡方案 1. 背景介绍
负载均衡，主要用于大规模分布式集群下，提供高性能服务。为了给负载均衡器提供高可用，一般利用主备或者主主模式实现。主备模…
ceph源码阅读 buffer
ceph::buffer是ceph非常底层的实现，负责管理ceph的内存。ceph::buffer的设计较为复杂，但本身没有任何内容，主要包含buffer::list、buffer::ptr、buffer::hash。这三个类都定义在src/include/buffer.h和src/common/http://buffer.cc中。 buffe…
ceph源码阅读 erasure-code
1、ceph纠删码
纠删码(Erasure Code)是比较流行的数据冗余的存储方法，将原始数据分成k个数据块(data chunk)，通过k个数据块计算出m个校验块(coding chunk)。把nkm个数据块保存在不同的节点，通过n中的任意k个块还原出原始数据。EC包含编码和解…
Ceph EC pg backfill run
pg的backfill请求也是发送到osd的work queue中与业务IO一起竞争。
PGRecovery::run backfill 57 void PGRecovery::run( 58 OSD *osd, 59 OSDShard *sdata, 60 PGRef& pg, 61 ThreadPool::TPHandle &handle) 62 { 63 osd->do_recovery(pg.get(), epoch_queued…
Ceph入门到精通-Nginx 大量请求 延迟优化
优化nginx以处理大量请求并减少延迟可以通过以下几种方法实现：
调整worker_processes和worker_connections参数：增加worker_processes值可以增加nginx的进程数量，提高并发处理能力。增加worker_connections参数的值可以增加每个worker进程可…
Ceph BlueStore 和双写问题
论开源分布式存储，Ceph大名鼎鼎。用同一个存储池融合提供块存储、对象存储、集群文件系统。在国内有近年使用量迅速攀升。
大型公司内部研发云虚拟化平台，常使用开源方案Openstack或者Kubernetes，配套的为虚机或容器提供块存储的开源方案&am…
Ceph构件及组件分析
Ceph存储架构
Ceph 存储集群由几个不同的daemon组成，每个daemon负责Ceph 的一个独特功能并。每个守护进程是彼此独立的。 下面将简要介绍每个Ceph组件的功能： RADOS（Reliable Autonomic Distributed Object Store, RADOS）
RADOS…
Ceph入门到精通-sysctl参数优化
sysctl.conf 是一个文件，通常用于在 Linux 操作系统中配置内核参数。这些参数可以控制网络、文件系统、内存管理等各方面的行为。
99-xx.yml 可能是一个文件名，其中 99- 是一个特定的命名约定。在 sysctl.conf 文件中，通常会有一个特定的顺序…
BlueStore BlueFS rocksdb 关联性梳理
Tag: ceph 12.2.4
BlueStore空间初始化 BlueStore磁盘空间管理
总述
OSD挂载目录基于文件系统管理，Slow、WAL、DB空间区域基于裸盘管理；Slow区域：此类空间主要用于存储对象数据，由BlueStore管理，其中分配于BlueFS空…
ceph Monitor原理和代码流程介绍
Monitor介绍
Monitor在Ceph集群中扮演管理者的角色，维护了整个集群的状态，集群的状态被抽象成几个Map对象，包括monmap、osdmap、mdsmap、authmap、logmap等，保证集群的相关组件在同一时刻能够达成一致，相当于领导层。…
Ceph PG Peering数据修复
ceph数据修复 当PG完成了Peering过程后，处于Active状态的PG就可以对外提供服务了。如果该PG的各个副本上有不一致的对象，就需要进行修复。
Ceph的修复过程有两种：Recovery和Backfill。
Recovery是仅依据PG日志中的缺失记录来修复不一致的对…
基于 ceph-deploy 部署 Ceph 集群 超详细
Ceph part1 一、存储基础1.1 单机存储设备1.2 单机存储的问题1.3 单机存储问题的解决方案1.3.1 商业存储解决方案1.3.2 分布式存储（软件定义的存储 SDS） 二、分布式存储2.1 常见的分布式存储2.2 分布式存储的类型 三、Ceph概述3.1 Ceph简介3.2 Ceph 优势…
ceph 分布式存储与部署
目录 一、存储基础： 1.单机存储设备： 2. 单机存储的问题： 3. 商业存储解决方案： 4. 分布式存储： 5. 分布式存储的类型：
二、Ceph 简介：
三、Ceph 优势：
四、Ceph 架构：…
Ceph入门到精通-生产日志级别设置
Ceph 子系统及其日志记录级别的信息。
了解 Ceph 子系统及其日志记录级别
Ceph 由多个子系统组成：
每个子系统都有其日志记录级别：
默认情况下存储在 /var/log/ceph/ 目录中的输出日志（日志级别）存储在内存缓存中的日志&#…
ceph源码阅读之AioCompletion回调机制分析
Aio即Async IO，AioCompletion即Async Io Completion，也就是Async IO完成时的回调处理制作，librados设计AioCompletion就是为了提供一种机制对Aio完成时结果码的处理。而处理函数则由使用者来实现。
设计
相关类设计 librados设计了两个类&a…
ceph15集群,虚拟机宕机1台
问题：ceph4虚拟机异常，无法开机启动 处理办法：删除osd,重新搭建ceph4服务器
1.查看集群状态
[rootceph1 ~]# #查看ceph集群状态
[rootceph1 ~]# ceph -scluster:id: edc14ccc-1be5-11ee-9de8-005056b00968health: HEALTH_WARN1 hosts f…
Ceph入门到精通-Macvlan网络模式
Docker中的Macvlan网络模式提供了一种将容器直接连接到宿主机网络的方式，使得容器可以拥有自己的MAC地址和与宿主机网络的直接连接。以下是使用Macvlan网络模式的一般步骤： 创建Macvlan网络： docker network create -d macvlan --subnet<s…
Ceph入门到静态-deep scrub 深度清理处理
9.6 洗刷 REPORT DOCUMENTATION BUG#
除了为对象创建多个副本外，Ceph 还可通过洗刷归置组来确保数据完整性（请参见第 1.3.2 节 “归置组”了解有关归置组的详细信息）。Ceph 的洗刷类似于在对象存储层运行 fsck。对于每个归置组，C…
Ceph入门到精通-CEPH故障以其处理方法
1. Slow OSD heartbeats # ceph -shealth: HEALTH_WARN Slow OSD heartbeats on back (longest 6181.010ms) Slow OSD heartbeats on front (longest 5953.232ms)
OSDs之间会相互测试（ping）访问速度，若两个OSDs之间的连接延迟高…
Ceph入门到精通-ceph pool 删除导致 misplaced 的原因
misplaced 的原因
Ceph中的misplaced对象是指将对象（或对象的副本）存储在错误的位置上，这可能会导致性能下降或数据不一致的问题。在删除Ceph池时，可能会导致misplaced的原因有以下几个： 删除过程中的操作失误&#x…
开源分布式存储系统（HDFS、Ceph）架构分析
文章目录 中间控制节点架构-HDFSNameNode节点分析DataNode节点分析SecondNameNode节点分析Client分析 完全无中心架构-CephCeph Monitor分析Ceph OSD分析Ceph Manager分析Ceph Clients分析 小结HDFS优点缺点 Ceph优点缺点 参考 中间控制节点架构-HDFS
以HDFS（ Hado…
Ceph入门到精通-设置和取消设置 Ceph 覆盖选项
要覆盖 Ceph 的默认行为，请使用 ceph osd set 命令和您要覆盖的行为： ceph osd set FLAG 设置行为后，ceph health 将反映您为集群设定的覆盖。 要覆盖 Ceph 的默认行为，请使用 ceph osd unset 命令以及您想要的覆盖。 ceph osd u…
Ceph入门到精通-centos8 install brctl
在centos7上是可以直接yum安装bridge-utils的，但是centos8不行
经过分析 brctl有提供centos的rpm包，里面只有一个二进制脚本，所以直接下载安装即可
rpm -ivh http://mirror.centos.org/centos/7/os/x86_64/Packages/bridge-utils-1.5-9.el7…
Centos7 Devstack [Rocky]对接ceph存储
1.搭建ceph服务器，如有需求可参考上一篇博文；
Devstack环境cinder、glance、nova各配置文件需要进行配置如下：
配置/etc/cinder/cinder.conf
在[DEFAULT]下面设置后端
default_volume_type rbd-1（默认卷类型，可选…
分布式存储系统Ceph应用详解
Ceph的应用 一、Ceph 存储池(Pool)1.1 Ceph存储池的基本概念1.2 原理1.3 一个Pool资源池应该包含多少PG数？1.4 Ceph 存储池相关管理命令1.4.1 创建1.4.2 查看1.4.3 修改1.4.4 删除 二、 CephFS文件系统MDS接口三、创建CephFS文件系统MDS接口3.1 服务端操作Step1 在管…
Ceph 中的写入放大
新钛云服已累计为您分享769篇技术干货 介绍 Ceph 是一个开源的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph 独一无二地在一个统一的系统中同时提供了对象、块、和文件存储功能。 Ceph 消除了对系统单一中心节点的依赖，实现了无中…
关于 Ceph 的一些维护工作总结
OSD的状态可能在ceph集群内（in）或集群外（out），也可能处于运行中（up）或者不运行中（down）。
OSD处于UP状态时，可能处于集群内（in）或集群…
openEuler部署Ceph集群(块存储)
openEuler部署Ceph集群1 目标2 环境2.1 服务器信息2.2 软件信息3 部署流程3.1 获取系统镜像3.2 创建虚拟机3.3 配置虚拟机3.3.1 配置互信3.3.2 关闭防火墙3.3.3 配置免密登录3.3.4 配置NTP3.3.4.1 安装NTP服务3.3.4.2 配置NTP服务端3.3.4.3 配置NTP客户端3.3.4.4 启动NTP服务3.…
【Ceph Cluster】完全删除Ceph集群
注意：在执行这些步骤之前，请确保你已经备份了所有重要的数据，并且你明白这些步骤将永久删除 Ceph 集群。 停止 Ceph 服务： systemctl stop ceph.target卸载 Ceph 包：卸载 Ceph 相关的软件包，使用你的 Linux…
Ceph入门到精通-存储集群ceph df 用量统计算法说明
3.2.5. Ceph 如何计算数据使用量
used 值反映了使用的实际原始存储量。xxx GB / xxx GB 代表可用的存储（其中较小的数字）和总存储容量。总容量反映了在复制、克隆或快照前存储数据的大小。因此，实际存储的数据量通常会超过名义上的存储量。这…
linux————ceph分布式部署
目录
一、概述
特点
1、统一存储
2、高扩展性
3、可靠性强
4、高性能
组件
1、Monitor
2、OSD
3、MOD
4、Objet
5、PG
6、RADOS
7. Libradio
8. CRUSH
9. RBD
10. RGW
11. CephFS
架构图
二、准备工作
三、ceph安装
创建集群目录
修改配置文件
安装
初…
CEPH分布式文件系统
一 存储基础 //单机存储设备 ●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储） IDE、SATA、SCSI、SAS、USB 接口的磁盘 所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储 ●NAS（网络附加存储&…
k8s1.19使用ceph14
一、静态 pv （rbd）方式
1、所有k8s节点安装依赖组件
注意：安装ceph-common软件包推荐使用软件包源与Ceph集群源相同，软件版本一致。
cat > /etc/yum.repos.d/ceph.repo << EOF
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_…
高级运维学习（九）块存储、文件系统存储和对象存储的实现
块存储基础
块设备存取数据时，可以一次存取很多。字符设备只能是字符流
[rootceph1 ~]# ll /dev/sda
brw-rw---- 1 root disk 8, 0 Dec 12 13:15 /dev/sda
# b表示block，块设备[rootceph1 ~]# ll /dev/tty
crw-rw-rw- 1 root tty 5, 0 Dec 12 13:31 /d…
基于kubesphere的k8s环境部署单点版本的rook-ceph
文章目录 前言一、rook-ceph是什么？二、开始部署1.环境准备2.软件包准备3.下载rook-ceph文件4. 部署operator5.创建ceph集群6.创建工具容器，检查集群状态7.准备dashboard的nodeport端口映射服务8.准备prometheus的metric端口映射服务 总结 前言
基于kub…
Ceph入门到精通-Linux内核网络参数优化小结
tcp建连优化
1 tcp建连，降低客户端超时时间
net.ipv4.tcp_syn_retries 6
2 tcp建连，服务端避免syn攻击
netstat -s | grep "SYNs to LISTEN" 1192450 SYNs to LISTEN sockets dropped
可以考虑增大syn队列
net.ipv4.tcp_max_syn_backlo…
ceph版本和Ceph的CSI驱动程序
ceph版本和Ceph的CSI驱动程序 ceph查看ceph版本Ceph的CSI驱动程序 ceph ceph版本和Ceph的CSI驱动程序 查看ceph版本
官网ceph-releases-index
Ceph的CSI驱动程序
Ceph的CSI驱动程序 https://github.com/ceph/ceph-csi
在一台Ubuntu服务器中部署Ceph分布式存储
环境
OS：Linux 5.15.0-82-generic #91-Ubuntu SMP Mon Aug 14 14:14:14 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux ceph version 17.2.6 (d7ff0d10654d2280e08f1ab989c7cdf3064446a5) quincy (stable)
准备
#安装GPG证书
curl -fsSL http://mirrors.aliyun.com/…
【Ceph Block Device】块设备挂载使用
文章目录 前言创建pool创建user创建image列出image检索image信息调整image大小增加image大小减少image大小 删除image从pool中删除image从pool中“延迟删除”image从pool中移除“延迟删除的image” 恢复image恢复指定pool中延迟删除的image恢复并重命名image 映射块设备格式化i…
Ceph 笔记， ssh写入缓存
硬件建议 — Ceph 文档
写入缓存
企业级 SSD 和 HDD 通常包括断电保护功能，包括 在运行时断电时确保数据耐久性，以及 使用多级缓存来加快直接或同步写入速度。这些设备 可以在两种缓存模式之间切换 -- 刷新到的易失性缓存 具有 fsync 的持久性媒体&a…
迷你Ceph集群搭建（超低配设备）
我的博客原文链接：https://blog.gcc.ac.cn/post/2023/%E8%BF%B7%E4%BD%A0ceph%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA/
环境
机器列表：
IP角色说明10.0.0.15osdARMv7，512M内存，32G存储，百兆网口10.0.0.16clientARM64…
ceph-deploy bclinux aarch64 ceph 14.2.10【2】vdbench rbd 块设备rbd 测试失败
上篇
ceph-deploy bclinux aarch64 ceph 14.2.10-CSDN博客 安装vdbench
下载vdbench
下载页面
Vdbench Downloads (oracle.com)
包下载
需要账号登录，在弹出层点击同意才能继续下载 用户手册
https://download.oracle.com/otn/utilities_drivers/vdbench/vdb…
【个人记录】Ceph添加OSD
目标
1.已存在Ceph集群2.添加node1盘 /dev/nvme1n1 /dev/nvme2n1进入ceph集群
步骤
1.格式化磁盘
ceph-deploy disk zap node1 /dev/nvme1n1 /dev/nvme2n12.添加磁盘到osd
ceph-deploy osd create --data /dev/nvme1n1 node1
ceph-deploy osd create --data /dev/nvme2n1 …
【ceph】AI时代-数据为王-ceph存储将成为未来比较看好的赛道之一，为什么不all in一把学习一个不那么卷的赛道呢？
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
【ceph】ceph集群在执行ceph-volume命令卡住了，惊住了！
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
分布式存储系统——ceph
目录
一、分布式存储类型
1、块存储
2、文件存储
3、对象存储 二、ceph概述
1、ceph简介
2、ceph的优势
3、ceph架构
1）RADOS 基础存储系统（Reliab1e，Autonomic，Distributed object store
2）LIBRADOS 基础库 …
S3 client向ceph上传文件注意事项
背景：
众所知周，AWS S3 client功能强大，能与各类符合OSS标准的存储进行工作。本项目中刚好用到ceph，就是直接使用S3 java client上传文件。在根据ceph官网的的一些文档操作时遇到一些问题，这里记录下来，仅…
Linux块设备缓存Bcache使用
1 Bcache简介
Bcache是Linux内核块层cache，它使用SSD来作为HDD硬盘的cache，从而起到加速作用。Bcache内核模块仅在Linux 3.10及以上版本支持，因此使用Bcache，需要将内核升级到3.10及以上版本，并在内核配置项中打开Bca…
分布式存储系统Ceph应用组件介绍
1、 无中心架构分布式存储Ceph
Ceph是一套开源的分布式存储系统。具有可靠性高，性能优良，可伸缩，与HDFS不同的地方在于，该架构中没有中心节点。
Ceph优点在于它不单单是存储，同时还充分利用了存储节点上的计算能…
Ceph入门到精通-bluestore IO流程及导入导出
bluestore
直接管理裸设备，实现在用户态下使用linux aio直接对裸设备进行I/O操作 写IO流程： 一个I/O在bluestore里经历了多个线程和队列才最终完成，对于非WAL的写，比如对齐写、写到新的blob里等，I/O先写到块设备上&am…
Ceph入门到精通-恢复BlueStore中对象数据
1.基本原理介绍
1.1 ceph中的对象(object)
在Ceph存储中，一切数据最终都会以对象(Object)的形式存储在硬盘（OSD）上，每个的Object默认大小为4M。 通过rados命令，可以查看一个存储池中的所有object信息，例如…
Ceph：关于Ceph 中创建和管理自定义 CRUSH Map
写在前面 准备考试，整理 Ceph 相关笔记博文内容涉及，管理和定制CRUSH Map以及管理OSD Map理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所…
Ceph源代码主要目录和文件介绍
Ceph14.2.22源代码：https://download.ceph.com/tarballs/
ceph-14.2.22根目录 【admin】：管理工具，用于架设文档服务器等 【cmake】：Ceph对cmake的支持 【debian】：用于制作debian（Ubuntu）安…
Ceph-deploy跳过gpg-key验证（离线环境安装Ceph）
问题
CentOS-7.6.1810离线环境搭建Ceph环境时出现gpg-key安装源公钥检查错误。原因是执行ceph-deploy install 命令的服务器无法访问互联网。具体报错如下图： 解决
安装命令后新增--no-adjust-repos参数即可跳过安装 GPG 密钥。 命令如下：
ceph-deplo…
Ceph入门到精通-网络调优netstat -s
netstat -s 统计结果 每个指标含义及值是否正常 Tcp:66115434 active connection openings92137410 passive connection openings13925035 failed connection attempts28188907 connection resets received29397 connections established85972524908 segments received30324088…
ceph rados对象存储索引残留问题排查与处理
问题现象
对象存储存储桶无法删除，检查发现生命周期过期后存储桶中有文件残留，未完全删除，但实际访问文件时为404，通过s3cmd无法删除对象，且无报错。
问题定位
检查bucket当前状态，发现桶内有大量object…
ceph-deploy bclinux aarch64 ceph 14.2.10【3】vdbench fsd 文件系统测试
接上
ceph-deploy bclinux aarch64 ceph 14.2.10-CSDN博客
https://blog.csdn.net/hknaruto/article/details/134347935 fsd.conf
本地也采用远程连接的方式，方便后续扩增到局域网其他机器
hddefault,vdbench/root/vdbench,userroot,shellssh
hdhd1,systemceph-…
ceph修复pg inconsistent（ scrub errors）
异常情况
1、收到异常情况如下:
OSD_SCRUB_ERRORS 12 scrub errors
PG_DAMAGED Possible data damage: 1 pg inconsistentpg 6.d is activeremappedinconsistentbackfill_wait, acting [5,7,4]2、查看详细信息
登录后复制
#ceph health detail
HEALTH_ERR 12 scrub errors…
bclinux aarch64 ceph 14.2.10 对象存储 http网关 CEPH OBJECT GATEWAY Civetweb
相关内容
bclinux aarch64 ceph 14.2.10 文件存储 Ceph File System, 需要部署mds： ceph-deploy mds-CSDN博客
ceph-deploy bclinux aarch64 ceph 14.2.10【3】vdbench fsd 文件系统测试-CSDN博客
ceph-deploy bclinux aarch64 ceph 14.2.10【2】vdbench rbd 块设…
ceph集群移除物理节点
1. 概述
ceph分布式存储在生产或者实验环境，经常涉及到物理节点加入或者删除，本文仅对移除物理节点的相关步骤做了操作记录，以方便需要时查阅。 2. 移除物理节点
2.1 out掉相应osd
操作之前通过ceph -s确保整个集群状态是OK的，…
【ceph】ceph集群删除pool报错： “EPERM: pool deletion is disabled“
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
【ceph】ceph集群中使用多路径(Multipath)方法
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
【星海出品】云存储 ceph
https://ceph.com/en/ ceph组件介绍 Monitor 一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据。 OSD OSD全称Object Storage Device，也就是负责响应客户端请求返回具体数据的进程。一个Ceph集群一般都有…
K8S集群实践之九: Ceph
Rook is an open source cloud-native storage orchestrator, providing the platform, framework, and support for Ceph storage to natively integrate with cloud-native environments.1. 说明
因香橙派和树莓派资源所限，转移到基于VirtualBox建立的VMs继续实践…
【ceph】ceph集群的节点机器重启，导致磁盘的lvm消失，如何恢复呢～～满满的都是干货
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
openEuler 22.03 LTS x86_64 cephadm 部署ceph 16.2.14 未完成 笔记
环境 准备三台虚拟机
10.47.76.94 node-1 10.47.76.95 node-2 10.47.76.96 node-3 下载cephadm
[rootnode-1 ~]# yum install cephadm Last metadata expiration check: 0:11:31 ago on Tue 21 Nov 2023 10:00:20 AM CST. Dependencies resolved. Package …
Ceph分布式存储系统的介绍及详细安装部署过程：详细实战版（保姆级）
Ceph简介
Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。 在经过了数年的发展之后，目前…
cephadm部署ceph quincy版本
环境说明
IP主机名角色 存储设备 192.168.2.100 master100 mon,mgr,osd,mds,rgw 大于5G的空设备192.168.2.101node101mon,mgr,osd,mds,rgw大于5G的空设备192.168.2.102node102mon,mgr,osd,mds,rgw大于5G的空设备
关闭防火墙
关闭并且禁用selinux
配置主机名/etc/hosts
…
Ceph----RBD块存储的使用：详细实践过程实战版
RBD 方式的 工作 流程：
1、客户端创建一个pool，并指定pg数量，创建 rbd 设备并map 到文件系统； 2、用户写入数据，ceph进行对数据切块，每个块的大小默认为 4M，每个 块名字是 object序号ÿ…
ceph高可用、手动安装
操作系统：centos8
三台服务器：
192.168.6.22：mon,mgr,mds,osd
192.168.6.23：mon,mgr,mds,osd
192.168.6.24：mon,mgr,mds,osd
正式环境osd和mon不应该在一个节点，建议osd单独服务器安装。
ceph版本&am…
Ceph----CephFS文件系统的使用：详细实践过程实战版
CephFS 介绍
是一个基于 ceph 集群 且兼容 POSIX 标准的文件系统。 创建 cephfs 文件系统时 需要在 ceph 集群中添加 mds 服务，该服务 负责处理 POSIX 文件系统中的 metadata 部分， 实际的数据部分交由 ceph 集群中的 OSD 处理。
cephfs 支持以内核模块…
【ceph】传统分区和vg lvm 创建osd
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
【运维面试100问】（七）ceph基础题面试
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
【ceph】ceph生产常见操作之一---ceph扩容以及注意事项
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
【ceph】ceph的硬件使用磁盘柜有多路径，节点显示有多个盘符的时候，应该怎么操作去创建osd呢？
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
Rook-ceph(1.12.9最新版)
官网的步骤
git clone --single-branch --branch v1.12.9 https://github.com/rook/rook.git
cd rook/deploy/examples
kubectl create -f crds.yaml -f common.yaml -f operator.yaml
kubectl create -f cluster.yaml整理后的已经替换好的国内镜像的
git clone https://gite…
rook-ceph部署
rook是云原生存储编排器，本身不提供存储。 下载
git clone --single-branch --branch v1.11.4 https://github.com/rook/rook.git
cd rook/deploy/examples 修改镜像地址images.txt operator方式部署rook
kubectl apply -f crds.yaml -f common.yaml -f operator…
【ceph】ceph集群的故障域是怎么快速修改导入导出
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
qemu 使用 ceph rbd 存储块
在cinder 集群之外安装 qemu
# 好像需要开启
yum install epel-release -y
yum install qemu -y在 客户 机上 放置 授权文件 qemu-img {command} [options] rbd:glance-pool/maipo:idglance:conf/etc/ceph/ceph.conf
由于 qemu 命令 需要 /etc/ceph/ceph.conf 以及 keyring
…
ceph编译报错解决
1.执行./install-deps.sh提示deb无法安装 解决方案： 直接使用dpkg -i来安装deb，会提示缺失3个库，库名如下： cython python dh-systemd 其中cython和python手动安装好后，也会依旧报错。此时修改debian/control文件&…
cephadm部署ceph quincy版本，使用ceph-csi连接
环境说明
IP主机名角色 存储设备 192.168.2.100 master100 mon,mgr,osd,mds,rgw 大于5G的空设备192.168.2.101node101mon,mgr,osd,mds,rgw大于5G的空设备192.168.2.102node102mon,mgr,osd,mds,rgw大于5G的空设备
关闭防火墙
关闭并且禁用selinux
配置主机名/etc/hosts
…
半夜三更的，Proxmox VE集群的ceph OSD磁盘挂了
这几天centreon监控频频报警，提示ceph pg 错误，用 ceph health detail 确定不一致的pgs，然后用指令 ceph pg repair pg_num 进行修复，通过查看系统日志，有IO错误，修复一次，能管半天，…
Ceph入门到精通-smartctl 查看硬盘参数
smartctl 参数含义
Model Family: Toshiba s... Enterprise Capacity HDD
Device Model: TOSHIBA MG08ACss
Serial Number: sssssss
LU WWN Device Id: 5 ss ss
Firmware Version: 4303
User Capacity: 16,000,900,661,248 bytes [16.0 TB]
Sector Sizes: 51…
ceph集群搭建详细教程（ceph-deploy）
ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。
实验环境
服务器主机public网段IP（对外服务）cluster网段IP（集群通信&#x…
ceph的osd盘删除操作和iscsi扩展
ceph的osd盘删除操作 拓展:osd磁盘的删除(这里以删除node1上的osd.0磁盘为例)
1, 查看osd磁盘状态
[rootnode1 ceph]# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.00298 root default
-3 0.00099 host node10 hdd 0.000…
bclinux aarch64 ceph 14.2.10 云主机 性能对比FastCFS vdbench
部署参考
ceph-deploy bclinux aarch64 ceph 14.2.10-CSDN博客
ceph-deploy bclinux aarch64 ceph 14.2.10【3】vdbench fsd 文件系统测试-CSDN博客
ceph 14.2.10 aarch64 非集群内 客户端 挂载块设备-CSDN博客
FastCFS vdbench数据参考
bclinux aarch64 openeuler 20.03 …
【ceph】使用 upmap 在 OSD 上手动重新平衡数据，比前面用reweight、balance香多了
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
【ceph】如何打印一个osd的op流程，排查osd在干什么
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
Ceph入门到精通-TCP和UDP相关的指标
Tcp_OutSegs: 这是一个表示TCP发送的数据段数量的指标。每当TCP发送一个数据包（或称为一个段）时，这个计数器就会增加。 Tcp_InSegs: 这是一个表示TCP接收的数据段数量的指标。每当TCP接收到一个数据包时，这个计数器就会增加。 Soc…
Ceph入门到精通- smartctl -l error检查硬盘指标
“smartctl -l error” 是一个 Linux 命令，用于查看磁盘驱动器的 SMART (Self-Monitoring, Analysis and Reporting Technology) 错误日志。SMART 是一种技术，能够监测硬盘驱动器的状态并提供关于硬盘健康状况的信息。
运行该命令后，你将看到…
ubuntu22.04离线手动安装openstack yoga和ceph quincy
目录 写在前面材料准备一. OpenStack部1. 创建虚拟网络和虚拟机2. 配置离线环境3. 环境准备3.1 配置网络3.2 配置主机名并配置解析3.3 时间调整3.4 安装openstack客户端3.5 安装部署MariaDB3.6 安装部署RabbitMQ控制节点操作3.7 安装部署Memcache控制节点操作 4. 部署配置keyst…
【个人记录】Ceph删除OSD
目标
在ceph集群中踢出osd1
操作
下线OSD1
ceph osd out 1移除集群
ceph osd crush remove osd.1删除节点数据
ceph auth del osd.1
ceph osd rm 1查看是否生效
ceph osd tree快速脚本
#!/bin/bash
id$1
echo "删除OSD:$id"
ceph osd out $id
ceph osd crush…
Ceph Large omap objects现象及原理分析
Large omap objects现象
以下是真实的问题场景，以此文进行记录并分享。 Q1：集群出现了Large omap objects告警，这是什么问题？有什么影响？
Q2：Large omap objects告警的触发条件是什么？
Q3&am…
Mantle: A Programmable Metadata Load Balancer for the Ceph File System——论文泛读
SC 2015 Paper 元数据论文阅读汇总
问题
优化Ceph的元数据局部性和负载平衡。
现有方法
提高元数据服务性能的最常见技术是在专用的元数据服务器（MDS）节点之间平衡负载 [16, 25, 26, 21, 28]。常见的方法是鼓励独立增长并减少通信，使用诸…
![[ceph] ceph之分布式存储](https://img-blog.csdnimg.cn/direct/1541ac519b294d9086d2579cb9c7813d.png)
[ceph] ceph之分布式存储
分布式存储的类型 ●块存储（例如硬盘，一般是一个存储被一个服务器挂载使用，适用于容器或虚拟机存储卷分配、日志存储、文件存储） 就是一个裸设备，用于提供没有被组织过的存储空间，底层以分块的方式来存储数…
3-分布式存储之Ceph
任务背景
虽然使用了分布式的glusterfs存储, 但是对于爆炸式的数据增长仍然感觉力不从心。对于大数据与云计算等技术的成熟, 存储也需要跟上步伐. 所以这次我们选用对象存储. 任务要求
1, 搭建ceph集群
2, 实现对象存储的应用 任务拆解
1, 了解ceph
2, 搭建ceph集群
3, 了…
ceph-deploy 遇到的使用问题
目录 问题一、RuntimeError: bootstrap-osd keyring not found; run gatherkeys问题二、 stderr: Error EEXIST: entity osd.0 exists but key does not match问题三：RuntimeError: command returned non-zero exit status: 1 问题一、RuntimeError: bootstrap-osd …
bclinux aarch64 ceph 14.2.10 云主机 4节点 fio
ceph -s 由于是基于底层分布式存储的云主机，数据仅供参考 本地云盘性能 direct1
1M读取 IOPS134, BW134MiB/s
[rootceph-client rbd]# cd / [rootceph-client /]# fio -filenamefio.bin -direct1 -iodepth 128 -thread -rwread -ioenginelibaio -bs1M -size10G -n…
【分布式技术】ELK大型日志收集分析系统
目录
步骤一：完成JAVA环境部署
步骤二：部署ES节点（三台主机）
步骤三：内核参数修改
步骤四：web端查看验证
步骤五：yum安装nginx 步骤六：完成logstash部署
步骤七：部…
Ubuntu20.04使用cephadm部署ceph集群
文章目录 Requirements环境安装Cephadm部署Ceph单机集群引导（bootstrap）建立新集群 管理OSD列出可用的OSD设备部署OSD删除OSD 管理主机列出主机信息添加主机到集群从集群中删除主机 部署Ceph集群 Cephadm通过在单个主机上创建一个Ceph单机集群࿰…
初识Ceph --组件、存储类型、存储原理
目录 ceph组件存储类型块存储文件存储对象存储 存储过程 ceph
Ceph（分布式存储系统）是一个开源的分布式存储系统，设计用于提供高性能、高可靠性和可扩展性的存储服务，可以避免单点故障，支持块存储、对象存储以及文件系…
Ceph学习 -6.Nautilus版本集群部署
文章目录 1.集群部署1.1 环境概述1.1.1 基础知识1.1.2 环境规划1.1.3 小结 1.2 准备工作1.2.1 基本环境1.2.2 软件安装1.2.3 小结 1.3 Ceph部署1.3.1 集群创建1.3.2 部署Mon1.3.3 小结 1.4 Ceph部署21.4.1 Mon认证1.4.2 Mgr环境1.4.3 小结 1.5 OSD环境1.5.1 基本环境1.5.2 OSD实…
Ceph分布式存储（1）
目录
一.ceph分布式存储
Ceph架构（自上往下）
OSD的存储引擎：
Ceph的存储过程：
二. 基于 ceph-deploy 部署 Ceph 集群
20-40节点上添加3块硬盘，一个网卡：
10节点为admin，20-40为node&…
【分布式技术】分布式存储ceph之RGW接口
目录 1、对象存储概念 2、创建 RGW 接口
//在管理节点创建一个 RGW 守护进程
#创建成功后默认情况下会自动创建一系列用于 RGW 的存储池
#默认情况下 RGW 监听 7480 号端口
//开启 httphttps ，更改监听端口
#更改监听端口
//创建 RadosGW 账户 …
Ceph学习 - 1.存储知识
文章目录 1.存储基础1.1 基础知识1.1.1 存储基础1.1.2 存储使用 1.2 文件系统1.2.1 简介1.2.2 数据存储1.2.3 存储应用的基本方式1.2.4 文件存储 1.3 小结 1.存储基础 学习目标：这一节，我们从基础知识、文件系统、小节三个方面来学习。 1.1 基础知识
1.…
Ceph篇之利用Prometheus监控ceph服务
一、Ceph内置模块 Ceph manager 内部的模块中包含了 prometheus 的监控模块,并监听在每个 manager 节点的 9283 端口，该端口用于将采集到的信息通过 http 接口向 prometheus 提供数据。 二、监控搭建 1、启用 prometheus 监控模块
ceph mgr module enable promethe…
Ceph源码分析-使用VScode调试ceph-osd教程
本篇内容全部都是干货，请先收藏，以免后期找不到哦。
前言：
本文以ceph osd部分为例，为您演示通过第三方社区提供的vscode 编辑软件，对ceph osd进行进行图形化单步调试以及配置操作。 Step1. 下载安装windows的vscode…
ceph之rados设计原理与实现第四章：存储的基石OSD
OSD本质上是凌驾于操作系统之上的进程，拥有cpu、内存、网络带宽等资源，用于实现对象存储，并兼容各种类型的文件系统。
OSD之间利用集群网络互相监督，出现故障及时上报Monitor，由Monitor修改OSDMap后，再由O…
Ceph源码分析-s-＞req_id = store-＞svc()-＞zone_utils-＞unique_id(req-＞id)
s->req_id store->svc()->zone_utils->unique_id(req->id); 涉及到指针和对象方法的调用。我会逐步为你解释这行代码的含义。 s->req_id ...; s 是一个指针，它指向一个结构或类。req_id 是该结构或类的一个成员变量。这行代码的意思是ÿ…
8.云原生存储之Ceph集群
1. 私有云实战之基础环境搭建 2. 云原生实战之kubesphere搭建 3.云原生之kubesphere运维 4. 云原生之kubesphere基础服务搭建 5.云原生安全之kubesphere应用网关配置域名TLS证书 6.云原生之DevOps和CICD 7.云原生之jenkins集成SonarQube 8.云原生存储之Ceph集群 文章目录 为什么…
ceph之rados设计原理与实现第五章：高效的本地对象存储引擎Bluestore
由于FileStore底层仍然通过操作系统自带的本地文件系统管理磁盘，所以为了能够使用本地文件系统，所有针对RADOS的操作都需要转换成POSIX语义。 所以引入了BlueStore直接管理文件。
1.设计原理
文件系统提供的核心操作就是读和写，BlueStore也…
Springboot对接ceph集群以及java利用s3对象网关接口与ceph集群交互
springboot中引入相关依赖 <dependency><groupId>software.amazon.awssdk</groupId><artifactId>regions</artifactId><version>2.22.13</version></dependency><dependency><groupId>software.amazon.awssdk<…
【分布式技术】分布式存储ceph之RBD块存储部署
目录
创建 Ceph 块存储系统 RBD 接口
服务端操作
1、创建一个名为 rbd-demo 的专门用于 RBD 的存储池
2、将存储池转换为 RBD 模式
3、初始化存储池
4、创建镜像
5、在管理节点创建并授权一个用户可访问指定的 RBD 存储池
6、修改RBD镜像特性，CentOS7默认情…
ceph 12版本命令
目录 一、osd操作相关删除osd调整OSD的恢复等级 二、host操作相关删除没有osd的host将host移动到对应的bucket中 一、osd操作相关
删除osd
ceph osd down <X>
ceph osd out <X>
ceph osd rm <X>
ceph auth del <osd.X>
ceph osd crush rm <osd.X&…
Ceph入门到精通-Ceph Pacific 版本磁盘预测模块
磁盘预测模块利用 Ceph 设备运行状况检查来收集磁盘运行状况指标，并使用内部预测器模块生成磁盘故障预测并返回到 Ceph。它不需要任何外部服务器进行数据分析和输出结果。其内部预测器的准确率约为70%。
1. 启用
运行以下命令以在 Ceph 环境中启用diskprediction_…
9.云原生存储之ceph在k8s中应用及问题处理
文章目录 ceph应用场景ceph应用在k8s集群外使用块设备ceph客户端配置创建块挂载使用删除pool 在k8s集群内使用块设备创建块池和StorageClass使用存储 块存储映射问题处理问题现象事件分析csi-rbdplugin pod日志分析问题小结CentOS 7 编译安装 nbd 模块nbd内核模块介绍安装 nbd …
Openstack云计算（五）ceph
Ceph简介：
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph]的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。在国内一些公司的云环境中,通常会采用ceph作为openstack的唯一后端存储来提高数据转发效率…
K8s环境下rook-v1.13.3部署Ceph-v18.2.1集群
文章目录 1.K8s环境搭建2.Ceph集群部署2.1 部署Rook Operator2.2 镜像准备2.3 配置节点角色2.4 部署operator2.5 部署Ceph集群2.6 强制删除命名空间2.7 验证集群 3.Ceph界面 1.K8s环境搭建
参考：CentOS7搭建k8s-v1.28.6集群详情，把K8s集群完成搭建&…
Ceph存储体系架构？
Ceph体系架构主要由RADOS和RADOS GW和RBD以及CephFS构成。
RADOS（Reliable, Autonomic Distributed Object Store）是Ceph的底层核心，RADOS本身也是分布式存储系统，CEPH所有的存储功能都是基于RADOS实现。RADOS由两个组件组成&…
keepalived高可用 | 部署Ceph分布式存储
keepalived高可用 | 部署Ceph分布式存储 keepalived高可用1. 配置第二台haproxy代理服务器部署HAProxy 2.为两台代理服务器配置keepalived配置第一台代理服务器proxy (192.168.4.5)配置第二台代理服务器proxy (192.168.4.6)修改DNS服务器 部署ceph分布式存储准备硬件实验环境准…
ceph、gluster、longhorn选型对比
Ceph
Ceph是一个分布式的存储系统，可以在统一的系统中提供唯一的对象、块和文件存储。
名词解释：
RADOS： 由自我修复、自我管理、智能存储节点组成的可靠、自主、分布式对象存储LIBRADOS： 一个允许应用程序直接访问 RADO 的库&…
Ceph入门到精通-S3 基准测试工具warp使用入门
S3 基准测试工具。
下载
下载适用于各种平台的二进制版本。
配置
可以使用命令行参数或环境变量配置 Warp。 可以使用 、 在命令行上指定要使用的 S3 服务器，也可以选择指定 TLS 和自定义区域。--host--access-key--secret-key--tls--region
也可以使用 、、 和…
centos7单节点部署ceph（mon/mgr/osd/mgr/rgw）
使用ceph建议采用多节点多磁盘方式部署，本文章仅作为单节点部署参考，请勿用于生产环境
使用ceph建议采用多节点多磁盘方式部署，本文章仅作为单节点部署参考，请勿用于生产环境
使用ceph建议采用多节点多磁盘方式部署，…
Ceph入门到精通-通过 CloudBerry Explorer 管理对象bucket
简介
CloudBerry Explorer 是一款可用于管理对象存储（Cloud Object Storage，COS）的客户端工具。通过 CloudBerry Explorer 可实现将 COS 挂载在 Windows 等操作系统上，方便用户访问、移动和管理 COS 文件。
支持系统
支持 Wind…
Lunule: An Agile and Judicious Metadata Load Balancer for CephFS——论文泛读
SC 2021 Paper 元数据论文阅读汇总
问题
CephFS采用动态子树分区方法，将分层命名空间划分并将子树分布到多个元数据服务器上。然而，这种方法存在严重的不平衡问题，由于其不准确的不平衡预测、对工作负载特性的忽视以及不必要/无效的迁移活动…
Ceph入门到精通-数据完整性签名
S3 Glacier 要求您通过签署 请求。若要对请求进行签名，请使用加密哈希计算数字签名 功能。加密哈希是一个函数，它根据 输入。哈希函数的输入包括请求的文本和密钥 访问密钥。哈希函数返回一个哈希值，您将其包含在请求中，作为 签名…
ceph之rados设计原理与实现第三章：集群的大脑monitor
Monitor的核心是OSD Monitor，利用分布式领域的一致性算法Paxos来维护集群一张唯一的表OSDMap。
Monitor采用分担负荷的方式，一个集群可以有多个Monitor节点，任何时刻，任何客户端或者OSD都可以通过和任意一个Monitor进行交互&…
Ceph学习 -4.Ceph组件介绍
文章目录 1.Ceph组件介绍1.1 组件介绍1.2 流程解读1.2.1 综合效果图1.2.2 数据存储逻辑 1.3 小结 1.Ceph组件介绍 学习目标：这一节，我们从组件介绍、流程解读、小结三个方面来学习。 1.1 组件介绍
无论是想向云平台提供 Ceph 对象存储和 Ceph 块设备服务…
全局Ceph节点宕机处理
在极端情况下，如数据中心断电，造成 Ceph 存储集群全局宕机，可以按照本节所示流程进行 Ceph 集群上电恢复操作。
4.1 手动上电执行步骤 如为 Ceph 集群上电，monitor server 应最先上电；集群上电前确认使用 Ceph 之前端…
Lunule: An Agile and Judicious Metadata Load Balancer for CephFS——论文阅读
SC 2021 Paper 分布式元数据论文阅读笔记
问题
CephFS采用动态子树分区方法，将分层命名空间划分并将子树分布到多个元数据服务器上。然而，这种方法存在严重的不平衡问题，由于其不准确的不平衡预测、对工作负载特性的忽视以及不必要/无效的迁…
【分布式技术】消息队列Kafka
目录 一、Kafka概述
二、消息队列Kafka的好处
三、消息队列Kafka的两种模式
四、Kafka
1、Kafka 定义
2、Kafka 简介
3、Kafka 的特性
五、Kafka的系统架构
六、实操部署Kafka集群 步骤一：在每一个zookeeper节点上完成kafka部署
编辑
步骤二：…
ceph之rados设计原理与实现第六章：移动的对象载体——PG
PG相关重要概念 Log有一个队列，顺序记录了该PG接受的所有客户端写请求，Info则记录了该PG的Log队列最新和最旧的日志指针。 Info是PG的元数据 PG有几个副本，就有几个实例，其中有一个Primary，每个实例都有Info࿰…
一文了解Ceph原理以及常见ceph指令
一、Ceph介绍 什么是分布式存储？ 与集中式存储相反，分布式存储通常采用存储单元集群的形式。并且具有在集群节点之间进行数据同步和协调的机制。其目的是为了通过服务器解决大规模，高并发情况下的Web访问问题。
Ceph是一个统一的、分布式的存…
ceph之rados设计原理与实现第七章：在线数据恢复——Recovery和Backfill
由于每个写操作都需要产生和操作日志，所以处于效率考虑，必须定时对日志进行裁剪。 由于PG保存的日志条目有限，按照能否依靠日志进行数据恢复，存在两种数据恢复方式，分别为Recovery和Backfill。
Recovery指只需要修复副…
Ceph分布式存储系统以及高可用原理
Ceph分布式存储系统以及高可用原理 1. Ceph原理和架构1.1 分布式存储系统抽象1.2 Ceph基本组件 2 Ceph中的策略层2.1 CRUSH进行数据分发和定位2.2 PG(Placement Group): 集群管理的基本单元2.3 PG的代理primary OSD2.4 轻量级的集群元数据ClusterMap2.5 对PG的罗辑分组…
第⑪讲：Ceph集群OSD扩容方案及实现横向和纵向扩容
文章目录 1.Ceph集群OSD扩容方案2.实现OSD的横向扩容4.实现OSD的纵向扩容 1.Ceph集群OSD扩容方案
Ceph集群OSD的扩容支持两种方式：
横向扩容 通过增加OSD节点来达到扩容的目的。使用横向扩容要完成以下几个步骤： 在新的机器中进行初始化操作、配置Yum源…
Ceph分布式存储（2）
目录
一.资源池 Pool 管理.
查看集群 Pool 信息:
创建一个 Pool 资源池：
ceph osd pool create mypool 64 64
查看资源池副本的数量:
查看 PG 和 PGP 数量:
修改 pg_num 和 pgp_num 的数量为 128:
修改 Pool 副本数量为 2:
修改默认副本数为 2:
再次创建池…
【ceph】在虚拟环境中需要给osd所在的虚拟盘扩容操作
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
ceph集群搭建到应用从入门到熟练，包含块存储、对象存储、cephfs的应用、cephx认证等
ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。
ceph理论知识
略…
ceph集群实验环境
服务器主机public网段IP（对外服务）cluster网段I…
ceph跨集群迁移ceph pool rgw
1、跨集群迁移ceph pool rgw
我这里是迁移rgw的pool
l老环境 [rootceph-1 data]# yum install s3cmd -y
[rootceph-1 ~]# ceph config dump
WHO MASK LEVEL OPTION VALUE RO mon advanced au…
谈谈BlueStore
目录 未完待续前言组成前期准备工作基础概念对象PextentextentBlobNode 线程事务磁盘的抽象与分配位图法分层位图 上电流程写流程读流程参考资料 未完待续
前言
BlueStore是什么？ Ceph是一个统一的分布式存储系统。BlueStore是Ceph的存储引擎。 它的作用是什么&am…
三台linux服务器部署ceph集群
在每台服务器上安装Ceph软件包: sudo apt-get update
sudo apt-get install ceph-deploy在一台服务器上创建Ceph集群： mkdir my-ceph-cluster
cd my-ceph-cluster
ceph-deploy new <第一台服务器的主机名>在每台服务器上安装Ceph软件包和依赖项： c…
![[ceph] ceph应用](https://img-blog.csdnimg.cn/direct/a0bff5a4665644ee9cd157829f249540.png)
[ceph] ceph应用
一、资源池 Pool 管理 #创建一个 Pool 资源池，其名字为 mypool，PGs 数量设置为 64，设置 PGs 的同时还需要设置 PGP（通常PGs和PGP的值是相同的）： PG (Placement Group)，pg 是一个虚拟的概念&…
基于ceph-deploy部署Ceph 集群
Ceph分布式存储一、存储基础1、单机存储设备1.1 单机存储的问题 2、分布式存储(软件定义的存储SDS)2.1 分布式存储的类型 二、Ceph简介1、Ceph优势2、Ceph架构3、Ceph 核心组件4、OSD 存储后端5、Ceph 数据的存储过程6、Ceph 版本发行生命周期 三、Ceph 集群部署1、 基于 ceph-…
ceph-mgr 解决 No module named ‘pecan‘ 及 devicehealth failed 问题
目的 1 解决 module named ‘pecan’ 2 解决:devicehealth failed 问题 HEALTH_WARN Module restful has failed dependency: No module named pecan
Module devicehealth has failed:参考 cherrypy 相关错误日志 参考 ceph-mgr 日志 2023-05-18T19:47:31.980+0800 7f45809eae4…
k8s之容器存储接口(CSI)ceph-csi-rbd部署
TOC
CSI简介
容器存储接口（Container Storage Interface），简称 CSI，CSI 试图建立一个行业标准接口的规范，借助 CSI 容器编排系统（CO）可以将任意存储系统暴露给自己的容器工作负载。
csi 卷类…
ceph 14.2.10 aarch64 非集群内 客户端 挂载块设备
集群上的机器测试 706 ceph pool create block-pool 64 64 707 ceph osd pool create block-pool 64 64 708 ceph osd pool application enable block-pool rbd 709 rbd create vdisk1 --size 4G --pool block-pool --image-format 2 --image-feature layering 7…
【ceph】pg down的处理流程
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…
ceph peering机制-状态机
本章介绍ceph中比较复杂的模块：
Peering机制。该过程保障PG内各个副本之间数据的一致性，并实现PG的各种状态的维护和转换。本章首先介绍boost库的statechart状态机基本知识，Ceph使用它来管理PG的状态转换。其次介绍PG的创建过程以及相应的状…
【云原生之存储实战】部署Ceph分布式存储集群
【云原生之存储实战】部署Ceph分布式存储集群 一、Ceph介绍1.Ceph简介2.Ceph的特点3.Ceph适用场景4.Ceph与云原生5.Ceph在k8s中的应用二、环境规划三、环境配置工作1.环境配置说明2.配置host文件3.配置ssh免密4.配置yum仓库5.关闭selinux和firewalld防火墙6.配置时间同步①安装…