百度360必应搜狗淘宝本站头条
mysql distinctjenkins官网mysql 子查询vba splitpython list sort
当前位置：网站首页 > IT技术 > 正文

ceph rbd块存储挂载及文件存储建立

wptr33 2025-05-16 16:46 44 浏览

ceph rbd块存储挂载及文件存储建立

一、rbd块存储挂载

1 创建一个OSD pool

# ceph osd pool create rbd1 128

查询存储空间使用

# ceph df

GLOBAL:

SIZE AVAIL RAW USED %RAW USED

480GiB 474GiB 6.12GiB 1.28

POOLS:

NAME ID USED %USED MAX AVAIL OBJECTS

volumes 1 134B 0 150GiB 5

vms 2 0B 0 150GiB 0

images 3 0B 0 150GiB 0

rbd1 4 14.3MiB 0 150GiB 19

rbd 5 0B 0 150GiB 0


2 创建一个名为ceph-client1-rbd1、大小为1024

rbd create ceph-client1-rbd1 --size 1024 -p rdb1

要列出RBD镜像，输入下列的命令

# rbd -p rbd1 ls

ceph-client1-rbd1

ceph-client1-rbd2

检看一个RBD镜像的详细信息

# rbd --image ceph-client1-rbd1 info

rbd: error opening image ceph-client1-rbd1: (2) No such file or directory

# rbd --image ceph-client1-rbd1 -p rbd1 info

rbd image 'ceph-client1-rbd1':

size 1GiB in 256 objects

order 22 (4MiB objects)

block_name_prefix: rbd_data.5b5756b8b4567

format: 2

features: layering, exclusive-lock, object-map, fast-diff, deep-flatten

flags:

create_timestamp: Tue Oct 1 12:03:52 2019


3 客户端查看linux版本

[root@centos7 mnt]# uname -r

3.10.0-862.el7.x86_64

[root@centos7 mnt]# modprobe rbd

[root@centos7 mnt]#

4 客户端安装ceph-common

# yum install –y ceph-common

5 客户端挂载rbd硬盘并使用


6客户端查看挂载情况


[root@centos7 mnt]# rbd showmapped

id pool image snap device

0 rbd1 ceph-client1-rbd2 - /dev/rbd0


协助ceph块存储

rbd unmap /dev/rbd0


二、文件存储建立


1 检查客户端的linux内核版本：

[root@centos7 ceph]# uname -r

3.10.0-862.el7.x86_64

2 客户端创建挂载点目录：

[root@centos7 ceph]#mkdir /cephfs

跟使用块存储服务一样，客户端需要从服务器端拷贝以下2个文件到/etc/ceph/

[root@centos7 ceph]# ls

ceph.client.admin.keyring ceph.conf


3 服务器端及客户端，修改管理员密钥（生产环境需要创建普通账号并给予权限，这里例子暂时以管理员账号测试）

vi /etc/ceph/ceph.client.admin.keyring

[client.admin]

key = AQC6mmJdfBzyHhAAE1GazlHqH2uD35vpL6Do1w==

auid = 0

caps mds = "allow"

caps mon = "allow *"

caps osd = "allow *"

4 在服务器端创建cephfs OSD pool，保护数据及元数据2个pool

[root@ceph1 ceph]#ceph osd pool create cephfs_metadata 32

[root@ceph1 ceph]#ceph osd pool create cephfs_metadata 16

服务器端启动cephfs

[root@ceph1 ceph]#ceph fs new leadorfs cephfs_metadata cephfs

验证数据生成

[root@ceph1 ceph]# ceph mds stat

leadorfs-1/1/1 up {0=ceph1=up:active}


5 客户端挂载文件存储（目标地址可以输入集群mon多个地址）

[root@ceph1 ceph]# mount -t ceph 172.16.3.61:6789:/ /cephfs -o name=admin,secret=AQC6mmJdfBzyHhAAE1GazlHqH2uD35vpL6Do1w==

6 客户端检查挂载情况

[root@centos7 ceph]# df -h

文件系统 容量 已用 可用 已用% 挂载点

/dev/mapper/centos-root 17G 1.2G 16G 7% /

devtmpfs 1.9G 0 1.9G 0% /dev

tmpfs 1.9G 0 1.9G 0% /dev/shm

tmpfs 1.9G 12M 1.9G 1% /run

tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup

/dev/sda1 1014M 142M 873M 14% /boot

tmpfs 378M 0 378M 0% /run/user/0

172.16.3.61:6789:/ 150G 0 150G 0% /cephfs

7 客户端在/cephfs创建文件

[root@centos7 ceph]# cd /cephfs/

[root@centos7 cephfs]# echo "Utopa 2019" > Utopa.txt

[root@centos7 cephfs]# ls

Utopa.txt

检查服务器端使用情况

[root@ceph1 ceph]# ceph df

GLOBAL:

SIZE AVAIL RAW USED %RAW USED

480GiB 474GiB 6.12GiB 1.28

POOLS:

NAME ID USED %USED MAX AVAIL OBJECTS

volumes 1 134B 0 150GiB 5

vms 2 0B 0 150GiB 0

images 3 0B 0 150GiB 0

rbd1 4 14.3MiB 0 150GiB 19

rbd 5 0B 0 150GiB 0

cephfs 6 11B 0 150GiB 1

cephfs_metadata 7 5.73KiB 0 150GiB 21


三、rdb map出錯rbd sysfs write failed


創建了一個rbd鏡像1

然後，在Ceph client端將該rbd鏡像映射為本地設備時出錯。

  1. $ rbd map docker_test --name client.admin

  3. rbd: sysfs write failed
  4. RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
  5. In some cases useful info is found in syslog - try "dmesg | tail" or so.

原因：

rbd鏡像的一些特性，OS kernel並不支持，所以映射失敗。我們查看下該鏡像支持了哪些特性。可以看到特性feature一欄，由於我OS的kernel只支持layering，其他都不支持，所以需要把部分不支持的特性disable掉。

方法一：

直接diable這個rbd鏡像的不支持的特性：

$ rbd feature disable docker_test exclusive-lock object-map fast-diff deep-flatten

方法二：

創建rbd鏡像時就指明需要的特性，如：

$ rbd create --size 4096 docker_test --image-feature layering

方法三：

如果還想一勞永逸，那麽就在執行創建rbd鏡像命令的服務器中，修改Ceph配置文件/etc/ceph/ceph.conf，在global section下，增加

rbd_default_features = 1

再創建rdb鏡像。

$ rbd create --size 4096 docker_test

通過上述三種方法後，查看rbd鏡像的信息。

  1. $ rbd info docker_test

  3. rbd image 'docker_test':
  4. size 4096 MB in 1024 objects
  5. order 22 (4096 kB objects)
  6. block_name_prefix: rbd_data.43a22ae8944a
  7. format: 2
  8. features: layering
  9. flags:

次嘗試映射rdb鏡像到本地塊設備，成功！

  1. $ rbd map docker_test --name client.admin

  3. /dev/rbd0

相关推荐

MySQL进阶五之自动读写分离mysql-proxy

自动读写分离目前，大量现网用户的业务场景中存在读多写少、业务负载无法预测等情况，在有大量读请求的应用场景下，单个实例可能无法承受读取压力，甚至会对业务产生影响。为了实现读取能力的弹性扩展，分担数据库压...

Postgres vs MySQL_vs2022连接mysql数据库

...

3分钟短文 | Laravel SQL筛选两个日期之间的记录，怎么写?

引言今天说一个细分的需求，在模型中，或者使用laravel提供的EloquentORM功能，构造查询语句时，返回位于两个指定的日期之间的条目。应该怎么写？本文通过几个例子，为大家梳理一下。学习时...

一文由浅入深带你完全掌握MySQL的锁机制原理与应用

本文将跟大家聊聊InnoDB的锁。本文比较长，包括一条SQL是如何加锁的，一些加锁规则、如何分析和解决死锁问题等内容，建议耐心读完，肯定对大家有帮助的。为什么需要加锁呢？...

验证Mysql中联合索引的最左匹配原则

后端面试中一定是必问mysql的，在以往的面试中好几个面试官都反馈我Mysql基础不行，今天来着重复习一下自己的弱点知识。在Mysql调优中索引优化又是非常重要的方法，不管公司的大小只要后端项目中用到...

MySQL索引解析(联合索引/最左前缀/覆盖索引/索引下推)

目录1.索引基础...

你会看 MySQL 的执行计划(EXPLAIN)吗?

SQL执行太慢怎么办？我们通常会使用EXPLAIN命令来查看SQL的执行计划，然后根据执行计划找出问题所在并进行优化。用法简介...

MySQL 从入门到精通(四)之索引结构

索引概述索引(index)，是帮助MySQL高效获取数据的数据结构(有序)，在数据之外，数据库系统还维护者满足特定查询算法的数据结构，这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构...

mysql总结——面试中最常问到的知识点

mysql作为开源数据库中的榜一大哥，一直是面试官们考察的重中之重。今天，我们来总结一下mysql的知识点，供大家复习参照，看完这些知识点，再加上一些边角细节，基本上能够应付大多mysql相关面试了（...

mysql总结——面试中最常问到的知识点(2)

首先我们回顾一下上篇内容，主要复习了索引，事务，锁，以及SQL优化的工具。本篇文章接着写后面的内容。性能优化索引优化，SQL中索引的相关优化主要有以下几个方面：最好是全匹配。如果是联合索引的话，遵循最...

MySQL基础全知全解!超详细无废话!轻松上手~

本期内容提醒：全篇2300+字,篇幅较长，可搭配饭菜一同“食”用，全篇无废话(除了这句)，干货满满，可收藏供后期反复观看。注：MySQL中语法不区分大小写，本篇中...

深入剖析 MySQL 中的锁机制原理_mysql 锁详解

在互联网软件开发领域，MySQL作为一款广泛应用的关系型数据库管理系统，其锁机制在保障数据一致性和实现并发控制方面扮演着举足轻重的角色。对于互联网软件开发人员而言，深入理解MySQL的锁机制原理...

Java 与 MySQL 性能优化:MySQL分区表设计与性能优化全解析

引言在数据库管理领域，随着数据量的不断增长，如何高效地管理和操作数据成为了一个关键问题。MySQL分区表作为一种有效的数据管理技术，能够将大型表划分为多个更小、更易管理的分区，从而提升数据库的性能和可...

MySQL基础篇:DQL数据查询操作_mysql 查

一、基础查询DQL基础查询语法SELECT字段列表FROM表名列表WHERE条件列表GROUPBY分组字段列表HAVING分组后条件列表ORDERBY排序字段列表LIMIT...

MySql:索引的基本使用_mysql索引的使用和原理

一、索引基础概念1.什么是索引？索引是数据库表的特殊数据结构（通常是B+树），用于...

一周热门
最近发表
标签列表
赣ICP备2024040476号-12