Skip to content
Snippets Groups Projects
Commit 7b9064bc authored by Antonio Falabella's avatar Antonio Falabella
Browse files

Backup

parent 0ac919fb
No related branches found
No related tags found
No related merge requests found
......@@ -27,7 +27,7 @@ ceph osd pool delete cephfs_data cephfs_data --yes-i-really-really-mean-it
ceph-deploy --overwrite-conf osd create --data /dev/nvme0n1 ds-507
ceph-deploy --overwrite-conf osd create --data /dev/nvme0n1 ds-507
ceph-deploy --overwrite-conf osd create --data /dev/nvme0n1 ds-507
ceph mds status
ceph mds stat
......@@ -54,15 +54,16 @@ sudo ceph osd crush move ds-507 root=ssd
sudo ceph osd crush set osd.19 .1102 root=ssd host=ds-507
sudo ceph osd crush set osd.19 1.0 root=ssd host=ds-507
1546 18/09/19 12:31:42 sudo ceph osd crush tree
1547 18/09/19 12:32:30 history
1548 18/09/19 12:32:42 sudo ceph osd pool remove cephfs-data
1549 18/09/19 12:33:21 sudo ceph osd pool delete cephfs-data
1550 18/09/19 12:33:29 sudo ceph osd pool delete cephfs-data --yes-i-really-really-mean-it
1551 18/09/19 12:33:45 sudo ceph osd pool delete cephfs-data cephfs-data --yes-i-really-really-mean-it
1552 18/09/19 12:34:02 sudo ceph osd pool delete cephfs-metadata cephfs-metadata --yes-i-really-really-mean-it
1553 18/09/19 12:39:25 history
1554 18/09/19 12:40:22 sudo ceph osd pool create cephfs-data 64 crushRoot default
sudo ceph osd crush tree
sudo ceph osd pool remove cephfs-data
sudo ceph osd pool delete cephfs-data
sudo ceph osd pool delete cephfs-data --yes-i-really-really-mean-it
sudo ceph osd pool delete cephfs-data cephfs-data --yes-i-really-really-mean-it
sudo ceph osd pool delete cephfs-metadata cephfs-metadata --yes-i-really-really-mean-it
sudo ceph osd pool create cephfs-data 64 crushRoot default
1555 18/09/19 12:40:39 sudo ceph osd crush tree
1556 18/09/19 12:42:00 history
1557 18/09/19 12:42:07 sudo ceph osd getcrushmap -o crushmap.txt
......@@ -96,9 +97,11 @@ sudo ceph osd crush set osd.19 1.0 root=ssd host=ds-507
1585 18/09/19 13:05:55 sudo ceph osd pool create cephfs-metadata 1 crush-ruleset-name 1
1586 18/09/19 13:06:09 sudo ceph osd pool create cephfs-metadata 1 crushRoot 1
1587 18/09/19 13:06:17 sudo ceph osd pool create cephfs-metadata 1 1
1588 18/09/19 13:07:11 sudo ceph fs new cephfs cephfs_metadata cephfs_data
1589 18/09/19 13:07:23 sudo ceph fs new cephfs cephfs-metadata cephfs_data
1590 18/09/19 13:07:29 sudo ceph fs new cephfs cephfs-metadata cephfs-data
1591 18/09/19 13:09:16 sudo ceph osd crush tree
1592 18/09/19 13:50:44 sudo ceph fs delete cephfs
1593 18/09/19 13:50:50 sudo ceph fs rm cephfs
......
### Configuration
## Crush map
change the device class of an OSD if needed
```
ceph osd crush rm-device-class osd.1
ceph osd crush set-device-class nvme osd.1
```
Define the crush map rule
```
ceph osd crush rule create-replicated nvme_meta default host nvme
ceph osd crush rule create-replicated data default host hdd
```
## Pools
```
ceph osd pool create ceph_data 2048 replicated data 40
ceph osd pool set ceph_data size 2
ceph osd pool create ceph_metadata 2 replicated nvme_meta 2
ceph osd pool set ceph_metadata size 2
ceph osd force-create-pg 2.0 --yes-i-really-mean-it
```
## Filesystems
## Authentication
......@@ -126,6 +126,7 @@ lvcreate -L 23GB -n db-59 ceph-db-0
for i in $(seq 40 59); do lvcreate -L 13GB -n wal-$i ceph-db-0;done
for i in $(seq 40 59); do lvresize -L 10G /dev/ceph-db-0/db-$i -y;done
```
### Client installation
......@@ -21,8 +21,7 @@ ceph-deploy disk zap cs-001 /dev/sdbi
ceph-deploy --overwrite-conf osd create cs-001 --data /dev/sdap --block-db ceph-db-0/db-40 --block-wal ceph-db-0/wal-40
ceph-deploy --overwrite-conf osd create cs-001 --data /dev/sdaq --block-db ceph-db-0/db-41 --block-wal ceph-db-0/wal-41
ceph-deploy --overwrite-conf osd create cs-001 --data /dev/sdaq --block-db ceph-db-0/db-41 --block-wal ceph-db-0/wal-41
ceph-deploy --overwrite-conf osd create cs-001 --data /dev/sdar --block-db ceph-db-0/db-42 --block-wal ceph-db-0/wal-42
ceph-deploy --overwrite-conf osd create cs-001 --data /dev/sdas --block-db ceph-db-0/db-43 --block-wal ceph-db-0/wal-43
ceph-deploy --overwrite-conf osd create cs-001 --data /dev/sdat --block-db ceph-db-0/db-44 --block-wal ceph-db-0/wal-44
......@@ -66,26 +65,26 @@ ceph-deploy disk zap cs-002 /dev/sdbi
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdap --block-wal ceph-db-0/db-40
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdaq --block-wal ceph-db-0/db-41
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdar --block-wal ceph-db-0/db-42
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdas --block-wal ceph-db-0/db-43
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdat --block-wal ceph-db-0/db-44
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdau --block-wal ceph-db-0/db-45
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdav --block-wal ceph-db-0/db-46
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdaw --block-wal ceph-db-0/db-47
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdax --block-wal ceph-db-0/db-48
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sday --block-wal ceph-db-0/db-49
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdaz --block-wal ceph-db-0/db-50
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdba --block-wal ceph-db-0/db-51
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbb --block-wal ceph-db-0/db-52
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbc --block-wal ceph-db-0/db-53
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbd --block-wal ceph-db-0/db-54
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbe --block-wal ceph-db-0/db-55
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbf --block-wal ceph-db-0/db-56
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbg --block-wal ceph-db-0/db-57
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbh --block-wal ceph-db-0/db-58
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbi --block-wal ceph-db-0/db-59
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdap --block-db ceph-db-0/db-40 --block-wal ceph-db-0/wal-40
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdaq --block-db ceph-db-0/db-41 --block-wal ceph-db-0/wal-41
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdar --block-db ceph-db-0/db-42 --block-wal ceph-db-0/wal-42
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdas --block-db ceph-db-0/db-43 --block-wal ceph-db-0/wal-43
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdat --block-db ceph-db-0/db-44 --block-wal ceph-db-0/wal-44
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdau --block-db ceph-db-0/db-45 --block-wal ceph-db-0/wal-45
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdav --block-db ceph-db-0/db-46 --block-wal ceph-db-0/wal-46
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdaw --block-db ceph-db-0/db-47 --block-wal ceph-db-0/wal-47
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdax --block-db ceph-db-0/db-48 --block-wal ceph-db-0/wal-48
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sday --block-db ceph-db-0/db-49 --block-wal ceph-db-0/wal-49
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdaz --block-db ceph-db-0/db-50 --block-wal ceph-db-0/wal-50
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdba --block-db ceph-db-0/db-51 --block-wal ceph-db-0/wal-51
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbb --block-db ceph-db-0/db-52 --block-wal ceph-db-0/wal-52
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbc --block-db ceph-db-0/db-53 --block-wal ceph-db-0/wal-53
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbd --block-db ceph-db-0/db-54 --block-wal ceph-db-0/wal-54
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbe --block-db ceph-db-0/db-55 --block-wal ceph-db-0/wal-55
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbf --block-db ceph-db-0/db-56 --block-wal ceph-db-0/wal-56
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbg --block-db ceph-db-0/db-57 --block-wal ceph-db-0/wal-57
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbh --block-db ceph-db-0/db-58 --block-wal ceph-db-0/wal-58
ceph-deploy --overwrite-conf osd create cs-002 --data /dev/sdbi --block-db ceph-db-0/db-59 --block-wal ceph-db-0/wal-59
......@@ -111,26 +110,26 @@ ceph-deploy disk zap cs-003 /dev/sdbh
ceph-deploy disk zap cs-003 /dev/sdbi
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdap --block-wal ceph-db-0/db-40
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdaq --block-wal ceph-db-0/db-41
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdar --block-wal ceph-db-0/db-42
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdas --block-wal ceph-db-0/db-43
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdat --block-wal ceph-db-0/db-44
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdau --block-wal ceph-db-0/db-45
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdav --block-wal ceph-db-0/db-46
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdaw --block-wal ceph-db-0/db-47
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdax --block-wal ceph-db-0/db-48
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sday --block-wal ceph-db-0/db-49
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdaz --block-wal ceph-db-0/db-50
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdba --block-wal ceph-db-0/db-51
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbb --block-wal ceph-db-0/db-52
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbc --block-wal ceph-db-0/db-53
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbd --block-wal ceph-db-0/db-54
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbe --block-wal ceph-db-0/db-55
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbf --block-wal ceph-db-0/db-56
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbg --block-wal ceph-db-0/db-57
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbh --block-wal ceph-db-0/db-58
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbi --block-wal ceph-db-0/db-59
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdap --block-db ceph-db-0/db-40 --block-wal ceph-db-0/wal-40
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdaq --block-db ceph-db-0/db-41 --block-wal ceph-db-0/wal-41
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdar --block-db ceph-db-0/db-42 --block-wal ceph-db-0/wal-42
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdas --block-db ceph-db-0/db-43 --block-wal ceph-db-0/wal-43
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdat --block-db ceph-db-0/db-44 --block-wal ceph-db-0/wal-44
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdau --block-db ceph-db-0/db-45 --block-wal ceph-db-0/wal-45
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdav --block-db ceph-db-0/db-46 --block-wal ceph-db-0/wal-46
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdaw --block-db ceph-db-0/db-47 --block-wal ceph-db-0/wal-47
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdax --block-db ceph-db-0/db-48 --block-wal ceph-db-0/wal-48
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sday --block-db ceph-db-0/db-49 --block-wal ceph-db-0/wal-49
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdaz --block-db ceph-db-0/db-50 --block-wal ceph-db-0/wal-50
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdba --block-db ceph-db-0/db-51 --block-wal ceph-db-0/wal-51
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbb --block-db ceph-db-0/db-52 --block-wal ceph-db-0/wal-52
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbc --block-db ceph-db-0/db-53 --block-wal ceph-db-0/wal-53
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbd --block-db ceph-db-0/db-54 --block-wal ceph-db-0/wal-54
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbe --block-db ceph-db-0/db-55 --block-wal ceph-db-0/wal-55
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbf --block-db ceph-db-0/db-56 --block-wal ceph-db-0/wal-56
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbg --block-db ceph-db-0/db-57 --block-wal ceph-db-0/wal-57
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbh --block-db ceph-db-0/db-58 --block-wal ceph-db-0/wal-58
ceph-deploy --overwrite-conf osd create cs-003 --data /dev/sdbi --block-db ceph-db-0/db-59 --block-wal ceph-db-0/wal-59
......@@ -156,24 +155,23 @@ ceph-deploy disk zap cs-004 /dev/sdbg
ceph-deploy disk zap cs-004 /dev/sdbh
ceph-deploy disk zap cs-004 /dev/sdbi
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdap --block-wal ceph-db-0/db-40
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdaq --block-wal ceph-db-0/db-41
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdar --block-wal ceph-db-0/db-42
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdas --block-wal ceph-db-0/db-43
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdat --block-wal ceph-db-0/db-44
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdau --block-wal ceph-db-0/db-45
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdav --block-wal ceph-db-0/db-46
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdaw --block-wal ceph-db-0/db-47
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdax --block-wal ceph-db-0/db-48
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sday --block-wal ceph-db-0/db-49
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdaz --block-wal ceph-db-0/db-50
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdba --block-wal ceph-db-0/db-51
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbb --block-wal ceph-db-0/db-52
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbc --block-wal ceph-db-0/db-53
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbd --block-wal ceph-db-0/db-54
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbe --block-wal ceph-db-0/db-55
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbf --block-wal ceph-db-0/db-56
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbg --block-wal ceph-db-0/db-57
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbh --block-wal ceph-db-0/db-58
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbi --block-wal ceph-db-0/db-59
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdap --block-db ceph-db-0/db-40 --block-wal ceph-db-0/wal-40
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdaq --block-db ceph-db-0/db-41 --block-wal ceph-db-0/wal-41
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdar --block-db ceph-db-0/db-42 --block-wal ceph-db-0/wal-42
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdas --block-db ceph-db-0/db-43 --block-wal ceph-db-0/wal-43
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdat --block-db ceph-db-0/db-44 --block-wal ceph-db-0/wal-44
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdau --block-db ceph-db-0/db-45 --block-wal ceph-db-0/wal-45
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdav --block-db ceph-db-0/db-46 --block-wal ceph-db-0/wal-46
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdaw --block-db ceph-db-0/db-47 --block-wal ceph-db-0/wal-47
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdax --block-db ceph-db-0/db-48 --block-wal ceph-db-0/wal-48
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sday --block-db ceph-db-0/db-49 --block-wal ceph-db-0/wal-49
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdaz --block-db ceph-db-0/db-50 --block-wal ceph-db-0/wal-50
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdba --block-db ceph-db-0/db-51 --block-wal ceph-db-0/wal-51
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbb --block-db ceph-db-0/db-52 --block-wal ceph-db-0/wal-52
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbc --block-db ceph-db-0/db-53 --block-wal ceph-db-0/wal-53
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbd --block-db ceph-db-0/db-54 --block-wal ceph-db-0/wal-54
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbe --block-db ceph-db-0/db-55 --block-wal ceph-db-0/wal-55
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbf --block-db ceph-db-0/db-56 --block-wal ceph-db-0/wal-56
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbg --block-db ceph-db-0/db-57 --block-wal ceph-db-0/wal-57
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbh --block-db ceph-db-0/db-58 --block-wal ceph-db-0/wal-58
ceph-deploy --overwrite-conf osd create cs-004 --data /dev/sdbi --block-db ceph-db-0/db-59 --block-wal ceph-db-0/wal-59
### Test
```
fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=8m --direct=0 --size=8G --numjobs=200 --runtime=600 --group_reporting --direct=1
```
0% Loading or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment