티스토리 뷰

3. 쿠버네티스의 모든것

쿠버네티스 가상스토리지(Ceph) 설치

미니대왕님 2020. 7. 10. 01:37

1탄!! 쿠버네티스 구성준비/Master & Node

2탄!! 쿠버네티스와 컨테이너를 쉽게 이해하기

3탄!! Kubernetes 구성도 알아보자!

4탄!! NFS 설정입니다.

5탄!! helm install 방법

6탄 !! 도커 컴포즈 VS 쿠버네티스 컴포즈

7탄!! 쿠버네티스에 pod 올리자! pod? 뭐에요?

8탄!! K8S 대시보드 설치

9탄!! 쿠버네티스 오토스케일링(kubernetes autoscaling)

10탄!! K8S Namespace 생성방법

11탄!! 쿠버네티스 용어 정리

12탄!! 도커 깔끔히 삭제하기

# 부록 쿠버네티스 트러블 슈팅!!~

#기타 참고하기  

마이크로 쿠버네티스 설치 해보기

쿠버네티스(컨테이너) 환경 구축의 어려운점~!

쿠버네티스(튜토리얼 실습)

쿠버네티스 초기설치및  볼트 디비 올리기[샘플]

헬름챠트로 올리기[샘플]11) 쿠버네티스 가상스토리지(Ceph) 설치

쿠버네티스 가상스토리지(Ceph) 설치

소개

이번에 설치해볼 가상스토리지는 Ceph입니다. 설치에 필요한 도구로 Rook을 사용할 예정입니다. Rook은 오픈소스 클라우드 네이티브 스토리지 오케스트레이터로, 클라우드 네이티브 환경과 기본적으로 통합할 수 있는 다양한 스토리지 솔루션 세트에 대한 플랫폼, 프레임 워크 및 지원합니다. Rook을 통해 Ceph 가상스토리지를 구성하고 공유 파일 시스템을 적용하도록 하겠습니다.

Rook 구성도

Rook은 쿠버네티스 POD에서 실행되며, Ceph, EdgeFS등 가상솔루션을 POD로 배포하여 관리하는 도구입니다. agent를 통해 Ceph, EdgeFS등 가상솔루션을 관리하고, OSD를 통해 데이터를 영구저장합니다.

Ceph vs EdgeFS

Rook에서 제공하는 가상스토리지는 EgdeFS와 Ceph 외에도 다양하게 지원하지만 안정적인 버전은 아래 두가지만 지원합니다.

  • EdgeFS: 데이터베이스처럼 대용량 스토리지가 필요할때 사용됩니다.

  • Ceph: 공유 확장에 특화되어 있는 스토리지가 필요할때 사용됩니다.

공유나 확장에 특화되어 있는 Ceph를 설치하도록 하겠습니다.

Ceph 스토리지 유형

Ceph는 Block, Object, File 기반으로 데이터를 사용할 수 있습니다. 각 유형에 따라서 사용하는 기능에 차이가 있습니다.

  • Block Stroage: 단일 POD에 storage 제공합니다.
  • Object Storage: 애플리케이션이 쿠버네티스 클러스터 내부 또는 외부에서 액세스 할수있느 데이터를 IO 할수있고, S3 API를 스토리지 클러스터에 노출을 제공합니다.
  • Shared Stroage: 여러 POD에서 공유할 수있는 파일 시스템기반 스토리지입니다.

Shared Storage 구성도

이번에 설치해볼 Shared Storage 구성입니다. Ceph 클러스터에 데이터를 저장하고 Ceph를 통해 POD들과 데이터가 공유가 됩니다.

Ceph 설치

테스트 환경

쿠버네티스가 설치된 환경이 필요합니다. 설치방법은 쿠버네티스 고가용성 클러스터 구성 블로그를 통해 설치진행 바랍니다.

OS: ubuntu:18.04 Kubernetes: 1.16.4

Ceph 소스 다운로드 및 POD 배포

Rook은 별도의 설치가 없고 github으로 Ceph, EdgeFS 가상스토리지 솔루션을 쿠버네티스에 배포할 수 있도록 제공하고 있습니다.

$ git clone --single-branch --branch release-1.2 https://github.com/rook/rook.git

아래 경로에 보면 common.yaml, operator.yaml이 있습니다. kubectl 명령어를 통해 배포 합니다.

 

$ kubectl apply -f rook/cluster/examples/kubernetes/ceph/common.yaml

$ kubectl apply -f rook/cluster/examples/kubernetes/ceph/operator.yaml

$ kubectl apply -f rook/cluster/examples/kubernetes/ceph/cluster.yaml

 

cluster.yaml을 배포하게 되면 POD 중 OSD가 Running 상태인지 확인이 필요합니다. 변경되는 시간이 약 1 ~ 3 분 정도 소요됩니다.
테스트 환경에 따라 OSD 갯수가 차이가 있을 수 있습니다.

$ kubectl get pod -n rook-ceph

OSD Running 상태까지가 ceph 클러스터 구성이 완료되었고, Shared Storage 유형을 적용해보겠습니다.

Shared Storage 유형 적용

아래 명령어를 실행하게 되면 MDS POD가 배포가 됩니다. 약 1 ~ 3분 정도 소요됩니다. Shared Storage 옵션을 변경할 수 있는데 자세한 내용은 ceph-filesystem-crd 통해 확인바랍니다.

$ kubectl apply -f rook/cluster/examples/kubernetes/ceph/filesystem.yaml

StorageClass Driver 적용

StorageClass는 POD에서 Ceph 데이터 풀에 접근하기 위해 사용되는 드라이버입니다. kubectl 명령어를 통해 적용합니다.

$ kubectl apply -f rook/cluster/examples/kubernetes/ceph/csi/cephfs/storageclass.yaml

Shared Storage 확인

정상적으로 적용이 되었는지 확인하는 방법압니다. 아래 결과 처럼 myfs가 생성되어 있습니다.

$ kubectl get CephFileSystem -A

결과)

Shared Storage 테스트

kube-registry를 배포하면 PVC, docker-registry POD가 배포됩니다. 컨테이너 내부에 접근하여 /var/lib/registry 디렉터리에 dummy 파일을 생성 하여 다른 POD에서 공유되어 보여지는지 확인합니다.

$ kubectl apply -f rook/cluster/examples/kubernetes/ceph/csi/cephfs/kube-registry.yaml

 

 

==========================================================================

1. 환경

 

  * OS: CentOS release 6.5 (Final)

 

  * VirtualBox 가상머신 5대

 

    - server0: Master node

 

    - server1 ~ 4: OSD node

 

 

2. RPM 버전 설치

 

 

  * add keys

 

    - sudo rpm --import 'https://download.ceph.com/keys/release.asc'

 

  * ceph repo 추가

 

    - /etc/yum.repos.d/ceph.repo

 

    - {ceph-release} 알맞게 수정

 

      - dumpling / firefly / giant / hammer / infernalis / jewel / testing

 

    - {distro} 알맞게 수정

 

      - el6 / el7 / fc17 / fc18 / fc19 / fc20 / opensusel12 / opensuse12.2 / rhel6 / rhel7 / sles11

 

    - 기타 패키지를 위한 repo http://docs.ceph.com/docs/master/install/get-packages/

 

 

 [ceph]

name=Ceph packages for $basearch

baseurl=http://download.ceph.com/rpm-{ceph-release}/{distro}/$basearch

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

 

[ceph-noarch]

name=Ceph noarch packages

baseurl=http://download.ceph.com/rpm-{ceph-release}/{distro}/noarch

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

 

[ceph-source]

name=Ceph source packages

baseurl=http://download.ceph.com/rpm-{ceph-release}/{distro}/SRPMS

enabled=0

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

 

 

  * ceph deploy 설치

 

    - sudo yum install ceph-deploy

 

  * ceph storage cluster 설치

 

    - sudo yum install yum-plugin-priorities

 

    - sudo yum install snappy leveldb gdisk python-argparse gperftools-libs

 

    - sudo yum install ceph

 

 

3. 이 외 설정

 

 

  * 참여 모든 노드에 ceph user 생성

 

 

 

useradd -d /home/ceph -m ceph

 

passwd ceph

 

 

  * ceph가 root 권한을 사용 할 수 있도록 설정

 

 

 

echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph

 

sudo chmod 0440 /etc/sudoers.d/ceph

 

vi /etc/sudoers ==> requiretty 라인 주석 처리

 

 

  * master 노드에서 ceph 계정으로 ssh 패스워드 입력 없이 접속 되도록 key 생성

 

 

ssh-keygen

 

ssh-copy-id ceph@server1  ==> ~ 4

 

 

  * ceph 계정으로 마스터 노드에 ceph 클러스터 디렉토리 생성

 

 

mkdir ~/moon-cluster

 

~/moon-cluster 위치에서 ceph-deploy new server0

 

 

 

4. OSD ceph 설치

 

 

  * Master node에서 ceph 계정

 

    - ceph-deploy install server1 server2 server3 server4

 

      - 입력된 노드에 stable version의 ceph가 설치 된다 하는데 yum 명령 시 실패

 

      - 해당 노드에 직접 들어가서 수행 하면 잘 되는데 아래와 같은 에러 발생

 

 

[server1][WARNIN] http://centos.mirror.cdnetworks.com/6/os/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 6 - "Couldn't resolve host 'centos.mirror.cdnetworks.com'"

[server1][WARNIN] Trying other mirror.

[server1][WARNIN] Error: Cannot retrieve repository metadata (repomd.xml) for repository: base. Please verify its path and try again

[server1][ERROR ] RuntimeError: command returned non-zero exit status: 1

[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: yum -y install epel-release

 

Error in sys.exitfunc:

 

 

      - ceph는 각 서버에 직접 들어가서 설치(yum install ceph)

 

 

7. ceph mon 설정

 

 

  * ceph-deploy mon create server0

 

 

[ceph_deploy.conf][DEBUG ] found configuration file at: /home/ceph/.cephdeploy.conf

[ceph_deploy.cli][INFO  ] Invoked (1.5.28): /usr/bin/ceph-deploy mon create server0

[ceph_deploy.cli][INFO  ] ceph-deploy options:

[ceph_deploy.cli][INFO  ]  username                      : None

[ceph_deploy.cli][INFO  ]  verbose                       : False

[ceph_deploy.cli][INFO  ]  overwrite_conf                : False

[ceph_deploy.cli][INFO  ]  subcommand                    : create

[ceph_deploy.cli][INFO  ]  quiet                         : False

[ceph_deploy.cli][INFO  ]  cd_conf                       : <ceph_deploy.conf.cephdeploy.Conf instance at 0x25898c0>

[ceph_deploy.cli][INFO  ]  cluster                       : ceph

[ceph_deploy.cli][INFO  ]  mon                           : ['server0']

[ceph_deploy.cli][INFO  ]  func                          : <function mon at 0x2585aa0>

[ceph_deploy.cli][INFO  ]  ceph_conf                     : None

[ceph_deploy.cli][INFO  ]  default_release               : False

[ceph_deploy.cli][INFO  ]  keyrings                      : None

 

...

 

[server0][DEBUG ] ********************************************************************************

[server0][DEBUG ] status for monitor: mon.server0

[server0][DEBUG ] {

[server0][DEBUG ]   "election_epoch": 2,

[server0][DEBUG ]   "extra_probe_peers": [],

[server0][DEBUG ]   "monmap": {

[server0][DEBUG ]     "created": "0.000000",

[server0][DEBUG ]     "epoch": 1,

[server0][DEBUG ]     "fsid": "a6b5c6fe-c913-44fc-a317-86f5d1daae4c",

[server0][DEBUG ]     "modified": "0.000000",

[server0][DEBUG ]     "mons": [

[server0][DEBUG ]       {

[server0][DEBUG ]         "addr": "192.168.80.11:6789/0",

[server0][DEBUG ]         "name": "server0",

[server0][DEBUG ]         "rank": 0

[server0][DEBUG ]       }

[server0][DEBUG ]     ]

[server0][DEBUG ]   },

[server0][DEBUG ]   "name": "server0",

[server0][DEBUG ]   "outside_quorum": [],

[server0][DEBUG ]   "quorum": [

[server0][DEBUG ]     0

[server0][DEBUG ]   ],

[server0][DEBUG ]   "rank": 0,

[server0][DEBUG ]   "state": "leader",

[server0][DEBUG ]   "sync_provider": []

[server0][DEBUG ] }

[server0][DEBUG ] ********************************************************************************

[server0][INFO  ] monitor: mon.server0 is running

[server0][INFO  ] Running command: sudo ceph --cluster=ceph --admin-daemon /var/run/ceph/ceph-mon.server0.asok mon_status

Error in sys.exitfunc:

 

 

  * ceph-deploy gatherkeys server0

 

 

 [ceph_deploy.conf][DEBUG ] found configuration file at: /home/ceph/.cephdeploy.conf

[ceph_deploy.cli][INFO  ] Invoked (1.5.28): /usr/bin/ceph-deploy gatherkeys server0

[ceph_deploy.cli][INFO  ] ceph-deploy options:

[ceph_deploy.cli][INFO  ]  username                      : None

[ceph_deploy.cli][INFO  ]  verbose                       : False

[ceph_deploy.cli][INFO  ]  overwrite_conf                : False

[ceph_deploy.cli][INFO  ]  quiet                         : False

[ceph_deploy.cli][INFO  ]  cd_conf                       : <ceph_deploy.conf.cephdeploy.Conf instance at 0x2173f80>

[ceph_deploy.cli][INFO  ]  cluster                       : ceph

[ceph_deploy.cli][INFO  ]  mon                           : ['server0']

[ceph_deploy.cli][INFO  ]  func                          : <function gatherkeys at 0x214b6e0>

[ceph_deploy.cli][INFO  ]  ceph_conf                     : None

[ceph_deploy.cli][INFO  ]  default_release               : False

[ceph_deploy.gatherkeys][DEBUG ] Have ceph.client.admin.keyring

[ceph_deploy.gatherkeys][DEBUG ] Have ceph.mon.keyring

[ceph_deploy.gatherkeys][DEBUG ] Have ceph.bootstrap-osd.keyring

[ceph_deploy.gatherkeys][DEBUG ] Have ceph.bootstrap-mds.keyring

[ceph_deploy.gatherkeys][DEBUG ] Have ceph.bootstrap-rgw.keyring

Error in sys.exitfunc:

 

 

 

5. disk zap 수행

 

 

  * ceph-deploy disk zap server1:sdb server2:sdb server3:sdb server4:sdb

 

    - 지정된 디스크 XFS로 포멧(/dev/sdb)

 

 

 

 [ceph_deploy.conf][DEBUG ] found configuration file at: /home/ceph/.cephdeploy.conf

[ceph_deploy.cli][INFO  ] Invoked (1.5.28): /usr/bin/ceph-deploy disk zap server1:sdb

[ceph_deploy.cli][INFO  ] ceph-deploy options:

[ceph_deploy.cli][INFO  ]  username                      : None

[ceph_deploy.cli][INFO  ]  verbose                       : False

[ceph_deploy.cli][INFO  ]  overwrite_conf                : False

[ceph_deploy.cli][INFO  ]  subcommand                    : zap

[ceph_deploy.cli][INFO  ]  quiet                         : False

[ceph_deploy.cli][INFO  ]  cd_conf                       : <ceph_deploy.conf.cephdeploy.Conf instance at 0xedd5f0>

[ceph_deploy.cli][INFO  ]  cluster                       : ceph

[ceph_deploy.cli][INFO  ]  func                          : <function disk at 0xed6398>

[ceph_deploy.cli][INFO  ]  ceph_conf                     : None

[ceph_deploy.cli][INFO  ]  default_release               : False

[ceph_deploy.cli][INFO  ]  disk                          : [('server1', '/dev/sdb', None)]

[ceph_deploy.osd][DEBUG ] zapping /dev/sdb on server1

[server1][DEBUG ] connection detected need for sudo

[server1][DEBUG ] connected to host: server1

[server1][DEBUG ] detect platform information from remote host

[server1][DEBUG ] detect machine type

[server1][DEBUG ] find the location of an executable

[ceph_deploy.osd][INFO  ] Distro info: CentOS 6.5 Final

[server1][DEBUG ] zeroing last few blocks of device

[server1][DEBUG ] find the location of an executable

[server1][INFO  ] Running command: sudo /usr/sbin/ceph-disk zap /dev/sdb

[server1][DEBUG ]

[server1][DEBUG ] ***************************************************************

[server1][DEBUG ] Found invalid GPT and valid MBR; converting MBR to GPT format

[server1][DEBUG ] in memory.

[server1][DEBUG ] ***************************************************************

[server1][DEBUG ]

[server1][DEBUG ] GPT data structures destroyed! You may now partition the disk using fdisk or

[server1][DEBUG ] other utilities.

[server1][DEBUG ] Creating new GPT entries.

[server1][DEBUG ] The operation has completed successfully.

[server1][WARNIN] error deleting partitions 1-256: BLKPG: No such device or address

[ceph_deploy.osd][INFO  ] calling partx on zapped device /dev/sdb

[ceph_deploy.osd][INFO  ] re-reading known partitions will display errors

[server1][INFO  ] Running command: sudo partx -a /dev/sdb

Error in sys.exitfunc:

 

 

 

 

6. OSD 추가

 

 

  * ceph-deploy osd create server1:sdb server2:sdb server3:sdb server4:sdb

 

    - journal 을 추가 하고 싶으면 server1:sdb:{journal dev} 추가로 적어 주면 됨. (ex. /dev/sdc)

 

 

 [ceph_deploy.conf][DEBUG ] found configuration file at: /home/ceph/.cephdeploy.conf

[ceph_deploy.cli][INFO  ] Invoked (1.5.28): /usr/bin/ceph-deploy osd create server1:sdb

[ceph_deploy.cli][INFO  ] ceph-deploy options:

[ceph_deploy.cli][INFO  ]  username                      : None

[ceph_deploy.cli][INFO  ]  disk                          : [('server1', '/dev/sdb', None)]

[ceph_deploy.cli][INFO  ]  dmcrypt                       : False

[ceph_deploy.cli][INFO  ]  verbose                       : False

[ceph_deploy.cli][INFO  ]  overwrite_conf                : False

[ceph_deploy.cli][INFO  ]  subcommand                    : create

[ceph_deploy.cli][INFO  ]  dmcrypt_key_dir               : /etc/ceph/dmcrypt-keys

[ceph_deploy.cli][INFO  ]  quiet                         : False

[ceph_deploy.cli][INFO  ]  cd_conf                       : <ceph_deploy.conf.cephdeploy.Conf instance at 0xa65d88>

[ceph_deploy.cli][INFO  ]  cluster                       : ceph

[ceph_deploy.cli][INFO  ]  fs_type                       : xfs

[ceph_deploy.cli][INFO  ]  func                          : <function osd at 0xa5b320>

[ceph_deploy.cli][INFO  ]  ceph_conf                     : None

[ceph_deploy.cli][INFO  ]  default_release               : False

[ceph_deploy.cli][INFO  ]  zap_disk                      : False

[ceph_deploy.osd][DEBUG ] Preparing cluster ceph disks server1:/dev/sdb:

 

...

 

[server1][DEBUG ] The operation has completed successfully.

[server1][WARNIN] INFO:ceph-disk:calling partx on prepared device /dev/sdb

[server1][WARNIN] INFO:ceph-disk:re-reading known partitions will display errors

[server1][WARNIN] DEBUG:ceph-disk:does /usr/bin/partx exists ?

[server1][WARNIN] DEBUG:ceph-disk:does /sbin/partx exists ?

[server1][WARNIN] DEBUG:ceph-disk:yes, /sbin/partx exists

[server1][WARNIN] INFO:ceph-disk:Running command: /sbin/partx -a /dev/sdb

[server1][WARNIN] BLKPG: Device or resource busy

[server1][WARNIN] error adding partition 1

[server1][WARNIN] BLKPG: Device or resource busy

[server1][WARNIN] error adding partition 2

[server1][INFO  ] Running command: sudo udevadm trigger --subsystem-match=block --action=add

[server1][INFO  ] checking OSD status...

[server1][INFO  ] Running command: sudo ceph --cluster=ceph osd stat --format=json

[server1][WARNIN] there is 1 OSD down

[server1][WARNIN] there is 1 OSD out

[ceph_deploy.osd][DEBUG ] Host server1 is now ready for osd use.

Error in sys.exitfunc:

 

 

 

7. Master node의 설정 파일 배포

 

 

  * ceph-deploy admin server1 server2 server3 server4

 

 

8. keyring 파일 퍼미션 추가

 

 

  * sudo chmod -r /etc/ceph/ceph.client.admin.keyring

 

 

9. 상태 점검

 

 

  * ceph health

 

 HEALTH_WARN 64 pgs degraded; 64 pgs stale; 64 pgs stuck degraded; 64 pgs stuck inactive; 64 pgs stuck stale; 64 pgs stuck unclean; 64 pgs stuck undersized; 64 pgs undersized; too few PGs per OSD (12 < min 30); 1/5 in osds are down

 

 

10. FS 생성

 

 

 

$ ceph osd pool create cephfs_data 90

pool 'cephfs_data' created

$ ceph osd pool create cephfs_metadata 1

pool 'cephfs_metadata' created

$ ceph fs new cephfs cephfs_metadata cephfs_data

new fs with metadata pool 2 and data pool 1

 

 

 

11. Map 확인

 

 

 

Monitor Map

 

 

$ ceph mon dump

dumped monmap epoch 1

epoch 1

fsid a6b5c6fe-c913-44fc-a317-86f5d1daae4c

last_changed 0.000000

created 0.000000

0: 192.168.80.11:6789/0 mon.server0

 

 

OSD Map

 

 

$ ceph osd tree

ID WEIGHT  TYPE NAME        UP/DOWN REWEIGHT PRIMARY-AFFINITY

-1 0.00580 root default

-2 0.00580     host server1

 0 0.00290         osd.0       down        0          1.00000

 1 0.00290         osd.1         up  1.00000          1.00000

-3       0     host server2

 2       0         osd.2         up  1.00000          1.00000

-4       0     host server3

 3       0         osd.3         up  1.00000          1.00000

-5       0     host server4

 4       0         osd.4         up  1.00000          1.00000

 

 

MDS Map

 

 

$ ceph mds dump

dumped mdsmap epoch 4

epoch   4

flags   0

created 2016-04-28 09:26:31.587446

modified        2016-04-28 09:26:34.551106

tableserver     0

root    0

session_timeout 60

session_autoclose       300

max_file_size   1099511627776

last_failure    0

last_failure_osd_epoch  0

compat  compat={},rocompat={},incompat={1=base v0.20,2=client writeable ranges,3=default file layouts on dirs,4=dir inode in separate object,5=mds uses versioned encoding,6=dirfrag is stored in omap,8=no anchor table}

max_mds 1

in      0

up      {0=14131}

failed

damaged

stopped

data_pools      1

metadata_pool   2

inline_data     disabled

14131:  192.168.80.11:6800/23203 'server0' mds.0.1 up:creating seq 187657

 

 

 

12. 참조

 

  * http://docs.ceph.com/docs/master/install/

 

  * http://docs.ceph.com/docs/master/start/quick-start-preflight/

 

  * http://docs.ceph.com/docs/master/start/quick-ceph-deploy/

저작자표시

'3. 쿠버네티스의 모든것' 카테고리의 다른 글

윈도우 10에 도커, 쿠버네티스 설치 (도커 데스크탑)  (0) 2020.07.11
쿠버네티스 디플로이먼트  (0) 2020.07.11
8탄!! K8S 대시보드 설치  (0) 2020.06.25
elasticsearch.yaml 테스트중  (0) 2020.06.25
10탄!! K8S Namespace 생성방법  (1) 2020.06.24
댓글