티스토리 뷰
7. Amazon Redshift을 사용하여 AWS Schema Conversion Tool 최적화
8. AWS Schema Conversion Tool을 사용하여 애플리케이션 SQL 변환
9. AWS Schema Conversion Tool 관련 문제 해결
10. AWS Schema Conversion Tool 사용
11. AWS (SCT:Schema conversion Tool)이란
12. AWS Schema Conversion Tool 설치
AWS Technical Essentials 속성 가이드
필요사전지식
AWS 소개와 역사
AWS 는 책장사로 시작한 아마존(1994년) 에서 온라인쇼핑몰을 운영하면서 쌓인 노하우를 서비스 형태로 만들어 판매(2006년) 하는 서비스
2016년 서버리스 서비스도 출시 2018년 기준 전세계 클라우드 점유율 40%대 (2위 MS 10%대)
2017년 기준으로 2,913개 서비스 (2019년 기준으로는 3000여개 서비스 운영중)
2019년 1월 기준으로 퍼블릭 클라우드에 고객정보 저장 가능하게 풀려서 클라우드 전환에 불이 붙음
AWS 클라우드 컴퓨팅의 단점
- 자본비용을 가변비용으로 대체 => 비용관리를 잘 못하면 비용폭탄 맞는다
- 속도 및 민첩성 개선 => 하이테크놀러지 기술을 이해해야 한다
- 규모의 경제로 얻게 되는 이점 => 멀티클라우드로 운영하라는 새로운 니즈가 생긴다 (클라우드 업체별로 싼 서비스 이용)
- 데이터 센터 운영 및 유지관리에 비용 투자 불필요 => 어플리케이션의 개발에 더 많은 요구가 들어온다
- 용량 추정 불필요 => 서비스별 비용 모니터링 및 관리를 해야 한다
- 몇 분 만에 전 세계에 배포 => 고가용성에 대한 아키텍처 고도화가 요구된다
인프라 서비스 + 왠만한 서비스는 클라우드에 다 있다
인프라 기준의 AWS 서비스
2019년 4월 AWS 서비스
AWS 의 리전 (지리적 위치) - 2016년에 서울 리전이 생겼다
- 지리적 위치 (16개 리전)
- 최소한 2개 이상의 가용 영역으로 구성 (서울은 2개)
가용영역 : 재난발생시 대응책
- 데이터 센터의 클러스터
- 다른 가용 영역의 장애로부터 격리됨
- 서울리전은 2개의 가용영역으로 구성 (미국은 5개, 일본은 3개)
엣지 로케이션
- 서비스를 위한 로컬 지점 (캐쉬 서비스라 생각해도 됨)
- 간단히 구글은 서울에 리전이 없으나 엣지 로케이션이 있어서 유튜브가 서비스가 빠름
- 그래도 2020년 구글 서울 리전 추가 예정
AWS 기초 서비스
컴퓨팅
EC2 (Elastic Compute Cloud) - 서버용 장비
아마존이 준비한 가상 서버로 서비스 용도에 맞게 타입을 선택하고 CPU 와 메모리를 선정하면 됨
(구글은 일일이 CPU, 메모리 갯수를 선택할 수 있고, 아마존은 리스트에서 선택해야 함)
OS, 타입, CPU, 메모리 선택 하는 식으로 EC2 를 선택한다
수두룩하게 많은 타입들이 출시되고 있다
최근에는 머신러닝용 GPU 기능이 강화된 타입들이 출시되었다
EC2 인스턴스 종류 - https://aws.amazon.com/ko/ec2/instance-types/
20여 가지 타입이 있으며 CPU / 메모리 선택옵션은 200여가지가 된다
구입 옵션 - 가상자원을 어떻게 점유할 것인가에 따라서 동일 자원에 대한 비용이 틀려진다
https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/instance-purchasing-options.html
· 온디맨드 인스턴스 - 시작하는 인스턴스에 대한 비용을 초 단위로 지불합니다.
· 예약 인스턴스 - 1년부터 3년까지의 기간 동안 항상 사용할 수 있는 인스턴스를 크게 할인된 가격으로 구입합니다.
· 예약된 인스턴스 - 1년 동안 항상 사용할 수 있는 인스턴스를 지정된 되풀이 일정으로 구입합니다.
· 스팟 인스턴스 - 미사용 EC2 인스턴스를 요청하여 Amazon EC2 비용을 대폭 낮출 수 있습니다.
· 전용 호스트 - 인스턴스 실행을 전담하는 실제 호스트 비용을 지불하며, 기존의 소켓, 코어 또는 VM 소프트웨어별 라이선스를 가져와 비용을 절감합니다.
· 전용 인스턴스 - 단일 테넌트 하드웨어에서 실행되는 인스턴스 비용을 시간 단위로 지불합니다.
· 용량 예약 – 원하는 기간 동안 특정 가용 영역의 EC2 인스턴스에 대해 용량을 예약합니다.
AMI (Amazon Machine Image) - 소프트웨어가 적용된 가상서버
미리 만들어져 있는 서버 이미지로 OS / WAS / 어플리케이션 까지 설치 되어 있다
직접 커스트마이징 해서 용도에 맞게 만들어서 재사용이 가능하다
AWS Marketplace
용도별 소프트웨어가 탐재된 AMI 이미지를 판매하는 서비스
사용한 만큼 과금되는 방식이다
이커머스 솔루션 AMI 를 선택한 모습이고
유료소프트웨어는 시간당 과금 비용이 표시된다
네트워크
VPC (Virtual Private Cloud)
- AWS 계정생성 : 데이터 센터를 만들겠다는 행위
- VPC : 나만의 격리된 데이터 센터를 만드는 행위 (네트워크 기준)
- 가용영역 : 지역적인 장애에 대비한 별도의 데이터 센터를 분리하는 행위 (지역 기준)
- 서브넷 : 용도별 접근할 수 있는 네트워크 대역을 분리 행위 (ex-Public, Private, Database)
VPC 보안
- 보안그룹 : EC2 인스턴스에 대한 방화벽 역할을 하며 인바운드 트래픽과 아웃바운드 트래픽을 제어
- 네트워크 ACL (Access Control List) : 서브넷에 대한 방화벽 역할을 하며 인바운드 트래픽과 아웃바운드 트래픽을 제어
- 키 페어 : EC2 인스턴스에 SSH 를 통한 로그인시 키페어 사용
- VPN (Virtual Private Network) : 네트워크 회선 연결 (전용선 - Direct Connect, 네트워크 장비 - 하드웨어 VPN)
스토리지 서비스
S3 (Simple Storage Service)
인터넷 스토리지, 오브젝트 스토리지 (객체 저장 스토리지)
특징
- 아마존 최고의 서비스
- 객체 저장 스토리지
- 전체용량 무제한, 단일 최대 5TB 파일 저장가능
- 99.999999999% (일레븐 나인) 내구성
- 99.99% 가용성
- 독자적인 HTTP/S 엔드포인트 서비스로 웹에서 접근가능
- 비용 저렴하고 암호화 쉬움
- 모든 서비스의 중심 (서비 이미지, 로그, 컨텐츠 등)
- 폴더가 존재하지 않음 (눈에 보이는 폴더 형태의 오브젝트명칭임)
- 버전관리, 오브젝트 수명관리, 보안, 트리거 실행 전부 가능
사용빈도에 따른 서비스 유형을 선택하여 비용 절감을 할 수 있다
EBS (Elastic Block Store)
서버에 연결되는 SSD / HDD (용도에 맞게 다양한 형태의 SSD 종류가 있다)
보안, 자격 증명 및 액세스 관리
보안
보안책임모델
밑에는 AWS 가 책임질테니 위에는 고객사가 책임져라
클라우드 환경 위에 생성되는 정보에 대한 보안은 고객사가 해야 하는 것임
https://aws.amazon.com/ko/compliance/shared-responsibility-model/
물리적 보안
- 데이터센터가 어디 위치해 있는 지 비공개, 공개시 해당 직원 퇴직사유
소프트웨어 보안
- CloudTrail : AWS 내 API 호출 기록을 로그파일로 S3 에 저장
네트워크 보안
- SSL 엔드포인트 : SSL 로 서비스 접근
- 보안 그룹 : 인스턴스에 방화벽 구성
- VPC : 프라이빗 서브넷, 네트워크 액세스 제어목록 (NACL), 인터넷 게이트웨이, 라우팅 테이블, 가상 프라이빗 게이트웨이, NAT, VPN
사용자 보안
- IAM : Identity and Access Management (IAM)
- 사용자, 사용자 그룹, 역할, 정책 을 연결하여 사용자 권한 부여 (OOP 관점의 권한부여)
- Multi Factor Authentication
- 임시보안자격증명 (STS : Security Token Service) : 단기간의 접근 권한 부여
데이터베이스
용도에 따라 데이터베이스를 선택해야 한다
- 읽기가 빈번한 DB : RDS (RDB)
- 쓰기가 많은 DB : DynamoDB (NoSQL)
- 그래프 DB : Neptune
- 메모리 DB : ElastiCache (Memcached, Redis)
- 빅데이터 DB : Redshift
Amazon RDS (Relational Database Service)
상용 DB 의 경우 라이센스는 고객사가 해결해야 함
- 교차리전 스냅샷이 가능함
- VPC 내에서 DB 인스턴스가 실행되어야 함
- AES-256 암호화 알고리즘을 사용하여 데이터 암호화 가능
- 다중 가용영역 서비스 가능
Amazon Aurora
MySQL 이나 PostgreSQL 을 이용해서 아마존이 만든 RDB 서비스로 아마존이 관리함
사용자는 CPU 와 메모리 사이즈만 결정하고 OS / DB software 는 아마존이 관리
선택된 인스턴스 타입과 사이즈로 과금됨 (예약인스턴스로 비용절감 해야함)
NOTE : MySQL 5.6 과 호환되는 서버리스 데이터베이스 서비스가 출시되었음
사용량 만큼만 과금되는 서비스
DynamoDB
- 완전관리형 NoSQL 데이터베이스
- 무제한 용량
- 용량에 따른 속도저하 없음
과금형태
- 테이블별로 요청 용량 사이즈 설정하여 사이즈 만큼 과금하는 방식과
- 요청 횟수별 과금 방식이 새로 생김
사이징 - 쓰기 비용이 읽기 비용보다 4배 비싸다
- 읽기 용량 1 유닛 = 최대 4KB
- 쓰기 용량 1 유닛 = 최대 1KB
서버리스 서비스로 완전관리 확장이 가능한 구조로 어플리케이션을 구축할 경우 NoSQL 는 필수
AWS 탄력성 및 관리도구
자동화 자원관리 3대 요소
- Load Balancing : 트래픽을 EC2 인스턴스에 분산시킨다
- CloudWatch : 사용량을 모니터링하다가 사용량이 임계치에 도달하면 Auto Scaling 그룹에 인스턴스 증가 요청을 한다
- Auto Scaling : 인스턴스 증가 또는 감소 요청을 받아서 EC2 인스턴스를 증가 또는 감소 시켜준다
Elastic Load Balancing
로드 밸런서 종류에 따라 L4, L7 장비로 나뉜다
L4 : Classic Load Balancer ( NLB )
L7 : Application Load Balancer ( ALB )
CloudWatch
AWS 내에서 실행되는 클라우드 리소스와 애플리케이션에 대한 모니터링 서비스
클라우드내 모든 자원에 대한 모니터링이 가능하다
자원별로 CloudWatch 설정을 하면 모니터링이 가능해지고 모니터링 비용이 그만큼 추가 된다
임계치를 만들어서 SNS 알림과 서버리스 람다를 이용해서 클라우드 내의 모든 서비스와 연계 가능하다
Auto Scaling
EC2 용량을 자동으로 조정
EC2 인스턴스 추가시 기동시간이 필요하다 (몇 분 정도 소요됨)
Trusted Advisor
비용 최적화, 보안, 내결함성, 성능 향상을 위한 권장 사항을 알려준다
7. Amazon Redshift을 사용하여 AWS Schema Conversion Tool 최적화
8. AWS Schema Conversion Tool을 사용하여 애플리케이션 SQL 변환
9. AWS Schema Conversion Tool 관련 문제 해결
10. AWS Schema Conversion Tool 사용
- Total
- Today
- Yesterday
- K8s
- 오라클
- 커널
- [오라클 튜닝] sql 튜닝
- 앤시블
- 버쳐박스
- 스토리지 클레스
- pod 상태
- ORACLE 트러블 슈팅(성능 고도화 원리와 해법!)
- Oracle
- 5.4.0.1072
- directory copy 후 startup 에러
- ubuntu
- 우분투
- 튜닝
- startup 에러
- 트리이스
- 오라클 홈디렉토리 copy 후 startup 에러
- 설치하기(HP-UX)
- (InstantClient) 설치하기(HP-UX)
- 키알리
- 쿠버네티스
- [오라클 튜닝] instance 튜닝2
- 테라폼
- 여러서버 컨트롤
- 오라클 인스턴트클라이언트(InstantClient) 설치하기(HP-UX)
- MSA
- 오라클 트러블 슈팅(성능 고도화 원리와 해법!)
- 코로나19
- CVE 취약점 점검
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |