IT 냉동인간 미니대왕님(miniking)

참고 원본 : https://docs.ray.io/en/latest/ray-overview/index.html Overview — Ray 2.24.0Stack of Ray libraries - unified toolkit for ML workloads.docs.ray.io 레이 프레임워크 Ray의 통합 컴퓨팅 프레임워크는 세 가지 계층으로 구성됩니다.Ray AI Libraries – ML 엔지니어, 데이터 과학자 및 연구원에게 ML 애플리케이션을 위한 확장 가능하고 통합된 툴킷을 제공하는 오픈 소스, Python, 도메인별 라이브러리 세트입니다.Ray Core     – ML 엔지니어와 Python 개발자가 Python 애플리케이션을 확장하고 기계 학습 워크로드를                  가속화할 ..

참고 : https://hamait.tistory.com/1120 InfluxDB , Telegraf, Grafana 모니터링 설치 (2021년 8월기준)* 해당 글은 리눅스 기준 입니다. (CentOS 7버전, Ubuntu18에서 잘됨) InfluxDB 2.x 설치 (docs.influxdata.com/influxdb/v2.0/get-started/?t=Linux) 아래 2가지 방식 중에 패키지로 서비스로 시작하는것을 추천한다. 파일hamait.tistory.com InfluxDB , Telegraf, Grafana 모니터링 설치(docs.influxdata.com/influxdb/v2.0/get-started/?t=Linux) 아래 2가지 방식 중에 패키지로 서비스로 시작하는것을 추천한다.파일로 받아..

1. Airflow란?Apache Airflow는 초기 에어비엔비(Airfbnb) 엔지니어링 팀에서 개발한 워크플로우 오픈 소스 플랫폼** 워크플로우란? : 의존성으로 연결된 작업(Task)들의 집합(ex) ETL의 경우 Extractaction > Transformation > Loading 의 작업의 흐름프로그래밍 방식으로 워크플로우를 작성, 예약 및 모니터링 2. Airflow 기본 구성 및 작동 원리(1) Airflow Key Concepta. DAG (Directed Acyclic Graph)단어 뜻 그대로 순환하지 않는 그래프, DAG(대그)라고 부름반복이나 순환을 허용하지 않음순차적으로 작업(task)이 이루어지며, 순환 실행을 방지하기 때문에 매우 중요함→ 논리적 오류는 교착상태(deadl..

1. airflow 설치 하기 전에 설치전 파이선 3.9버전대로 업그레이드 진행하기> yum install zlib-devel bzip2 bzip2-devel readline-devel sqlite sqlite-devel git> yum install gcc openssl-devel libffi-devel bzip2-devel wget> curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash > vi /root/.bash_profileexport PATH="$HOME/.pyenv/bin:$PATH"eval "$(pyenv init -)"eval "$(pyenv virtualenv-init -)"> sour..

2024.06.03 - [분류 전체보기] - Kubeflow Central 1탄(개념공부)2024.06.03 - [분류 전체보기] - Kubeflow Central 2탄(설치)2024.06.07 - [분류 전체보기] - Kubeflow Central 3탄(설치) 시작하기전 주의사항!! 우선 CPU Master 는 8core , worknode중 한대는 8core 하시길 바랍니다. 최소 메모리는 32G 로 사용하고 총 8G(최대) , 4G(최소) 하시길 바랍니다. Mysql 오류가 발생할수 있으니 반드시 PV 잘 미리 체크생성하시길 바랍니다. NFS 서버 생성하고 PVC PV 잘 이용하시길바랍니다. 이상모든 POD 들이 정상적으로 구동되었습니다. 참조 : https://mkbahk.medium.com/ub..

1. kubectx란?  다중 클러스터 사용 시 클러스터 context 전환을 쉽게 해 주는 툴이다. 2. kubens란? 쿠버네티스 클러스터 내에서 네임스페이스 변환을 쉽게 해 주는 툴이다.  3. kubectx  설치하기$ wget https://github.com/ahmetb/kubectx/releases/download/v0.9.4/kubectx$ sudo install kubectx /usr/local/bin 설치 확인$ which kubectx /usr/local/bin/kubectx4. kubens 설치하기$ wget https://github.com/ahmetb/kubectx/releases/download/v0.9.4/kubens$ sudo install kubens /usr/l..