티스토리 뷰

카테고리 없음

GPU 노드

미니대왕님 2024. 7. 1. 09:21

 

🔗 랭체인

 

🤔 1. 

 

LangChain :

  • 오픈 소스 라이브러리 : LangChain의 모듈식 빌딩 블록 및 구성 요소를 사용하여 애플리케이션을 구축하세요 .
    수백 개의 타사 제공업체 와 통합하세요 .
  • 프로덕션화 : LangSmith를 사용하여 앱을 검사, 모니터링 및 평가 하면 자신 있게 지속적으로 최적화하고
    배포할 수 있습니다.
  • 배포 : LangServe를 사용하여 모든 체인을 REST API로 전환합니다 .

⚡ 2. 

  • langchain-core:

 

🧱 3. 

❓ RAG

 

🧱 구조

 

🤖 챗봇

 

🚀 4. Lang

LangChain 라이브러리의 주요 가치 제안은 다음과 같습니다:

  1. 구성 요

구성 요소는 다음 모듈 로 구성됩니다 .

📃 모델 I/O

     여기에는 

📚 검색

    검색 증강 

🤖 에이전트

     에이전트는

📖 5. 문서

다음을 포함하는 전체 문서를 보려면 여기를 참조하세요 .

  • 소개 : 프레임워크 및 문서 구조의 개요입니다.
  •  

🌐 6. 생태계

  • 🦜🛠️ LangSmith : 프로토타입에서 프로덕션으로 전환하는 데 도움이 되는 언어 모델 애플리케이션과 지능형 에이전트를 추적하고 평가합니다.

💁 7. 기여

빠르게 발전하는 분야의 오픈 소스 프로젝트로서 우리는 새로운 기능, 향상된 인프라, 더 나은 문서 등의 형태로 기여하는

 

GPU 노드

Ncloud Kubernetes Service의 워커노드로 GPU 노드를 사용할 수 있습니다.

주의
  • GPU 노드는 KR 리전에서만 사용 가능합니다.
  • GPU 노드로만 구성된 클러스터는 사용 제약이 있습니다.
  • Ncloud Kubernetes Service의 기본 오브젝트는 일반 노드를 필요로 하므로, 일반 노드풀과 GPU 노드풀을 함께 구성해야 합니다.
참고
  • GPU 노드에서는 SMI/CUDA 드라이버를 업그레이드할 수 있습니다.
  • runfile을 사용하여 드라이버 업그레이드를 진행할 수 있으며, 자세한 방법은 GPU 드라이버/CUDA 재설치 및 업그레이드 문서를 참조해 주시기 바랍니다.

Nvidia GPU 디바이스 플러그인 배치

GPU 플러그인을 배치하기 이전에는 쿠버네티스 클러스터에서 GPU 리소스를 사용할 수 없습니다.
클러스터에 GPU 노드가 운영중으로 변경된 후 NVIDIA 디바이스 플러그인을 배치하기 위해서는 아래 명령어를 실행해 주십시오.

1. Helm 설치

curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 \
   && chmod 700 get_helm.sh \
   && ./get_helm.sh
 

2. NVIDIA device plugin helm 저장소 추가

helm repo add nvdp https://nvidia.github.io/k8s-device-plugin \
   && helm repo update
 

3. NVIDIA device plugin 배포

아래 명령어를 통해 kube-system 네임스페이스에 NVIDIA device plugin을 배포합니다.

helm install --generate-name nvdp/nvidia-device-plugin -n kube-system
 
참고

HELM Chart는 NVIDIA에서 제공하고 있으므로, 문제 상황 발생 시 NVIDIA 공식 사이트에서 변경 여부를 확인해 주십시오.

빠른 시작을 위해 간단한 Damonset을 직접 배포하여 GPU 자원을 활성화 할 수 있습니다.

$ kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.15.0/deployments/static/nvidia-device-plugin.yml
 

4. GPU 사용 확인

아래 명령어를 통해 노드의 상세 정보를 조회하여 GPU 리소스의 사용 가능 여부를 확인할 수 있습니다.

$ kubectl describe [node-name]

...
Capacity:
  cpu:                4
  ephemeral-storage:  51341792Ki
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             20474628Ki
  nvidia.com/gpu:     1
  pods:               110
Allocatable:
  cpu:                3920m
  ephemeral-storage:  47316595429
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             17425156Ki
  nvidia.com/gpu:     1
  pods:               110
...
 

디바이스 플러그인 사용

쿠버네티스는 디바이스 플러그인을 구현하여 파드가 GPU와 같은 특별한 하드웨어 기능에 접근할 수 있습니다. 자세한 내용 및 사용 방법은 공식 사이트에서 확인할 수 있습니다.

 

저작자표시
댓글