IT 인프라 & DevOps 스킬 인벤토리

IT 인프라 & DevOps 스킬 인벤토리 정리

IT 인프라와 DevOps 역량은 단순히 “무엇을 해봤다”를 나열하는 것보다,
어떤 환경에서 · 어떤 문제를 · 어떻게 해결했는지를 체계적으로 정리하는 것이 중요합니다.

이번 글에서는 IT 인프라 & DevOps 스킬 인벤토리를 하나의 기준으로 정리해봅니다.

---

🏗️ 1. 인프라 기본 역량 (Infrastructure Fundamentals)

✔ 서버 & OS

• Linux (Ubuntu, Debian, CentOS, Rocky Linux)
• 사용자 / 권한 관리
• 패키지 관리 (apt, yum, dnf)
• 시스템 로그 분석 (journalctl, /var/log)
• 서비스 관리 (systemctl)

✔ 네트워크

• TCP/IP 기본 구조 이해
• DNS / DHCP
• 포트 & 방화벽 설정 (iptables, ufw)
• NAT / Port Forwarding
• VPN 기본 개념 (WireGuard, OpenVPN)

---

☁️ 2. 가상화 & 클라우드

✔ 가상화

• VMware / VirtualBox
• KVM / Proxmox
• 스냅샷 및 리소스 할당 관리

✔ 클라우드 (선택)

• AWS / GCP / Azure 기본 구조
• EC2, S3, IAM 개념 이해
• 비용 관리 기본 개념

---

🐳 3. 컨테이너 & Docker

✔ Docker

• Dockerfile 작성
• 이미지 빌드 & 최적화
• 컨테이너 네트워크 이해
• 볼륨 마운트 & 데이터 영속성

✔ Docker Compose

• 멀티 컨테이너 구성
• 서비스 의존성 관리
• 환경 변수 분리

✔ 컨테이너 활용 사례

• Web 서버 (Nginx)
• WAS (Spring, Node.js)
• DB (MySQL, PostgreSQL, Redis)
• 미디어 서버 (Plex, Jellyfin)

---

🔄 4. CI/CD & DevOps 자동화

✔ CI/CD

• Git 기반 워크플로우
• GitHub Actions
• 빌드 → 테스트 → 배포 자동화

✔ 배포 전략

• Blue-Green Deployment
• Rolling Update
• 무중단 배포 개념 이해

---

⚙️ 5. IaC & 설정 관리

✔ Infrastructure as Code

• Ansible
• Terraform (기본 개념)
• 서버 설정 자동화

✔ 환경 분리

• dev / stage / prod 환경 구성
• .env 관리 전략

---

🔐 6. 보안 & 안정성

✔ 보안

• SSH 보안 설정
• Key 기반 인증
• Fail2Ban
• SSL/TLS (Let’s Encrypt)

✔ 백업 & 복구

• 정기 백업 전략
• 스냅샷
• 장애 복구 시나리오 수립

---

📊 7. 모니터링 & 운영

✔ 모니터링

• Prometheus / Grafana
• 시스템 리소스 모니터링
• 알림(Alert) 설정

✔ 로그 관리

• 중앙 로그 수집
• 장애 원인 분석

IT 인프라 & DevOps 스킬 인벤토리

1. CI/CD 관련 툴

Build & CI

• Jenkins
• GitLab CI/CD
• GitHub Actions

-----------------------------------------------------------------

• CircleCI
• Travis CI
• Bamboo
• TeamCity
• Azure DevOps Pipelines
• Drone CI
• Buildkite

CD & GitOps

• ArgoCD
• Flux CD
• Spinnaker
• Harness
• Octopus Deploy
• Tekton
• Jenkins X

Artifact Repository

• Nexus Repository
• JFrog Artifactory
• Harbor (Container Registry)
• Sonatype Nexus
• AWS CodeArtifact
• GitHub Packages

Build Tools

• Maven
• Gradle
• npm/yarn/pnpm
• Make
• Bazel
• CMake

AWS 관련 CI/CD 오픈소스 & 도구

1. AWS Native CI/CD 서비스

AWS 공식 서비스

• AWS CodePipeline - 완전 관리형 CI/CD 서비스
• AWS CodeBuild - 완전 관리형 빌드 서비스
• AWS CodeDeploy - 자동 배포 서비스
• AWS CodeCommit - Git 저장소
• AWS CodeArtifact - 아티팩트 저장소
• AWS CodeStar - 통합 개발 환경

2. IaC (Infrastructure as Code)

Terraform 생태계

• Terraform - HashiCorp의 IaC 도구
• Terragrunt - Terraform 래퍼 (DRY 코드)
• Terraformer - 기존 인프라를 Terraform으로 역변환
• tfenv - Terraform 버전 관리
• tflint - Terraform 린터
• tfsec - Terraform 보안 스캐너
• Checkov - IaC 보안 스캐닝 (Bridgecrew)
• Infracost - Terraform 비용 예측
• terraform-docs - 문서 자동 생성
• Atlantis - Terraform PR 자동화

AWS CDK 생태계

• AWS CDK (Cloud Development Kit) - 프로그래밍 언어로 IaC
• CDK for Terraform (CDKTF) - CDK + Terraform
• cdk8s - Kubernetes 매니페스트를 CDK로
• CDK Pipelines - 셀프 뮤테이팅 파이프라인
• Projen - CDK 프로젝트 생성기

기타 IaC

• Pulumi - 멀티 클라우드 IaC (프로그래밍 언어 사용)
• CloudFormation - AWS 네이티브 IaC
• AWS SAM (Serverless Application Model) - 서버리스 IaC
• Serverless Framework - 서버리스 배포
• SST (Serverless Stack) - 모던 서버리스 프레임워크

3. CI/CD 오케스트레이션 

Jenkins 생태계

• Jenkins - 오픈소스 CI/CD 서버
• Jenkins X - K8s 네이티브 Jenkins
• Blue Ocean - Jenkins UI 개선
• Jenkins Configuration as Code (JCasC)
• Jenkins Shared Libraries
• AWS CodeBuild Plugin for Jenkins
• AWS CodePipeline Plugin for Jenkins

GitLab CI/CD

• GitLab Runner - CI/CD 실행기
• GitLab Auto DevOps - 자동화된 CI/CD
• GitLab Container Registry
• gitlab-ci-local - 로컬 CI 테스트

GitHub Actions

• GitHub Actions - GitHub 네이티브 CI/CD
• act - 로컬에서 GitHub Actions 실행
• nektos/act - GitHub Actions 로컬 테스트
• GitHub Actions Runner - 셀프 호스팅 러너
• AWS Actions - AWS 공식 GitHub Actions
  • configure-aws-credentials
  • amazon-ecr-login
  • aws-codebuild-run-build

기타 CI/CD 플랫폼

• Drone CI - 컨테이너 네이티브 CI/CD
• Tekton - Kubernetes 네이티브 CI/CD
• Argo Workflows - K8s 워크플로우 엔진
• CircleCI - 클라우드 CI/CD
• Buildkite - 하이브리드 CI/CD

4. GitOps

ArgoCD 생태계

• ArgoCD - Kubernetes GitOps CD
• Argo Rollouts - 프로그레시브 딜리버리
• Argo Events - 이벤트 기반 워크플로우
• Argo Workflows - 컨테이너 네이티브 워크플로우
• ApplicationSet - ArgoCD 멀티 클러스터 관리

Flux CD

• Flux CD - GitOps 도구
• Flagger - 프로그레시브 딜리버리
• Kustomize - Kubernetes 매니페스트 커스터마이징

기타 GitOps

• Weave GitOps - Flux 기반 GitOps UI
• Jenkins X - K8s GitOps
• Helm - Kubernetes 패키지 매니저

5. 컨테이너 & 레지스트리

컨테이너 빌드

• Docker - 컨테이너 런타임
• Buildah - OCI 컨테이너 이미지 빌드
• Kaniko - K8s에서 컨테이너 빌드
• BuildKit - Docker의 차세대 빌더
• Skopeo - 컨테이너 이미지 작업
• img - 루트 없이 컨테이너 빌드
• Podman - 데몬 없는 컨테이너 엔진

컨테이너 레지스트리

• Amazon ECR - AWS 컨테이너 레지스트리
• Harbor - 오픈소스 레지스트리 (CNCF)
• JFrog Artifactory - 유니버설 아티팩트 저장소
• Sonatype Nexus - 리포지토리 매니저
• GitHub Container Registry (GHCR)
• GitLab Container Registry
• Quay.io - Red Hat 컨테이너 레지스트리
• distribution/distribution - Docker Registry v2

이미지 스캔 & 보안

• Trivy - 컨테이너 취약점 스캐너
• Grype - 취약점 스캐너 (Anchore)
• Clair - 컨테이너 보안 분석
• Anchore Engine - 컨테이너 분석
• Snyk - 취약점 관리
• Aqua Microscanner
• Dagda - 보안 분석

6. 배포 & 릴리스 관리 

블루-그린 & 카나리 배포

• Argo Rollouts - K8s 프로그레시브 딜리버리
• Flagger - 자동 카나리 배포
• Spinnaker - 멀티 클라우드 CD 플랫폼
• Harness - CI/CD 플랫폼

AWS 배포 도구

• AWS Copilot - 컨테이너 배포 CLI
• AWS App Runner - 완전 관리형 컨테이너 서비스
• AWS Proton - 인프라 자동 프로비저닝
• eksctl - EKS 클러스터 관리 CLI
• AWS ECS CLI - ECS 관리 도구

배포 자동화

• Ansible - 구성 관리 및 배포
• Ansible AWX - Ansible의 웹 UI
• Capistrano - 원격 서버 배포
• Fabric - Python 원격 실행
• Deployer - PHP 배포 도구

7. 시크릿 관리

시크릿 관리자

• AWS Secrets Manager - AWS 네이티브
• AWS Systems Manager Parameter Store
• HashiCorp Vault - 시크릿 관리 플랫폼
• External Secrets Operator - K8s 외부 시크릿 동기화
• Sealed Secrets - K8s 암호화된 시크릿
• SOPS - 파일 암호화 (Mozilla)
• git-crypt - Git 투명 암호화
• Chamber - AWS SSM Parameter Store CLI

인증 & 권한

• AWS IAM Roles Anywhere - 온프레미스 워크로드 인증
• IRSA (IAM Roles for Service Accounts) - EKS Pod 권한
• Kube2IAM - K8s Pod IAM 역할
• IAM Access Analyzer - 권한 분석

8. 모니터링 & 로깅

AWS 네이티브

• Amazon CloudWatch - 모니터링 및 로깅
• AWS X-Ray - 분산 추적
• CloudWatch Container Insights - 컨테이너 모니터링
• AWS CloudTrail - API 감사 로깅

오픈소스 APM

• Datadog Agent - AWS 통합
• Prometheus - 메트릭 수집
• Grafana - 시각화
• Loki - 로그 집계
• Tempo - 분산 추적
• Jaeger - 분산 추적
• Zipkin - 분산 추적
• OpenTelemetry - 관찰성 표준
• Fluentd / Fluent Bit - 로그 수집기
• Vector - 고성능 로그 라우터

로그 관리

• ELK Stack (Elasticsearch, Logstash, Kibana)
• OpenSearch - AWS의 Elasticsearch 포크
• Graylog - 로그 관리 플랫폼
• CloudWatch Logs Insights

9. 테스트 & 품질

부하 테스트 프레임워크

• k6 - 부하 테스트
• Locust - 분산 부하 테스트
• Artillery - 성능 테스트

------------------------------------------------------

• LocalStack - AWS 로컬 테스트 환경
• Moto - AWS 서비스 모킹 (Python)
• aws-sdk-mock - AWS SDK 모킹 (Node.js)
• TestContainers - 컨테이너 기반 테스트
• Pact - 컨트랙트 테스트
• Gatling - 부하 테스트

코드 품질

• SonarQube - 코드 품질 분석
• CodeClimate - 코드 품질 및 커버리지
• Coveralls - 코드 커버리지
• ESLint / Pylint / RuboCop - 린터
• Prettier - 코드 포맷터
• pre-commit - Git 훅 관리

보안 스캐닝

• OWASP Dependency-Check - 의존성 취약점 검사
• Snyk - 오픈소스 보안
• Semgrep - 정적 분석
• Bandit - Python 보안 린터
• Brakeman - Rails 보안 스캐너
• Git-secrets - AWS 크레덴셜 유출 방지
• TruffleHog - 시크릿 스캐닝
• Gitleaks - 시크릿 탐지

10. 비용 최적화

비용 관리

• AWS Cost Explorer - 비용 분석
• Infracost - Terraform 비용 예측
• CloudHealth - 멀티클라우드 비용 관리
• Kubecost - K8s 비용 모니터링
• Cloud Custodian - AWS 리소스 관리 자동화
• AWS Nuke - 계정 리소스 정리
• Komiser - 클라우드 환경 검사

리소스 관리

• AWS Auto Scaling
• Karpenter - K8s 노드 오토스케일러
• Cluster Autoscaler - K8s 클러스터 스케일링
• KEDA - K8s 이벤트 기반 오토스케일링

11. 네트워크 & 서비스 메시

서비스 메시

• Istio - 서비스 메시
• Linkerd - 경량 서비스 메시
• Consul - 서비스 메시 & 서비스 디스커버리
• AWS App Mesh - AWS 네이티브 서비스 메시
• Envoy - 프록시 (Istio 기반)
• Traefik - 클라우드 네이티브 프록시

Ingress & 로드밸런싱

• NGINX Ingress Controller
• Traefik Ingress
• AWS Load Balancer Controller - ALB/NLB for K8s
• HAProxy - 로드밸런서
• Contour - Envoy 기반 Ingress

12. 데이터베이스 마이그레이션

스키마 마이그레이션

• Flyway - DB 마이그레이션
• Liquibase - DB 리팩토링
• Alembic - SQLAlchemy 마이그레이션
• AWS Database Migration Service (DMS)
• gh-ost - MySQL 온라인 스키마 마이그레이션

13. 백업 & 재해복구

백업 도구

• Velero - K8s 백업 (VMware)
• Restic - 백업 프로그램
• Duplicity - 암호화된 백업
• AWS Backup - 통합 백업 서비스
• Kopia - 빠른 보안 백업

DR 솔루션

• AWS Elastic Disaster Recovery
• Kasten K10 - K8s 데이터 관리

14. 정책 & 컴플라이언스

정책 엔진

• Open Policy Agent (OPA) - 정책 엔진
• Kyverno - K8s 네이티브 정책 엔진
• Gatekeeper - OPA for K8s
• Conftest - 정책 테스트 (OPA 기반)
• AWS Config - 리소스 규정 준수

컴플라이언스

• InSpec - 컴플라이언스 자동화 (Chef)
• Cloud Custodian - 클라우드 거버넌스
• Prowler - AWS 보안 모범 사례 검사
• ScoutSuite - 멀티클라우드 보안 감사

15. CLI 도구 & 유틸리티

AWS CLI 확장

• AWS CLI v2 - AWS 공식 CLI
• aws-vault - AWS 크레덴셜 관리
• awscli-local - LocalStack용 CLI
• aws-shell - 대화형 AWS CLI
• Steampipe - SQL로 AWS 쿼리
• CloudQuery - 클라우드 데이터 ETL

K8s CLI 도구

• kubectl - K8s CLI
• k9s - K8s TUI
• kubectx/kubens - 컨텍스트/네임스페이스 전환
• stern - 멀티 Pod 로그
• krew - kubectl 플러그인 매니저
• Helm - K8s 패키지 매니저
• Kustomize - 매니페스트 커스터마이징

개발 도구

• AWS SAM CLI - 서버리스 로컬 테스트
• AWS Copilot CLI - 컨테이너 앱 배포
• Serverless Framework CLI
• Terraform CLI
• CDK CLI

16. 메시징 & 이벤트

메시지 큐

• Amazon SQS - 메시지 큐 서비스
• Amazon SNS - Pub/Sub 메시징
• Amazon EventBridge - 이벤트 버스
• Apache Kafka - 분산 스트리밍
• RabbitMQ - 메시지 브로커
• NATS - 클라우드 네이티브 메시징
• Redis Pub/Sub

워크플로우

• AWS Step Functions - 서버리스 워크플로우
• Apache Airflow - 워크플로우 오케스트레이션
• Temporal - 워크플로우 엔진
• Cadence - 워크플로우 엔진 (Uber)

17. 개발 환경

로컬 개발

• LocalStack - AWS 로컬 에뮬레이터
• Tilt - 로컬 K8s 개발
• Skaffold - K8s 개발 워크플로우
• DevSpace - K8s 개발 도구
• Telepresence - 로컬-K8s 연결
• Garden - K8s 개발 자동화

IDE & 확장

• AWS Toolkit for VS Code
• AWS Cloud9 - 클라우드 IDE
• IntelliJ AWS Toolkit

18. 문서화

문서 생성

• terraform-docs - Terraform 문서 자동화
• Swagger/OpenAPI - API 문서
• Redoc - OpenAPI 문서 렌더링
• Slate - API 문서 생성기
• MkDocs - 프로젝트 문서
• Docusaurus - 문서 웹사이트

다이어그램

• draw.io - 아키텍처 다이어그램
• Mermaid - 텍스트 기반 다이어그램
• PlantUML - UML 다이어그램
• Diagrams - Python으로 아키텍처 그리기
• CloudCraft - AWS 아키텍처 시각화
•  

2. Kubernetes 관련 오픈소스

클러스터 관리

• kubeadm
• Rancher
• OpenShift (Red Hat)
• Kubernetes Dashboard
• K9s
• Lens
• k3s (경량 K8s)
• microk8s

-----------------------------------------------------------------

• kops

패키지 관리

• Helm
• Kustomize
• Helmfile

-----------------------------------------------------------------

• Carvel (ytt, kapp)

네트워킹

• Calico
• Flannel
• Weave Net
• Cilium
• Istio (Service Mesh)
• Consul
• NGINX Ingress Controller
• Traefik
• Kong

-----------------------------------------------------------------

• Linkerd

스토리지

• Rookceph
• Longhorn
• OpenEBS
• Portworx
• Ceph

모니터링 & 로깅

• Prometheus
• Grafana
• Thanos
• Loki
• Fluentd
• Fluent Bit
• ELK Stack (Elasticsearch, Logstash, Kibana)
• Jaeger (Tracing)
• Kiali

보안

• OPA (Open Policy Agent)
• Kyverno
• Trivy
• Aqua Security
• Vault (HashiCorp)
• cert-manager

-----------------------------------------------------------------

• Falco

오토스케일링

• Horizontal Pod Autoscaler (HPA)
• Vertical Pod Autoscaler (VPA)
• Cluster Autoscaler
• KEDA (Kubernetes Event-driven Autoscaling)

개발 & 디버깅

•  
• Telepresence
• kubectl
• kubectx/kubens

----------------------------------------------------------------- 

• Tilt
• Skaffold

3. AIOps 관련 툴

AIOps 플랫폼

• Moogsoft
• BigPanda
• Dynatrace
• Splunk IT Service Intelligence
• IBM Watson AIOps
• New Relic Applied Intelligence
• AppDynamics

오픈소스 AIOps

• Kubeflow (ML on K8s)

-----------------------------------------------------------------

• Seldon Core
• KFServing
• Prometheus + AI/ML
• ELK + ML
• Apache Kafka (이벤트 스트리밍)

로그 분석 & Anomaly Detection

• LogAI
• Elastic Machine Learning
• Splunk Machine Learning Toolkit
• Prophet (Facebook)
• Alibi Detect

자동화 & Orchestration

• Ansible
• Terraform
• Chef

-----------------------------------------------------------------

• Puppet
• SaltStack
• StackStorm

Observability & APM

• Datadog 
• Zipkin
• OpenTelemetry

-----------------------------------------------------------------

• New Relic
• Dynatrace
• AppDynamics
• Elastic APM
• Pixie

Incident Management

• ------------------
• PagerDuty
• Opsgenie
• VictorOps (Splunk On-Call)
• ServiceNow

4. 데이터베이스 & RDB 관련

RDBMS

• MySQL
• PostgreSQL
• MariaDB
• Oracle Database

-----------------------------------------------------------------

• Microsoft SQL Server
• IBM Db2

클라우드 매니지드 RDB

• Amazon RDS
• Amazon Aurora
• Azure SQL Database
• Azure Database for PostgreSQL/MySQL

-----------------------------------------------------------------

• Google Cloud SQL

DB 클러스터링 & HA

• MySQL Group Replication
• Percona XtraDB Cluster

------------------------------------

• PostgreSQL Streaming Replication
• Patroni (PostgreSQL HA)
• MySQL InnoDB Cluster
• Galera Cluster

DB 모니터링 & 관리

• Percona Monitoring and Management (PMM)
• pgAdmin
• MySQL Workbench
• DBeaver
• DataGrip
• phpMyAdmin
• Adminer

DB 백업 & 복구

• Percona XtraBackup
• mysqldump
• pg_dump/pg_restore

-------------------

• Barman (PostgreSQL)
• WAL-E/WAL-G

DB 마이그레이션

• Flyway
• Liquibase
• Alembic (Python)
• Rails Migrations
• Knex.js

DB 프록시 & 커넥션 풀

• ProxySQL
•  

-------------------

• PgBouncer
• HAProxy (DB용)
• MaxScale
• Vitess (MySQL 샤딩)

DB 성능 분석

•  
• MySQL Performance Schema

• pt-query-digest (Percona Toolkit)
• pg_stat_statements
• EXPLAIN ANALYZE
• PostgreSQL pg_stat

NoSQL (참고용)

• MongoDB
• Redis
• Cassandra
• Elasticsearch
• DynamoDB

NewSQL

• VoltDB

-----------

• CockroachDB
• TiDB
• YugabyteDB
  

 

RAG (Retrieval-Augmented Generation) 시스템 관련 툴

• LangChain - 가장 널리 사용되는 LLM 애플리케이션 프레임워크
• LlamaIndex (GPT Index) - 데이터 인덱싱 및 쿼리에 특화
• Haystack - Deepset의 엔드투엔드 NLP 프레임워크
• Semantic Kernel - Microsoft의 AI 오케스트레이션 SDK
• AutoGen - Microsoft의 멀티 에이전트 대화 프레임워크
• CrewAI - 에이전트 기반 AI 워크플로우
• DSPy - Stanford의 프로그래밍 방식 프롬프트 최적화

경량 RAG 라이브러리

• LangGraph - LangChain의 그래프 기반 워크플로우
• LiteLLM - 100+ LLM을 통합하는 프록시
• Guidance - Microsoft의 구조화된 출력 생성
• LMQL - 언어 모델 쿼리 언어

2. 벡터 데이터베이스 (Vector DB)

• Chroma - 간단하고 사용하기 쉬운 임베딩 DB
• Milvus - 확장 가능한 벡터 DB (Zilliz)
• Weaviate - GraphQL 기반 벡터 검색 엔진
• Qdrant - Rust 기반 고성능 벡터 DB
• FAISS - Facebook의 고속 유사도 검색 라이브러리
• Annoy - Spotify의 근사 최근접 이웃 검색
• pgvector - PostgreSQL 확장 벡터 DB
• Redis Stack - Redis의 벡터 검색 기능
• Elasticsearch - 벡터 검색 지원 (8.0+)
• OpenSearch - AWS의 Elasticsearch 포크 (벡터 지원)
• LanceDB - 서버리스 벡터 DB

상용/클라우드

• Pinecone - 완전 관리형 벡터 DB
• Vespa - Yahoo의 대규모 검색 엔진
• Zilliz Cloud - Milvus의 관리형 서비스
• Weaviate Cloud - Weaviate 관리형

3. 임베딩 모델 & 서비스

• Sentence Transformers - BERT 기반 문장 임베딩
• BGE (BAAI General Embedding) - 중국 BAAI의 고성능 모델
• E5 - Microsoft의 텍스트 임베딩
• Instructor - 태스크별 지시 임베딩
• MPNet - 마스크 및 순열 언어 모델
• GTE (General Text Embeddings) - Alibaba DAMO
• all-MiniLM - 경량 임베딩 모델

API 서비스

• OpenAI Embeddings - text-embedding-ada-002, text-embedding-3
• Cohere Embed - 다국어 임베딩
• Voyage AI - 도메인 특화 임베딩
• Jina AI Embeddings - 8K 컨텍스트 지원
• Google Vertex AI Embeddings
• Anthropic (Claude) Embeddings

임베딩 도구

• txtai - AI 기반 검색 & 워크플로우
• embedchain - 간편한 RAG 앱 구축
• Instructor Embeddings - 커스텀 도메인 임베딩

4. 문서 처리 & 로더

문서 파싱

• Unstructured - 다양한 포맷의 비정형 데이터 파싱
• LlamaParse - LlamaIndex의 문서 파서
• PyMuPDF (fitz) - PDF 처리
• pdfplumber - PDF 테이블 추출
• pypdf / PyPDF2 - PDF 읽기/쓰기
• docx2txt - Word 문서 처리
• python-docx - Word 파일 조작
• mammoth - .docx를 HTML로 변환
• camelot - PDF 테이블 추출
• tabula-py - PDF 테이블을 DataFrame으로

웹 스크래핑 & 크롤링

• Beautiful Soup - HTML/XML 파싱
• Scrapy - 웹 크롤링 프레임워크
• Selenium - 브라우저 자동화
• Playwright - 모던 웹 자동화
• trafilatura - 웹 텍스트 추출
• newspaper3k - 뉴스 기사 스크래핑

OCR & 이미지 처리

• Tesseract OCR - 오픈소스 OCR 엔진
• EasyOCR - 80+ 언어 지원
• PaddleOCR - Baidu의 실용적 OCR
• Doctr - 문서 텍스트 인식
• LayoutParser - 문서 레이아웃 분석

오디오/비디오

• Whisper - OpenAI의 음성 인식
• faster-whisper - Whisper 최적화 버전
• AssemblyAI - 오디오 전사 API
• FFmpeg - 멀티미디어 처리

5. 청킹 & 텍스트 분할 청킹 전략 라이브러리

• LangChain Text Splitters - 다양한 분할 전략
• Semantic Chunker - 의미론적 청킹
• tiktoken - OpenAI의 토크나이저
• sentencepiece - Google의 서브워드 토크나이저
• spaCy - NLP 파이프라인 (문장 분할)
• NLTK - 자연어 처리 툴킷

청킹 기법

• Character-based splitting
• Token-based splitting
• Sentence-based splitting
• Semantic splitting
• Recursive splitting
• Markdown/Code-aware splitting

6. RAG 평가 & 최적화

• RAGAS - RAG 평가 프레임워크 (Faithfulness, Answer Relevancy)
• TruLens - LLM 앱 평가 및 추적
• DeepEval - LLM 출력 평가
• Phoenix (Arize AI) - LLM Observability
• LangSmith - LangChain 디버깅 및 모니터링
• PromptFlow - Microsoft의 LLM 앱 개발 도구
• Weights & Biases (W&B) - ML 실험 추적

벤치마크 & 테스트

• BEIR - 정보 검색 벤치마크
• MTEB - 대규모 텍스트 임베딩 벤치마크
• RGB - RAG 벤치마크

7. 리랭킹 & 하이브리드 검색

• Cohere Rerank - 상용 리랭킹 API
• Cross-Encoder - Sentence Transformers
• RankGPT - LLM 기반 리랭킹
• BAAI/bge-reranker - 오픈소스 리랭커
• Jina Reranker

하이브리드 검색

• BM25 - 전통적 키워드 검색 (Rank-BM25)
• Elasticsearch + kNN - 키워드 + 벡터 하이브리드
• Reciprocal Rank Fusion (RRF) - 결과 융합 알고리즘
• Cohere Hybrid Search

8. 그래프 기반 RAG 지식 그래프

• Neo4j - 그래프 데이터베이스
• Amazon Neptune - 관리형 그래프 DB
• ArangoDB - 멀티모델 DB (그래프 포함)
• Memgraph - 인메모리 그래프 DB
• NetworkX - Python 그래프 라이브러리

그래프 RAG 도구

• Microsoft GraphRAG - 그래프 기반 RAG
• LlamaIndex Knowledge Graph
• Neo4j + LangChain 통합

9. 에이전트 & 도구

AI 에이전트

• LangGraph Agents - 상태 기반 에이전트
• ReAct - Reasoning + Acting 패러다임
• AutoGPT - 자율 AI 에이전트
• BabyAGI - 태스크 기반 AI
• SuperAGI - 오픈소스 에이전트 프레임워크

도구 통합

• LangChain Tools - 100+ 도구 통합
• Composio - AI 에이전트 도구 플랫폼
• ToolFormer - Meta의 도구 사용 학습

10. 배포 & 서빙

LLM 서빙

• vLLM - 고속 LLM 추론 서버
• Text Generation Inference (TGI) - HuggingFace
• Ollama - 로컬 LLM 실행
• LM Studio - GUI 기반 로컬 LLM
• LocalAI - OpenAI 호환 로컬 API
• Ray Serve - 확장 가능한 ML 서빙
• BentoML - ML 모델 서빙 플랫폼
• TensorRT-LLM - NVIDIA GPU 최적화

API 게이트웨이

• LiteLLM Proxy - 통합 LLM 프록시
• OpenLLM - LLM 운영 플랫폼
• Portkey - LLM 게이트웨이 및 관찰성

컨테이너 & 오케스트레이션

• Docker - 컨테이너화
• Kubernetes - 오케스트레이션
• KServe - K8s 기반 ML 서빙
• Seldon Core - ML 배포 플랫폼

11. 메모리 & 상태 관리 대화 메모리

• Zep - 장기 메모리 저장소
• Mem0 - 개인화된 AI 메모리
• Redis - 세션 캐시
• Momento - 서버리스 캐시

컨텍스트 관리

• LangChain Memory - 다양한 메모리 타입
• ConversationBufferMemory
• ConversationSummaryMemory
• VectorStoreRetrieverMemory

12. 모니터링 & Observability

LLM Observability

• LangSmith - LangChain 전용
• Arize Phoenix - 오픈소스 관찰성
• Helicone - LLM 모니터링
• Langfuse - 오픈소스 LLM 엔지니어링 플랫폼
• Weights & Biases - 실험 추적
• MLflow - ML 라이프사이클 관리

APM 통합

• Datadog - LLM 관찰성 지원
• New Relic - AI 모니터링
• Prometheus + Grafana - 메트릭 수집/시각화

13. 보안 & 거버넌스

프롬프트 보안

• Lakera Guard - 프롬프트 인젝션 방어
• NeMo Guardrails - NVIDIA의 가드레일
• Guardrails AI - 출력 검증
• LLM Guard - 오픈소스 보안 도구

PII 보호

• Presidio - Microsoft의 PII 탐지/익명화
• scrubadub - PII 제거
• Private AI - 데이터 익명화

14. 데이터 파이프라인

ETL/ELT

• Apache Airflow - 워크플로우 오케스트레이션
• Prefect - 모던 데이터 워크플로우
• Dagster - 데이터 오케스트레이터
• Mage - AI/ML 파이프라인
• Airbyte - 데이터 통합 플랫폼

데이터 레이크/웨어하우스

• Apache Iceberg - 테이블 포맷
• Delta Lake - 트랜잭션 스토리지
• Apache Hudi - 데이터 레이크 관리

15. 멀티모달 RAG 멀티모달 처리

• LlaVA - 비전-언어 모델
• CLIP - 이미지-텍스트 임베딩
• ImageBind - Meta의 멀티모달 임베딩
• GPT-4V - OpenAI 비전 모델
• Claude 3 Vision - Anthropic 비전
• Gemini - Google 멀티모달

이미지 임베딩

• BLIP - 이미지 캡셔닝
• SigLIP - Google 비전 임베딩