AI 활용해서 LLM 기반 서비스 구상 테스트준비

별첨 #1 KoSimCSE란?

별첨 #2. Chunking 청킹이란...

별첨 #3. n8n 완전 정복 가이드

별첨 #4. Chroma DB 완전 가이드

별첨 #4-1. Milvus란? 

별첨 #5. RAG란? 

별첨 #6. LangChain이란?

별첨 #7. MCP 서버 탑재

별첨 #8. Embedding)이란?

별첨 #9. LLaMA란

별첨 #10. kiwipiepy(키위파이파이)

별첨 #11. Poetry란?

스터디 앞서 기본적으로 알아야만 하는 키워드 모음 Kosimcse /  chunking(문서분할) /   N8N  /  Vector Store /  Rag /  MCP 서버 /  KoSimCSE  embedding / LLaMA / kiwipiepy /   poetry /  Langchain

✅ 1. 개요 및 핵심 목표 (온프레미스 기반)

목표 항목설명

🔗 통합 포털 구축	Tableau 등 여러 대시보드를 하나의 웹 포털로 통합
📚 문서 검색 시스템	TXT, PDF, Word 기반 문서를 전처리하여 RAG로 구축
⚙️ 온프레미스 K8s 기반	자체 IDC 환경 또는 VM에 구축된 K8s 위에 모든 서비스 운영
👥 900명 사용자	SSO, 권한 관리, 사용자 로그 모니터링까지 필요

---

✅ 2. 온프레미스 K8s 환경 구성 시 고려사항

🧱 인프라 구성 예시

 

⚙️ K8s 구성 요소

구성 요소설명

노드 구성	마스터 3대 + 워커 3~6대 (사용자 수 대비 확장 가능)
스토리지	NFS, Ceph, Longhorn, GlusterFS 등 온프레미스용
인그레스	NGINX Ingress Controller + 인증 (SSO 연동)
로깅/모니터링	Prometheus + Grafana + Loki or ELK
CI/CD	GitLab CI, ArgoCD
보안	RBAC, 네임스페이스 분리, 인증서 관리 (cert-manager)

---

✅ 3. RAG 시스템 구성 (문서 검색 시스템)

🔹 구성 흐름

 

 

결론 : KoSimCSE는 한국어에 최적화된 SimCSE 기반 문장 임베딩 모델로,
빠른 속도 + 높은 품질 + HuggingFace 호환성 덕분에 실무에서 RAG 시스템에 매우 많이 사용됩니다.

https://tommypagy.tistory.com/761 KoSimCSE별첨  #1 참고하기

별첨 #1 KoSimCSE란?

 

🔸 온프레미스에 적합한 구성

요소온프레미스 추천

LLM API	내부에 설치 가능한 모델 (예: Llama 2, Mistral) 또는 외부 API (VPN 통해 제한적 사용)
Embedding 모델	KoBERT, E5, text-embedding-ada
Vector DB	FAISS (가볍고 로컬에 적합), Qdrant (Docker로 쉽게 배포)
LangChain	Python 기반 RAG 파이프라인 구축에 유용
LLM 실행	Text Generation WebUI, Ollama, LM Studio 등 LLM On-Prem 실행 도구 활용 가능

---

✅ 4. 포털 및 대시보드 통합

🔹 구성 요소

구성 요소설명

통합 포털 UI	React / Next.js로 구성하여 iframe 또는 API 연동
Tableau 연동	JavaScript API 사용, SSO 인증 연동
Grafana 등	iframe 또는 직접 API 연동 가능
SSO 인증	Keycloak, SAML, OAuth2 연동 구성 필수

각 대시보드는 사용자 권한에 따라 접근 제어되어야 하며, 포털 자체에서도 그룹별 대시보드 탭을 관리해야 합니다.

---

✅ 5. 900명 사용자 대응 전략

항목대응 방식

인증 및 권한 관리	Keycloak 등으로 LDAP/AD 연동, 그룹 단위 권한 설정
부하 분산	HPA 설정, Ingress에 LoadBalancer 구성 (MetalLB)
데이터 분리	문서 유형/부서별 vector DB 나누기
로깅/감사	사용자 로그 기록 → Grafana or ELK에서 시각화
문서 자동 갱신	문서 업로드 후 자동 전처리 스케줄러 (CronJob in K8s) 구성

---

✅ 6. 온프레미스 구축 시 리스크 & 해결방안

리스크해결책

LLM API 속도/비용 문제	내부 LLM 직접 실행 (LLaMA2, Mistral 등) or 프록시 캐싱
벡터 DB 부하	수평 확장 지원하는 Qdrant, Redis Search 고려
인증 복잡성	Keycloak을 통해 포털 + 대시보드 + 챗봇 모두 통합 인증 구성
업데이트 자동화	GitOps 방식으로 ArgoCD 또는 FluxCD 도입 권장

---

✅ 7. 기술 스택 요약 (온프레미스 친화적)

분야기술 스택

웹 UI	Next.js, React, Tailwind
챗봇 백엔드	FastAPI, LangChain
Vector DB	FAISS, Qdrant (Docker 배포)
LLM	Ollama + LLaMA 2 / Mistral (내부 실행)
K8s 관리	Rancher, Lens, ArgoCD
스토리지	Ceph / NFS (공유 저장소)
인증	Keycloak + LDAP 연동
모니터링	Prometheus + Grafana + Loki

---

✅ 다음 단계 추천

1. 📌 온프레미스 K8s 클러스터 현황 점검 (리소스, 스토리지, 인증 체계)
2. ⚙️ RAG POC부터 소규모로 시작 (간단한 문서 검색 시스템)
3. 🧩 통합 포털 UI 설계 및 대시보드 연결 방식 정의
4. 📈 트래픽 예측 + 사용자 로그 수집 전략 세우기