전체 글 썸네일형 리스트형 [조사] NVIDIA Triton Inference Server 개요- 훈련된 모든 ML, Deep Learning 모델을 모든 프레임워크(e.g. ONNX, Tensorflow, Pytorch, TensorRT)에서 GPU, CPU를 통해 실행하는 것을 돕는다(?)- NVIDIA AI 플랫폼의 일부이며, NVIDIA AI Enterprise와 함께 제공되는 Triton Inference Server는 모든 워크 로드에 걸쳐 AI 모델 배포 및 실행을 표준화 하는 오픈소스이다.--> NIVIDIA의 AI 솔루션에 사용되는 기술인가 보다. --> NVIDIA AI Enterprise와 함께 제공된다. 말 그대로 전 솔루션 공통적으로 사용되는 배포/실행 모듈이다. 장점모든 학습 및 추론 프레임워크 지원 Triton Inference Server를 사용하여 Tensor.. 더보기 [Chatbot] Task Oriented Dialogure (TOD) 에 대한 이해 참고: [Paper Review] Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems (youtube.com) 1. Task-Oriented Dialog system- 특정 Task에서 사용자 요구사항 파악하고 이를 해결하기 위한 대화 시스템- 특정 시나리오를 가정하여 구성된 대화 데이터 2. ToD 종류- Single Turn 대화- Multi Turn 대화 3. FAQ와의 차이점 - FAQ는 TOD 대비 질문-정답 쌍이 사전에 존재, 질문에 맞는 구절을 출력한다.- TOD는 질문을 이해하고, 정답을 포함한 문장을 생성하는 것이 목적 : 사용자 의도를 파악하기 위한 여러 Sub-Task가 존재할 수 있음 4. ToD.. 더보기 (1) LangGraph 설명 Why LangGraph? (langchain-ai.github.io) Why LangGraph?Why LangGraph? LLMs are extremely powerful, particularly when connected to other systems such as a retriever or APIs. This is why many LLM applications use a control flow of steps before and / or after LLM calls. As an example RAG performs retrieval of rellangchain-ai.github.io LLM(대규모 언어 모델)은 특히 검색기(retriever)나 API와 같은 다른 시스템에 연결될 때 매우 강력합니다.. 더보기 [Part4] [3] Kubernetes Manifest 작성을 위한 Helm 활용 1. Kubernetes Manifest 작성 방법 소개: deployment.yaml 는 쿠버네티스 클러스터에 배포를 주문하는 명세라고 할 수 있다.Object 생성/업데이트 명령어 $ kubectl apply -f {Manifest 파일}Object의 생성/업데이트 비교 명령어 (Dry run) $ kubectl diff -f {Manifest 파일} Manifest기반으로 생성된 Object 생성/업데이트 현황 출력 명령어 $ kubectl get -f {Manifest 파일} -o yaml - apply 말고 replace로 적용하는 방법이 존재하고 kubectl.kubernetes.io/last-applied-configuration 에서 확인 가능함- kubectl create로 생성하면 보.. 더보기 Part2. Docker 활용 Artifact 관리를 위한 Nexus 활용- Artifact 관리를 위한 Nexus 활용 소개: 사내 망에 별도의 리포지토리를 구축하기 위함(1) 보안의 이유(2) 라이브러리 버전 관리 용이 - meta 데이터 기반으로 라이브러리 정보와 버전 관리(3) 공유와 협업 관리 레포지토리의 종류 - Nexus 설치 및 AWS S3 연결 Nexus 설치 및 AWS S3 연결 - Nexus 설치 및 관리 계정 생성 - AWS S3 연결 Blob Store 및 Repository 생성사전 준비사항 - Nexus 서버용 AWS EC2 1개 VM 생성 및 접근 허용 - Instance Type : t3.medium (2Core/4GB Mem/30GB EBS) - Security Group Inbound.. 더보기 [Part4] [1] Terraform을 활용한 AWS EKS 생성 1. Terraform을 활용한 AWS EKS 생성 소개- Terraform은 Infrastructure as Code(IaC)를 위한 도구입니다.- AWS EKS는 Kubernetes와 완전히 호환되어 쉬운 마이그레이션을 가능하게 합니다. 2. 실습 환경 구성을 위한 AWS 네트워크 및 EKS 설계- VPC 생성 (Secondary CIDR 포함)- Subnet 및 Internet Gateway 생성- Route Table 생성- EKS Cluster 생성- EKS Node Group 생성- POD (Container) 배포 - VPC는 기본적으로 하나가 생성되어 있다.- 두개의 Public Subnet을 사용할 것이다. SubNet은 TAG를 필요로 한다. 클러스터간 통신을 위해서 TAG를 필요로 한.. 더보기 Part4. 개발자를 위한 Kubernetes 활용 개발자를 위한 Kubernetes 활용 파트 컨셉 1. 클라우드 인프라 기반 컨테이너 플랫폼 환경 설계 및 구축 수행 2. 컨테이너 플랫폼 기반 개발 환경 구성 3. 컨테이너 플랫폼의 안정적인 운영 방안 마련 개발자를 위한 Kubernetes 활용 파트 구성 0. 개발자를 위한 Kubernetes 활용 소개 1. Terraform을 활용한 AWS EKS 생성 2. AWS EKS 기본 Plugin 구성 방법 3. Kubernetes Manifest 작성을 위한 Helm 활용 4. Kubernetes 배포를 위한 GitHub와 ArgoCD 활용 5. Kubernetes 안정성 강화 방법 6. Kubernetes Custom 관리 방법 7. Kubernetes 보안 강화 방법 8. Kubernetes 트러.. 더보기 RestAPI, FastAPI, Flask 차이 REST API정의: REST API는 특정 프레임워크가 아니라 웹 서비스를 설계하는 아키텍처 스타일입니다. REST(Representational State Transfer) 원칙을 따르는 API를 의미합니다.목적: 클라이언트와 서버 간의 통신을 위한 구조를 제공.특징:자원 기반 구조.HTTP 메서드(예: GET, POST, PUT, DELETE)를 사용하여 자원 조작.상태 무저장(stateless).URI를 통해 자원 식별.FastAPI정의: FastAPI는 Python으로 작성된 현대적인 고성능 웹 프레임워크입니다.목적: 빠르고 쉽게 RESTful API를 만들기 위해 설계됨.특징:고성능: Starlette과 Pydantic을 기반으로 하여 비동기 기능과 데이터 검증을 지원.자동화된 문서화: Swa.. 더보기 이전 1 2 3 4 ··· 25 다음
