분류 전체보기 썸네일형 리스트형 "Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters" 논문: [2408.03314] Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model ParametersEnabling LLMs to improve their outputs by using more test-time computation is a critical step towards building generally self-improving agents that can operate on open-ended natural language. In thi.. 더보기 콘웨이 법칙(Conway's law) 이해 해당 개념(?), 주장(?)을 처음 접하였기 때문에 추후 본인이 팀을 구성하거나, 프로덕트를 위한 아키텍처를 설계 함에 있어 참고가 필요하여 기록을 남긴다."조직 문화를 개선하고 싶으면, 의사 소통 효율성을 높어야 한다""중요한 건 사람과 시스템 사이를 개선할 때 명확한 책임과 의무가 있어야 한다""그리고 책임을 이행하기 위해 누구에게 문의해야 하는지 조직 구성원 모두가 알 수 있어야 한다""'결합도가 낮은 조직에서 개발된 제품이 결합도가 높은 조직 보다 훨씬 더 모듈화 되어 있다' 라는 연구 결과가 있다""시스템 설계가 자유롭게 변경될 가능성이 있다면, 조직 역시 변화에 대비하고 있어야 한다""팀을 구성 할때 팀 스스로가 팀원을 뽑게 한다. 그리고 팀 대표가 책임을 지게 한다"콘웨이 법칙은 살아있다. .. 더보기 [조사] NVIDIA Triton Inference Server 개요- 훈련된 모든 ML, Deep Learning 모델을 모든 프레임워크(e.g. ONNX, Tensorflow, Pytorch, TensorRT)에서 GPU, CPU를 통해 실행하는 것을 돕는다(?)- NVIDIA AI 플랫폼의 일부이며, NVIDIA AI Enterprise와 함께 제공되는 Triton Inference Server는 모든 워크 로드에 걸쳐 AI 모델 배포 및 실행을 표준화 하는 오픈소스이다.--> NIVIDIA의 AI 솔루션에 사용되는 기술인가 보다. --> NVIDIA AI Enterprise와 함께 제공된다. 말 그대로 전 솔루션 공통적으로 사용되는 배포/실행 모듈이다. 장점모든 학습 및 추론 프레임워크 지원 Triton Inference Server를 사용하여 Tensor.. 더보기 [Chatbot] Task Oriented Dialogure (TOD) 에 대한 이해 참고: [Paper Review] Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems (youtube.com) 1. Task-Oriented Dialog system- 특정 Task에서 사용자 요구사항 파악하고 이를 해결하기 위한 대화 시스템- 특정 시나리오를 가정하여 구성된 대화 데이터 2. ToD 종류- Single Turn 대화- Multi Turn 대화 3. FAQ와의 차이점 - FAQ는 TOD 대비 질문-정답 쌍이 사전에 존재, 질문에 맞는 구절을 출력한다.- TOD는 질문을 이해하고, 정답을 포함한 문장을 생성하는 것이 목적 : 사용자 의도를 파악하기 위한 여러 Sub-Task가 존재할 수 있음 4. ToD.. 더보기 (1) LangGraph 설명 Why LangGraph? (langchain-ai.github.io) Why LangGraph?Why LangGraph? LLMs are extremely powerful, particularly when connected to other systems such as a retriever or APIs. This is why many LLM applications use a control flow of steps before and / or after LLM calls. As an example RAG performs retrieval of rellangchain-ai.github.io LLM(대규모 언어 모델)은 특히 검색기(retriever)나 API와 같은 다른 시스템에 연결될 때 매우 강력합니다.. 더보기 [Part4] [3] Kubernetes Manifest 작성을 위한 Helm 활용 1. Kubernetes Manifest 작성 방법 소개: deployment.yaml 는 쿠버네티스 클러스터에 배포를 주문하는 명세라고 할 수 있다.Object 생성/업데이트 명령어 $ kubectl apply -f {Manifest 파일}Object의 생성/업데이트 비교 명령어 (Dry run) $ kubectl diff -f {Manifest 파일} Manifest기반으로 생성된 Object 생성/업데이트 현황 출력 명령어 $ kubectl get -f {Manifest 파일} -o yaml - apply 말고 replace로 적용하는 방법이 존재하고 kubectl.kubernetes.io/last-applied-configuration 에서 확인 가능함- kubectl create로 생성하면 보.. 더보기 Part2. Docker 활용 Artifact 관리를 위한 Nexus 활용- Artifact 관리를 위한 Nexus 활용 소개: 사내 망에 별도의 리포지토리를 구축하기 위함(1) 보안의 이유(2) 라이브러리 버전 관리 용이 - meta 데이터 기반으로 라이브러리 정보와 버전 관리(3) 공유와 협업 관리 레포지토리의 종류 - Nexus 설치 및 AWS S3 연결 Nexus 설치 및 AWS S3 연결 - Nexus 설치 및 관리 계정 생성 - AWS S3 연결 Blob Store 및 Repository 생성사전 준비사항 - Nexus 서버용 AWS EC2 1개 VM 생성 및 접근 허용 - Instance Type : t3.medium (2Core/4GB Mem/30GB EBS) - Security Group Inbound.. 더보기 [Part4] [1] Terraform을 활용한 AWS EKS 생성 1. Terraform을 활용한 AWS EKS 생성 소개- Terraform은 Infrastructure as Code(IaC)를 위한 도구입니다.- AWS EKS는 Kubernetes와 완전히 호환되어 쉬운 마이그레이션을 가능하게 합니다. 2. 실습 환경 구성을 위한 AWS 네트워크 및 EKS 설계- VPC 생성 (Secondary CIDR 포함)- Subnet 및 Internet Gateway 생성- Route Table 생성- EKS Cluster 생성- EKS Node Group 생성- POD (Container) 배포 - VPC는 기본적으로 하나가 생성되어 있다.- 두개의 Public Subnet을 사용할 것이다. SubNet은 TAG를 필요로 한다. 클러스터간 통신을 위해서 TAG를 필요로 한.. 더보기 이전 1 2 3 4 ··· 26 다음
