본문 바로가기

전체 글

ElasticSearch (Mapping & Analysis) 분석 API 소개때로는 텍스트 분석이라고도 함텍스트 필드/값에 적용 가능문서 인덱스 시 텍스트 값이 분석됨결과는 검색 등에 효율적인 데이터 구조에 저장됨_source 객체는 문서 검색 시 사용되지 않음문서 색인 시 지정된 정확한 값을 포함함문자 필터문자를, 추가, 제거 또는 변경함분석기는 0개 이상의 문자 필터를 포함함문자 필터는 지정된 순서대로 적용됨예시 (html_strip 필터)입력: "I'm in a good mood - and I love açaí!"출력: "I'm in a good mood - and I love açaí!"토큰나이저분석기는 하나의 토큰화기를 포함함문자열을 토큰화함, 즉 토큰으로 분할함토큰화 과정에서 문자가 제거될 수 있음예시입력: "I REALLY like beer!"출력: .. 더보기
ElasticSearch (Mapping Documents) 엘라스틱 서치란- 분산형 검색, 분석 엔진이다.- 확장 데이터 저장, 벡터 DB 역할 가능- 하나의 클러스터에 여러개의 노드가 존재할 수 있다. 인덱스-  샤드 설명- 샤드는 인덱스(ES의 논리적 그룹핑 단위)를 더 작은 조각으로 나누는 방법이다.- 각 조각은 샤드(Shard)라 부른다.- 샤딩은 인덱스 레벨에서 이뤄진다.- 주요 목적은 데이터 볼륨을 가로로(Horizontally) 늘리기(?) 위함이다. - 인덱스가 저장할 수 있는 문서 수를 늘릴 수 있다. 따라서, 노드에 인덱스 수를 늘릴 수 있다.- 각 샤드는 Apache Lucene Index 이다(?)- ES 인덱스는 하나 이상의 Apache Lucene Indices 이다.- 샤드는 정해진 사이즈가 없으며, Doc이 추가될 수록 증가할 수 있.. 더보기
예외 처리 관련 궁금즘 해소 Q. A함수 안에서 B 함수를 호출하였고, B 함수 도중에 예외 처리가 발생한 상황이다. A 함수, B 함수 각각의 Try Except 여부에 따라 동작 방식은? 상황 1)def B(): # 예외가 발생할 수 있는 코드 raise Exception("B 함수에서 오류 발생")def A(): try: B() except Exception as e: print(f"A에서 처리한 예외: {e}")A()>>>  A에서 처리한 예외: B 함수에서 오류 발생- B에서 raise 시키고 따로 except 처리 하지 않으면 A에서 걸린다. 상황 2)def B(): try: # 예외가 발생할 수 있는 코드 raise Exception("B 함수.. 더보기
[사용법] NVIDIA Triton Inference Server 핵심 구조모든 Python 백엔드는 다음 주요 함수들을 포함하는 TritonPythonModel이라는 클래스를 구현해야 합니다:auto_complete_config (선택사항): 모델 구성 매개변수 설정- 모델의 입력/출력 정보, 배치 크기(max_batch_size) 등 기본 구성을 자동으로 설정합니다.- 예를 들어, 입력 텐서 이름, 데이터 타입(TYPE_FP32) 및 차원([4]) 등을 정의할 수 있습니다.- 이 함수는 모델이 로드될 때 한 번 호출되며, 설정 정보를 Triton 서버에 전달합니다.initialize (선택사항): 모델이 로드될 때 한 번만 호출됨execute (필수): 각 추론 요청마다 호출됨finalize (선택사항): 모델이 언로드될 때 한 번만 호출됨import triton_.. 더보기
"Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters" 논문: [2408.03314] Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model ParametersEnabling LLMs to improve their outputs by using more test-time computation is a critical step towards building generally self-improving agents that can operate on open-ended natural language. In thi.. 더보기
콘웨이 법칙(Conway's law) 이해 해당 개념(?), 주장(?)을 처음 접하였기 때문에 추후 본인이 팀을 구성하거나, 프로덕트를 위한 아키텍처를 설계 함에 있어 참고가 필요하여 기록을 남긴다."조직 문화를 개선하고 싶으면, 의사 소통 효율성을 높어야 한다""중요한 건 사람과 시스템 사이를 개선할 때 명확한 책임과 의무가 있어야 한다""그리고 책임을 이행하기 위해 누구에게 문의해야 하는지 조직 구성원 모두가 알 수 있어야 한다""'결합도가 낮은 조직에서 개발된 제품이 결합도가 높은 조직 보다 훨씬 더 모듈화 되어 있다' 라는 연구 결과가 있다""시스템 설계가 자유롭게 변경될 가능성이 있다면, 조직 역시 변화에 대비하고 있어야 한다""팀을 구성 할때 팀 스스로가 팀원을 뽑게 한다. 그리고 팀 대표가 책임을 지게 한다"콘웨이 법칙은 살아있다. .. 더보기
[조사] NVIDIA Triton Inference Server 개요- 훈련된 모든 ML, Deep Learning 모델을 모든 프레임워크(e.g. ONNX, Tensorflow, Pytorch, TensorRT)에서 GPU, CPU를 통해 실행하는 것을 돕는다(?)- NVIDIA AI 플랫폼의 일부이며,  NVIDIA AI Enterprise와 함께 제공되는 Triton Inference Server는 모든 워크 로드에 걸쳐 AI 모델 배포 및 실행을 표준화 하는 오픈소스이다.--> NIVIDIA의 AI 솔루션에 사용되는 기술인가 보다. --> NVIDIA AI Enterprise와 함께 제공된다. 말 그대로 전 솔루션 공통적으로 사용되는 배포/실행 모듈이다.  장점모든 학습 및 추론 프레임워크 지원 Triton Inference Server를 사용하여 Tensor.. 더보기
[Chatbot] Task Oriented Dialogure (TOD) 에 대한 이해 참고: [Paper Review] Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems (youtube.com) 1. Task-Oriented Dialog system- 특정 Task에서 사용자 요구사항 파악하고 이를 해결하기 위한 대화 시스템- 특정 시나리오를 가정하여 구성된 대화 데이터 2. ToD 종류- Single Turn 대화- Multi Turn 대화 3. FAQ와의 차이점 - FAQ는 TOD 대비 질문-정답 쌍이 사전에 존재, 질문에 맞는 구절을 출력한다.- TOD는 질문을 이해하고, 정답을 포함한 문장을 생성하는 것이 목적  : 사용자 의도를 파악하기 위한 여러 Sub-Task가 존재할 수 있음 4. ToD.. 더보기

티스토리툴바