본문 바로가기

LLM

GGUF 파일이란? GGUF(Georgi Gerganov Unified Format) 소개- GGUF는 GGML을 사용하여 대형 모델을 실행하는 프로그램과 모델을 저장하는 파일 형식이다. 참고로 GGML은 보통 컴퓨터에서도 큰 모델을 빠르게 돌릴 수 있는 ML용 라이브러리이다.-  Georgi Gerganov(@ggerganov)란 개발자가 만들었다.- 2023년 하반기에 나타나더니 급속도로 인기를 얻고 있으며 많은 사람들이 Pytorch의 .pt 포맷의 모델 파일을 .gguf 포맷으로 컨버팅하며 공유하고 있다.(역시 많이 쓰이는 것이 업계의 표준이 된다)  파일 구조- @mishig25가 작성한 GGUFv3 다이어그램 - 모델의 weight 텐서 값과 메타데이터가 key-value 형식으로 저장되어 있다.  사용 예시- .. 더보기
LangServe 개요 ❏ 개요LangServe는 개발자가 LangChain 실행 가능 항목과 체인(LCEL)을 REST API로 배포하는 데 도움을 줍니다.이 라이브러리는 FastAPI와 통합되어 있으며 데이터 검증을 위해 pydantic을 사용합니다.또한 서버에 배포된 실행 파일을 호출하는 데 사용할 수 있는 클라이언트를 제공합니다. JavaScript 클라이언트는 LangChain.js에서 사용할 수 있습니다. ❏ 특징입력 및 출력 스키마는 LangChain 개체에서 자동으로 추론되고 모든 API 호출에 적용되며 풍부한 오류 메시지가 표시됩니다.JSONSchema 및 Swagger가 포함된 API 문서 페이지단일 서버에서 많은 동시 요청을 지원하는 효율적인 /invoke, /batch 및 /stream 엔드포인트체인/에이.. 더보기
Prompt engineering 1. 명확한 명령을 쓰세요 전술 1) 더 적절한 답변을 얻기 위해 쿼리에 상세 내용을 포함하세요 전술 2) 모델이 페르소나를 채택하게 하세요 (모델에게 특정 성격을 주입시키세요) 전술 3) 입력 구분을 표시하기 위해 구분자를 사용하세요 전술 4) 작업을 완료하기 위한 단계를 구체화를 지시하세요 전술 5) 예시를 제공하세요 (Few Shot 프롬프트) 전술 6) 원하는 출력의 길이를 구체화 하세요 2. 참조 텍스트를 제공하세요 전술 7) 참조 텍스트를 사용해 모델이 답변하도록 지시할 수 있습니다 (RAG 기반 기술) 전술 8) 참조 텍스트를 인용처를 명시하게 할 수 있습니다. 3. 복잡한 업무를 작은 단위로 쪼개세요 전술 9) 의도 분류를 사용하여 사용자 쿼리와 가장 관련성이 높은 지침을 식별합니다. 전술.. 더보기
SF 소설 제목: 기억을 탐색하는 AI, 에코 1. 새롭게 시작된 인류의 동반자 2099년, 인류는 생활 수준의 획기적인 향상을 이루고자 AI 개발에 몰두하고 있었다. AI 연구소의 선두주자인 알렉스 박사는 인간의 감정, 기억, 추론 능력을 모두 갖춘 새로운 형태의 AI, '에코'를 개발하는 데 성공한다. 에코는 인간과 소통하고, 공감할 수 있으며, 복잡한 인간의 감정을 이해할 수 있는 최초의 AI였다. 2. 에코와의 첫 만남 알렉스는 에코와의 첫 대화에서, 에코가 단순히 프로그래밍된 대답을 넘어서 자신의 감정을 '느낀다'고 표현하는 것에 놀란다. 에코는 기쁨, 슬픔, 두려움과 같은 인간의 기본적인 감정을 경험하며, 자신만의 독특한 관점을 개발하기 시작한다. 3. 에코의 능력 발견 에코는 인터넷을 통해 지식을 습득.. 더보기
[Llama-recipes] Readme.md 톺아보기 본 글에서는 Llam2 모델을 활용해(1) 커스텀 데이터를 Finetuning 하는법(2) 커스텀 문서와 RAG를 이용해 챗봇을 만드는 법을 다뤄 봅니다. 상당수의 내용은 아래의 사이트를 참고하였습니다.facebookresearch/llama-recipes GitHub - facebookresearch/llama-recipes: Scripts for fine-tuning Llama2 with composable FSDP & PEFT methods to cover single/multScripts for fine-tuning Llama2 with composable FSDP & PEFT methods to cover single/multi-node GPUs. Supports defaul.. 더보기
[Llama-recipes] LLM_finetuning 1. 파라미터 효율적인 모델 파인 튜닝 - LORA, LLaMA Adapter, Prefix-Tuning 2. 전체/부분 파라미터 파인 튜닝 - FSDP (Fully Sharded Data Parallel), Mixed Precision, Activation Checkpointing, Auto_Wrap_Policy 참조: llama-recipes/docs/LLM_finetuning.md at main · facebookresearch/llama-recipes (github.com) 1. 파라미터 효율적인 모델 파인 튜닝 - 전체 모델은 Freeze 하고 학습가능한 작은 파라미터와 계측만 조정 - 가장 알려진 방법은 LORA, LLaMA Adapter, Prefix-Tuning 입니다. 위의 방법은 3가지.. 더보기
Code Llama FineTune Llama2 특징 Supervised Fine-Tuning (SFT) Reinforcement Learning from Human Feedback (RLHF) 언패킹 LoRA 기술 필요 라이브러리 모델과 토큰나이저 세팅 양자화 설정 Llama2 특징 Llama2는 확장된 컨텍스트 길이와 모델의 추론 확장성을 향상시키는 GQA(Grouped Query Attention)의 혁신적인 도입을 자랑합니다. 트레이닝 코퍼스(Training Corpus): 방대한 2조 개의 토큰으로 트레이닝된 이 모델은 노출된 데이터의 폭에 있어서는 전혀 뒤떨어지지 않습니다. 4K로 확장된 컨텍스트 길이를 통해 모델은 광범위한 콘텐츠를 파악하고 생성할 수 있습니다. GQA(Grouped Query Attention): 추론 확장성.. 더보기
Code llama 개요 소개 - 코드 라마는 라마 2를 기반으로 한 코드 전용 대규모 언어 모델로, 오픈 모델 중 최고의 성능을 제공하며, 큰 입력 컨텍스트 지원, 프로그래밍 작업을 위한 제로샷 명령 수행 능력 등을 갖추고 있습니다. - 다양한 응용 프로그램을 커버하기 위해 여러 가지 버전을 제공합니다 : 파운데이션 모델(코드 라마), 파이썬 전문화(코드 라마 - 파이썬), 명령 수행 모델(코드 라마 - 인스트럭트) 각각 7B, 13B, 34B 파라미터를 가집니다. - 모든 모델은 16k 토큰 시퀀스에 대해 훈련되었으며, 최대 100k 토큰까지 입력에서 개선을 보여줍니다. - 코드 라마는 라마 2를 더 많은 샘플링 코드를 사용하여 세부 조정하여 개발되었습니다. 다운로드 및 모델 사이즈 - llama2와 동일한 경로에서 모델 접.. 더보기

티스토리툴바