본문 바로가기

전체 글

[Llama-recipes] Readme.md 톺아보기 본 글에서는 Llam2 모델을 활용해(1) 커스텀 데이터를 Finetuning 하는법(2) 커스텀 문서와 RAG를 이용해 챗봇을 만드는 법을 다뤄 봅니다. 상당수의 내용은 아래의 사이트를 참고하였습니다.facebookresearch/llama-recipes GitHub - facebookresearch/llama-recipes: Scripts for fine-tuning Llama2 with composable FSDP & PEFT methods to cover single/multScripts for fine-tuning Llama2 with composable FSDP & PEFT methods to cover single/multi-node GPUs. Supports defaul.. 더보기
Introduction to 8-bit Matrix Multiplication for transformers at scale - 서론 (모델 양자화의 필요성) - 일반적인 ML 데이터 타입 - 모델 양자화 소개 - 적용 관점 (허깅페이스로의 통합) - 적용 관점(accelerate 사용) 서론 (모델 양자화의 필요성) - 예시로, BLOOM-176B를 학습하기 위해서는 8x 80GB A100 GPUs (~$15k each)가 필요하며 - 이를 미세조정하려면 72 GPUs가 필요합니다. - 적은 GPU로 성능을 유지하면서 모델을 실행시킬 양자화 증류 기법이 존재합니다. - Int8 추론 연구는 메모리를 2배 감소하면서 성능을 유지하며, 이는 Hugging Face Transformers에 통합되었습니다. i.e. LLM.int8() 은 모든 허깅페이스 트랜스포머 모델에 통합되었다. (자세한 사항은 아래 논문 참조) [2208.0.. 더보기
[Llama-recipes] LLM_finetuning 1. 파라미터 효율적인 모델 파인 튜닝 - LORA, LLaMA Adapter, Prefix-Tuning 2. 전체/부분 파라미터 파인 튜닝 - FSDP (Fully Sharded Data Parallel), Mixed Precision, Activation Checkpointing, Auto_Wrap_Policy 참조: llama-recipes/docs/LLM_finetuning.md at main · facebookresearch/llama-recipes (github.com) 1. 파라미터 효율적인 모델 파인 튜닝 - 전체 모델은 Freeze 하고 학습가능한 작은 파라미터와 계측만 조정 - 가장 알려진 방법은 LORA, LLaMA Adapter, Prefix-Tuning 입니다. 위의 방법은 3가지.. 더보기
DDPM(Denosing Diffusion Probabilistic Model) 개념 정리 Diffusion Model 개요Diffusion Model 알고리즘Diffusion Model Loss Experiments Diffusion Model 개요- GAN, VAE 와 같은 생성 모델(Generative Model) 중 하나로써, 2022년에 이슈가 되었던 text-to-image 모델인 Stable-Diffusion, DALL-E-2, Imagen의 기반이 되는 모델- 입력 이미지에 (정규 분포를 가진) Noise를 여러 단계에 걸쳐 추가하고, 여러 단계에 걸쳐 (정규 분포를 가진) Noise를 제거함으로써, 입력 이미지와 유사한 확률 분포를 가진 결과 이미지를 생성하는 모델- Forward Diffusion Process에서는 이미지에 고정된(fixed) 정규 분포(=Gaussian분포.. 더보기
Code Llama FineTune Llama2 특징 Supervised Fine-Tuning (SFT) Reinforcement Learning from Human Feedback (RLHF) 언패킹 LoRA 기술 필요 라이브러리 모델과 토큰나이저 세팅 양자화 설정 Llama2 특징 Llama2는 확장된 컨텍스트 길이와 모델의 추론 확장성을 향상시키는 GQA(Grouped Query Attention)의 혁신적인 도입을 자랑합니다. 트레이닝 코퍼스(Training Corpus): 방대한 2조 개의 토큰으로 트레이닝된 이 모델은 노출된 데이터의 폭에 있어서는 전혀 뒤떨어지지 않습니다. 4K로 확장된 컨텍스트 길이를 통해 모델은 광범위한 콘텐츠를 파악하고 생성할 수 있습니다. GQA(Grouped Query Attention): 추론 확장성.. 더보기
Code llama 개요 소개 - 코드 라마는 라마 2를 기반으로 한 코드 전용 대규모 언어 모델로, 오픈 모델 중 최고의 성능을 제공하며, 큰 입력 컨텍스트 지원, 프로그래밍 작업을 위한 제로샷 명령 수행 능력 등을 갖추고 있습니다. - 다양한 응용 프로그램을 커버하기 위해 여러 가지 버전을 제공합니다 : 파운데이션 모델(코드 라마), 파이썬 전문화(코드 라마 - 파이썬), 명령 수행 모델(코드 라마 - 인스트럭트) 각각 7B, 13B, 34B 파라미터를 가집니다. - 모든 모델은 16k 토큰 시퀀스에 대해 훈련되었으며, 최대 100k 토큰까지 입력에서 개선을 보여줍니다. - 코드 라마는 라마 2를 더 많은 샘플링 코드를 사용하여 세부 조정하여 개발되었습니다. 다운로드 및 모델 사이즈 - llama2와 동일한 경로에서 모델 접.. 더보기
Dall-e 2 및 주변 기술 리뷰 현재 기준 DALL·E 3 (openai.com) DALL·E 3 DALL·E 3 understands significantly more nuance and detail than our previous systems, allowing you to easily translate your ideas into exceptionally accurate images. openai.com Imagen: Text-to-Image Diffusion Models (research.google) Imagen: Text-to-Image Diffusion Models Imagen unprecedented photorealism × deep level of language understanding unprecedented ph.. 더보기
StyleTrasfer 복습 개요 - 알고리즘은 입력 이미지, 콘텐츠 이미지, 스타일 이미지의 세 가지 이미지를 가져와 콘텐츠 이미지의 콘텐츠와 스타일 이미지의 예술적 스타일과 유사하도록 입력을 변경합니다. 동작 방식 - 먼저 출력 이미지(G)가 될 노이즈 이미지를 초기화합니다. - 다음 이 이미지가 네트워크의 특정 계층에 있는 콘텐츠 및 스타일 이미지와 얼마나 유사한지 계산합니다. - 출력 이미지(G)가 콘텐츠 이미지(C)의 콘텐츠와 스타일 이미지(S)의 스타일을 갖기를 원하기 때문에 생성된 이미지(G)의 손실을 각각의 콘텐츠(C)와 스타일( S) 이미지로 부터 계산한다. - 콘텐츠 손실 및 스타일 손실을 정의해 보겠습니다. 콘텐츠 로스 - 무작위로 생성된 노이즈 이미지(G)가 콘텐츠 이미지(C)와 얼마나 유사한지 의미 - F는 .. 더보기

티스토리툴바