GGUF 파일이란?

GGUF(Georgi Gerganov Unified Format) 소개

- GGUF는 GGML을 사용하여 대형 모델을 실행하는 프로그램과 모델을 저장하는 파일 형식이다. 참고로 GGML은 보통 컴퓨터에서도 큰 모델을 빠르게 돌릴 수 있는 ML용 라이브러리이다.

-  Georgi Gerganov(@ggerganov)란 개발자가 만들었다.

- 2023년 하반기에 나타나더니 급속도로 인기를 얻고 있으며 많은 사람들이 Pytorch의 .pt 포맷의 모델 파일을 .gguf 포맷으로 컨버팅하며 공유하고 있다.

(역시 많이 쓰이는 것이 업계의 표준이 된다)

 

 

파일 구조

- @mishig25가 작성한 GGUFv3 다이어그램

- 모델의 weight 텐서 값과 메타데이터가 key-value 형식으로 저장되어 있다.

metadata_kv1 ~ n개 존재한다.

 

다른 표현 방식

 

사용 예시

- Meta(@meta-llama)에서 Meta-Llama-3-8B를 공개했는데, 이준범(@beomi)님이 이를 기반으로 사전학습한 모델인 Llama-3-Open-Ko-8B를 공개했다. 해당 모델은 허깅페이스에 safetensors 파일 형식으로 업로드되어 있는데,

- 이를 곧바로 GGUF 파일 형식으로 변환한 모델을 이경록(@teddylee777)님이 공개

 

 

고찰

- 다시 C/C++의 시대가 오는 것인가? 대용량 LLM 모델 성능의 성능을 소용량 LLM 으로도 달성이 가능하면서, On-Device를 위한 흐름이 당분간 이어질 수도 있겠다.

- 임베디드가 베이스인 나에겐 기회가 될 수도 있다.

 

 

 

글 출처
- GGUF 파일로 로컬에서 LLM 실행하기 - 정우일 블로그 (wooiljeong.github.io)

- GGUF (Georgi Gerganov Unified Format) (tistory.com)