최신 늬우스(News) 썸네일형 리스트형 SORA 톺아보기 서론- 다양한 지속 시간, 해상도 및 종횡비의 비디오와 이미지에 대해 텍스트 조건부 확산 모델을 훈련합니다.- 우리는 비디오 및 이미지 잠재 코드의 시공간 패치에서 작동하는 트랜스포머 아키텍처를 활용합니다. 가장 큰 모델인 Sora는 1분 분량의 고화질 비디오를 생성할 수 있습니다.- 우리의 결과는 비디오 생성 모델을 확장하는 것이 물리적 세계의 범용 시뮬레이터를 구축하기 위한 유망한 경로임을 시사 이 기술 보고서는 (1) 모든 유형의 시각적 데이터를 생성 모델의 대규모 학습을 가능하게 하는 통합 표현(unified representation)으로 전환하는 방법과 (2) Sora의 기능 및 한계에 대한 정성적 평가에 중점을 둡니다. 모델 및 구현 세부 정보는 이 보고서에 포함되지 않습니다. 많은.. 더보기 Claude3 모델 소개 1. 모델 종류 2. 모델 성능 및 벤치 마크 3. 주요 특징 4. 가격 5. 빠른 사용 및 API 접근 법 1. 모델 종류 Haiku는 빠른 속도와 비용 효율성을 자랑하며, Sonnet은 뛰어난 지능과 속도의 균형을, Opus는 최고 수준의 지능을 제공합니다. 2. 모델 성능 및 벤치 마크 - Opus 모델은 GPT4와 대등한 성능을 보여 줍니다. 3. 주요 특징 비전 성능 - Claude 3 모델들은 단순한 텍스트 처리를 넘어 복잡한 시각 자료를 이해하고 분석할 수 있습니다. 장문의 컨텍스트와 거의 완벽한 기억력 클로드 3 하이쿠(Haiku) 컨텍스트 윈도우: 200K 주요 용도: 실시간 상호작용에서 빠르고 정확한 지원, 번역 콘텐츠 모더레이션: 위험한 행동이나 고객 요청 포착 비용 절감 작업: 최.. 더보기 Introduction to 8-bit Matrix Multiplication for transformers at scale - 서론 (모델 양자화의 필요성) - 일반적인 ML 데이터 타입 - 모델 양자화 소개 - 적용 관점 (허깅페이스로의 통합) - 적용 관점(accelerate 사용) 서론 (모델 양자화의 필요성) - 예시로, BLOOM-176B를 학습하기 위해서는 8x 80GB A100 GPUs (~$15k each)가 필요하며 - 이를 미세조정하려면 72 GPUs가 필요합니다. - 적은 GPU로 성능을 유지하면서 모델을 실행시킬 양자화 증류 기법이 존재합니다. - Int8 추론 연구는 메모리를 2배 감소하면서 성능을 유지하며, 이는 Hugging Face Transformers에 통합되었습니다. i.e. LLM.int8() 은 모든 허깅페이스 트랜스포머 모델에 통합되었다. (자세한 사항은 아래 논문 참조) [2208.0.. 더보기 이전 1 다음
