[태그:] QLoRA

왜 PEFT가 필요한가? 최신 대규모 언어 모델(LLM)을 파인튜닝하려면 엄청난 GPU 메모리와 계산 자원이 필요합니다. 예를 들어 LLaMA-2 7B 모델을 전체 파인튜닝하면 약 60GB 이상의 GPU 메모리가 필요하죠. 하지만 LoRA, QLoRA, DoRA 같은 파라미터 효율적 파인튜닝(PEFT) 기법을 사용하면 16GB GPU로도 충분히 파인튜닝이 가능합니다. 핵심 포인트: PEFT…

계속 읽기 →