헬창 개발자

다음 내용은 Llama 3.1 기준으로 작성 되었습니다. 추론 메모리 요구 사항추론의 경우 메모리 요구 사항은 모델 크기와 가중치의 정확도에 따라 달라진다.다음은 다양한 구성에 필요한 대략적인 메모리를 보여주는 표이다.모델 크기FP16FP8INT48B16 GB8 GB4 GB70B140 GB70 GB35 GB 405B810 GB405 GB203 GB참고: 위에 인용된 숫자는 모델 체크포인트를 로드하는 데 필요한 GPU VRAM을 나낸다. 예를 들어, H100 노드(8x H100)는 약 640GB의 VRAM을 가지고 있으므로 405B 모델은 다중 노드 설정에서 실행하거나 더 낮은 정밀도(예: FP8)에서 실행해야 하며, 이것이 권장되는 접근 방식임. 낮은 정밀도(예: INT4)는 정확도가 다소 떨어질 수 있..