날짜: 2023년 3월 14일 where get inspired: Multi-GPU learning을 하다가 용어 발견 Answer sources: new Bing(LLM) 유효한 배치 크기(Effective Batch Size)란? 유효한 배치 크기는 모델이 각 업데이트 단계에서 처리하는 샘플의 총 수를 의미합니다. 단일 장치(예: 단일 GPU)에서 훈련할 때 유효한 배치 크기는 데이터 로더에서 지정된 배치 크기와 같습니다. 그러나 데이터 병렬성 또는 분산 데이터 병렬성을 사용하여 여러 장치(예: 여러 GPU)에서 훈련할 때 각 장치는 전체 배치의 일부를 받습니다. 이 경우 유효한 배치 크기는 데이터 로더에 지정된 배치 크기에 훈련에 사용되는 장치 수를 곱한 값과 같습니다. 예를 들어, 배치 크기가 2..