-
pytorch dataloader의 num_workers 역할각종 사용법 2022. 4. 25. 15:35
https://jybaek.tistory.com/799<<에 매우 잘 설명되어있음
요약 : 데이터로더에서 random crop, shuffle등은 cpu의 영역임
가용 cpu 스레드 개수를 4개를 주면, 그만큼 cpu의 스레드(일꾼) 여러 개가 일해서 dataload에서 걸리는 보틀넥 현상 방지
num_workers 수 = 가용할cpu 스레드 개수
보통 num_worker는 4x가용 gpu 로 두는게 정석이라고함
연구실 컴 : i9-10900 (10코어 20스레드)'각종 사용법' 카테고리의 다른 글
우분투용 git 사용법 (0) 2022.03.16 wandb (1) 2022.03.14 CODE BLOCK (1) 2022.02.16 우분투 18.04에 NVIDIA DRIVER 재설치 (+cudnn 8.2.0, cuda 11.2 버전 확인) (0) 2022.02.14 텐서보드 사용법 (0) 2022.02.11