dp
-
PyTorch의 DP와 DDP머신러닝 & 딥러닝 2023. 12. 25. 22:05
DP와 DDP 소개 데이터 병렬 처리(Data Parallelism, DP)와 분산 데이터 병렬 처리(Distributed Data Parallelism, DDP)는 대규모 데이터셋과 복잡한 모델을 더 빠르게 학습하기 위해 널리 사용되는 기술입니다. 이러한 기술은 특히 딥러닝에서 중요한 역할을 합니다. DP와 DDP가 필요한 이유 대규모 데이터 처리: 현대의 기계 학습 모델은 엄청난 양의 데이터를 필요로 합니다. DP와 DDP는 여러 GPU 또는 머신에 작업을 분산시켜 대규모 데이터를 효율적으로 처리할 수 있게 해줍니다. 시간 절약: 모델 학습 시간을 줄이기 위해, 데이터를 분할하여 여러 처리 단위에서 병렬로 작업을 수행할 수 있습니다. 자원 활용 최적화: 가용한 모든 컴퓨팅 자원(여러 GPU 또는 머신..
-
[알고리즘] 동적 계획법 & 분할 정복Algorithms & Data Structure 2021. 7. 12. 18:33
본 내용은 패스트캠퍼스 올인원 알고리즘 강좌 내용을 요약/정리한 노트입니다. 동적 계획법 상향식 접근법. 큰 문제를 작은 문제로 나눠서 해결한다. Memorization 기법을 사용하여 이전에 계산한 값을 다시 계산할 필요 없게하여 속도 향상시킨다. 분할 정복 하양식 접근법. 즉, 큰 문제를 위해 아래로 내려가서 작은 문제 답을 구한다. 재귀함수 (recursive call)로 구현한다. 예시. 피보나치 수열 피보나치 수열이란 즉, 피보나치(0)과 피보나치(1)의 값이 주어지고 그 이후부터는 앞의 값 + 앞앞 값의 합으로 결정된다. 0, 1, 1, 2, 3, 5, 8, 13, 21, ... Recursive Call로 피보나치 수열 구현 def fibo(num): if num