learning rate decay1 Optimization(최적화 알고리즘) : Mini-batch/Momentum/RMSprop/Adam 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 2) 이번 주 학습내용은 다음과 같다. 1. Stochastic Gradient Descent(Mini-batch GD), Momentum, RMSProp, Adam과 같은 다양한 최적화 알고리즘에 대해서 알아본다. 2. Random Mini-batch는 더 빠르게 수렴하도록 하고, 최적화를 향상시킨다. 3. Learning Rate를 감소시키면서 학습하는 것에 대해서 알아본다. - Optimizat.. 2020. 10. 2. 이전 1 다음
