Mini-batch3 batch GD (with momentum, adam) 비교 (tensorflow v2.3.0 - jupyter notebook) 이번에는 momentum과 adam optimization을 사용해서 mini-batch GD, mini-batch GD with momentum, mini-batch GD with adam, 이 3가지의 학습을 비교해보도록 하겠습니다. mini-batch, momentum, adam에 대해서는 아래 게시글을 참조하시기 바랍니다. 2020/10/02 - [Coursera 강의/Deep Learning] - Optimization(최적화 알고리즘) : Mini-batch/Momentum/RMSprop/Adam Optimization(최적화 알고리즘) : Mini-batch/Momentum/RMSprop/Adam 해당 내용은 Courser.. 2020. 11. 16. [실습] Optimization Methods(Mini-batch, Momentum, Adam Algorithm) 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 2) 2주차는 학습 알고리즘을 더 빠르게 학습시킬 수 있는 최적화 알고리즘에 대해서 실습을 진행할 예정입니다. 좋은 최적화 알고리즘은 좋은 결과를 얻기 위해서 몇 일이 걸리는 작업을 몇 시간으로 줄일 정도로 유용한 알고리즘입니다. 우선 이번 실습에 사용되는 패키지입니다. import numpy as np import matplotlib.pyplot as plt import scipy.io import.. 2020. 10. 2. Optimization(최적화 알고리즘) : Mini-batch/Momentum/RMSprop/Adam 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 2) 이번 주 학습내용은 다음과 같다. 1. Stochastic Gradient Descent(Mini-batch GD), Momentum, RMSProp, Adam과 같은 다양한 최적화 알고리즘에 대해서 알아본다. 2. Random Mini-batch는 더 빠르게 수렴하도록 하고, 최적화를 향상시킨다. 3. Learning Rate를 감소시키면서 학습하는 것에 대해서 알아본다. - Optimizat.. 2020. 10. 2. 이전 1 다음
