coursera71 Hyperparameter tuning / Batch Normalization 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 3) - Hyperparameter tuning [Tuning process] 이전 강의에서 NN을 적용하는데 다양한 Hyperparameter를 세팅하는 것을 알아보았고, 이번 강의에서는 최적의 Hyperparameter를 찾는 방법에 대해서 알아보도록 하겠다. Hyperparameter는 위와 같이 다양하게 있으며, 각 Hyperparameter의 중요성은 다르다고 할 수 있다. 예를 들어, Ad.. 2020. 10. 10. [실습] Optimization Methods(Mini-batch, Momentum, Adam Algorithm) 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 2) 2주차는 학습 알고리즘을 더 빠르게 학습시킬 수 있는 최적화 알고리즘에 대해서 실습을 진행할 예정입니다. 좋은 최적화 알고리즘은 좋은 결과를 얻기 위해서 몇 일이 걸리는 작업을 몇 시간으로 줄일 정도로 유용한 알고리즘입니다. 우선 이번 실습에 사용되는 패키지입니다. import numpy as np import matplotlib.pyplot as plt import scipy.io import.. 2020. 10. 2. Optimization(최적화 알고리즘) : Mini-batch/Momentum/RMSprop/Adam 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 2) 이번 주 학습내용은 다음과 같다. 1. Stochastic Gradient Descent(Mini-batch GD), Momentum, RMSProp, Adam과 같은 다양한 최적화 알고리즘에 대해서 알아본다. 2. Random Mini-batch는 더 빠르게 수렴하도록 하고, 최적화를 향상시킨다. 3. Learning Rate를 감소시키면서 학습하는 것에 대해서 알아본다. - Optimizat.. 2020. 10. 2. [실습] Gradient Checking 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 1) 1주차 마지막 실습은 Gradient Checking 입니다. 사용되는 패키지는 다음과 같습니다. # Packages import numpy as np from testCases import * from gc_utils import sigmoid, relu, dictionary_to_vector, vector_to_dictionary, gradients_to_vector Gradient Chec.. 2020. 9. 26. [실습] Regularization(L2 Regularization, Dropout) 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 1)1주차 두 번째 실습은 Regularization 입니다.딥러닝 모델은 매우 높은 flexibility와 capacity를 가지고 있어서, dataset이 충분히 크기 않다면 overfitting하는 심각한 문제를 일으킬 수 있습니다. overfitting은 training set에는 잘 맞지만, 새로운 sample에 대해서는 일반화되지 않는 문제를 일으킵니다. 이번 실습에서 regularizat.. 2020. 9. 26. [실습] Initialization 초기화 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 1) 1주차 첫 번째 실습은 초기화(Initialization)입니다. 잘 선택된 초기화를 학습의 성능을 높일 수 있습니다. - Gradient Descent의 수렴 속도 상승 - Gradient Descent가 더 낮은 training error에 수렴하는 확률을 증가시킴 우선 이번 실습에서 분류해야될 planar dataset을 읽어봅시다. import numpy as np import matpl.. 2020. 9. 26. [실습] Deep Neural Network for Image Classification(cat vs non-cat) 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 첫 번째 강의 Neural Networks and Deep Learning을 듣고 정리한 내용입니다. (Week 4) 4주차 두 번째 실습은 이전 실습에서 구현한 NN의 step by step 함수들을 사용해서 첫 번째 실습에서 Logistic Regression으로 구현한 cat vs non-cat 분류기를 NN으로 구현해볼 것입니다. 1. Packages 사용되는 패키지는 다음과 같습니다. numpy is the fundamental package for scientific computing with Python. matplotlib is a library to plot graphs in Python.. 2020. 9. 26. [실습] Building Deep Neural Network : Step by Step 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 첫 번째 강의 Neural Networks and Deep Learning를 듣고 정리한 내용입니다. (Week 4) 4주차 첫 번째 실습은 딥러닝을 순서대로 구현해보는 것입니다. 여기서 ouput layer를 제외한 layer에서 activation function을 ReLU함수를 사용하고, output layer에서만 sigmoid 함수를 사용할 것이고, 이번 실습에서는 2-layer와 L-layer를 위한 함수를 각각 구현할 것입니다. 시작하기에 앞서 표기법을 정리하겠습니다. - 위첨자 \([l]\)은 \(l^{th}\) layer를 의미합니다. \(a^{[L]}\)은 L번째 layer의 activ.. 2020. 9. 25. [실습] Planar data classification with a hidden layer 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 첫 번째 강의 Neural Networks and Deep Learning를 듣고 정리한 내용입니다. (Week 3) 3주차에서는 Planar data 분류기를 구현하는데, 1개의 hidden layer를 가진 neural network를 구현할 것입니다. 이 실습을 통해서 다음의 내용을 확인할 수 있습니다. Implement a 2-class classification neural network with a single hidden layer Use units with a non-linear activation function, such as tanh Compute the cross entropy lo.. 2020. 9. 25. [실습] Logistic Regression with a Neural Network(can / non-cat classifier) 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 첫 번째 강의 Neural Networks and Deep Learning를 듣고 정리한 내용입니다. (Week 2) 딥러닝 특화과정 첫 번째 강의 2주차 실습을 진행하면서 복습해보려고 합니다. 목표는 Logistic Regression을 사용해서 고양이를 인식하는 분류기를 만드는 것입니다. 진행 순서는 다음과 같습니다. 1. 파라미터 초기화 2. Cost Function과 Gradient 계산 3. Gradient Descent를 통해서 최적화 우리는 이 3가지의 동작을 하는 함수를 각각 만들고, 마지막에 위 함수들을 main model에서 사용할 것입니다. 1. Packages 이 분류기에서 사용되는.. 2020. 9. 24. 이전 1 2 3 4 5 6 7 8 다음
