Gradient Checking3 [실습] Gradient Checking 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 1) 1주차 마지막 실습은 Gradient Checking 입니다. 사용되는 패키지는 다음과 같습니다. # Packages import numpy as np from testCases import * from gc_utils import sigmoid, relu, dictionary_to_vector, vector_to_dictionary, gradients_to_vector Gradient Chec.. 2020. 9. 26. Practical aspects of Deep Learning 2 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 두 번째 강의 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization를 듣고 정리한 내용입니다. (Week 1) 이어서 optimization problem을 설정하는 것에 대해서 알아보자. - Setting up your optimization problem [Normalizing inputs] 학습속도를 높일 수 있는 방법 중 하나가 입력을 표준화(Normalization)하는 것이다. 두 개의 input이 있는 경우를 살펴보도록하자. 입력을 normalization 하는 방법은 다음과 같이 두 단계로.. 2020. 9. 23. [Machine Learning] Backpropagation in Practice 해당 내용은 Andrew Ng 교수님의 Machine Learning 강의(Coursera)를 정리한 내용입니다. [Unrolling Parameters] NN에서 우리는 \(\Theta^{(l)}, D^{(l)}\)의 행렬 정의가 필요하다. 더 이상 \(\Theta\)는 vector가 아니고, octave 등에서 사용하기 위해서는 Unroll 과정이 필요하다. \(s_1 = 10, s_2 = 10, s_3 = 1\)의 예시를 살펴보면, 아래와 같이 차원이 정의된다. \(\rightarrow \Theta^{(1)} \in \mathbb{R}^{10 \times 11}, \Theta_{(2)} \in \mathbb{R}^{10 \times 11}, \Theta^{(3)} \in \mathbb{R}^{1 \.. 2020. 8. 15. 이전 1 다음
