본문 바로가기

분류 전체보기465

[Machine Learning] Neural Network(Cost Function, Backpropagation Algorithm) 해당 내용은 Andrew Ng 교수님의 Machine Learning 강의(Coursera)를 정리한 내용입니다. BP : Back-Propagation 역전파 FP : Forward Propagation 순전파 [Neural Network(Classification)] 우리는 Neural Network의 Cost Function 비용함수와, Parameter \(\theta\)를 구해주어야 한다. 위 그림과 같은 Neural Network와 m개의 Training Set이 주어졌을 때, 용어는 아래와 같이 정의한다. \(L = \text{ total num layers in network}\) \(s_l = \text{ num of unit(not counting bias unit) in layer l.. 2020. 8. 15.
[Machine Learning] Exam 3 (Week 4) 해당 내용은 Andrew Ng 교수님의 Machine Learning 강의(Coursera)를 정리한 내용입니다. ※ 아래에 문제 풀이가 있습니다. 원하지 않는다면 스크롤을 내리지 마세요. 4주차 과제는 아래와 같다. lrCostFunction.m - Regularized Logistic Regression의 Cost와 편미분항을 계산하는 과제. 결론부터 말하자면, Ex2의 costFunctionReg.m과 완전 동일하다. oneVsAll.m - multi-class logistic regression의 분류를 예측하는 코드 작성 과제 predictOneVsAll.m - 예측 함수를 통해서 예측값을 반환하는 코드 작성 과제 predict.m - Neural network 예측 함수를 작성하는 과제 htt.. 2020. 8. 14.
[Machine Learning] Neural Networks : Model Representation(신경망 모델) 해당 내용은 Andrew Ng 교수님의 Machine Learning 강의(Coursera)를 정리한 내용입니다. [Non-linear Hypotheses] 이때까지 우리는 linear regression과 logistic regression을 알아봤지만, 이 방법들은 복잡한 데이터를 처리하는데 한계가 있다. 예를 들어서 아래와 같은 데이터에서는 non-linear feature(요소)들을 가지고 logistic regression을 적용해야될 것이다. 기존에 배운 방식대로 Logistic Regression을 사용해서 non-linear boundary를 만들 수 있다. 그래프 오른쪽의 식처럼 고차원의 feature를 추가하면 된다. 가령, 이전에 살펴보았던 집값 예측 문제에서 집값을 결정하는 요소는 .. 2020. 8. 12.
[Machine Learning] Exam 2(Week 3) 해당 내용은 Andrew Ng 교수님의 Machine Learning 강의(Coursera)를 정리한 내용입니다. ※ 아래에 문제 풀이가 있습니다. 원하지 않는다면 스크롤을 내리지 마세요. 3주차 과제는 아래와 같다. plotData.m - classification data 그래프 그리기 sigmoid.m - Sigmoid 함수를 반환하는 코드 작성 costFunction.m - Logistic Regression의 Cost Function 코드 작성 predict.m - Logistic Regression의 예측값을 반환하는 코드 작성(0 또는 1의 값을 나타내야 한다) costFunctionReg.m - 정규화(regularization)된 Logistic Regression의 cost와 gradi.. 2020. 8. 11.
[Python/파이썬] 파이썬의 변수에 대해서(+리터럴 상수) 이때까지, 파이썬 자료형에 대해서 알아봤는데 그 자료형들이 저장되는 변수에 대해서 알아보겠습니다. 이전 글에서 순수객체지향을 설명하면서 언급했었는데, 동일한 내용입니다. 2020/07/30 - [Language/Python] - [Python/파이썬] 파이썬에 대해서 a = 1 b = 'Python' c = [1, 2, 3] 자료형에 대해서 배우면서 우리는 위와 같은 표현을 봤습니다. 이때, a, b, c를 변수라고 하며, 변수를 생성할 때는 =(assignment) 기호를 사용합니다. C/C++이나 JAVA에서는 변수를 만들 때 자료형을 명시해주어야 하지만, 파이썬은 변수에 지정된 값을 보고 판단하여 자동으로 자료형이 지정됩니다. 그리고 C/C++이나 JAVA와는 다르게 파이썬에서 사용하는 변수는 값 .. 2020. 8. 11.
[Python/파이썬] 파이썬 기본 자료형 2(리스트, 튜플, 딕셔너리, 집합) 기본 자료형 1에 이어서 리스트(list), 튜플(tuple), 집합(set), 사전(dictionary)형에 대해서 알아봅시다. [리스트 list] 리스트는 데이터의 모음 또는 값을 나열하는 것이라고 할 수 있습니다. 리스트는 대괄호([ ])로 묶어서 표현하며, 리스트에 속하는 요소들은 쉼표(,)로 구분합니다. 요소에는 정수, 실수, 문자열, 리스트 등 모든 자료형이 가능합니다. list = [ element1, element2, element3, ... ] 아래의 여러가지 리스트를 살펴봅시다. a = [] b = [1, 2, 3] c = ['My', 'name', "is", 'junstar'] d = [1, 2, 'my', 'name'] e = [1, 2, ['my', 'name']] a처럼 아무것도.. 2020. 8. 11.
[파이썬/Python] 파이썬 기본 자료형 1(숫자형, 문자열, bool형, None) 파이썬 기본 자료형에 대해서 알아봅시다. 파이썬의 자료형에는 숫자형, 문자열, 부울(bool), 리스트, 튜플(tuple), 집합(set), 사전(dictionary)이 있습니다. [숫자형] 숫자형에는 int(정수형), float(실수형), complex(복소수)가 있습니다. - integer(정수형) 말 그대로 양의 정수, 음의 정수, 0을 포함하는 자료형입니다. a = 123 b = -123 c = 0 파이썬 2.x 버전에서는 엄청 큰 숫자를 담기 위한 long 타입이 존재했지만, 3.x부터는 long 타입이 사라지고, int 타입이 크기 제한이 없는 부호있는 정수형이 되었습니다. 파이썬 정수형의 크기는 컴파일러에 의해서가 아닌 컴퓨터 메모리에 의해서만 제한됩니다. 8진수(ex, 0o65)나 16진수.. 2020. 8. 10.
티스토리에서 수학 수식 쓰는 방법(LaTex, MathJax) 최근에 머신러닝 강의를 정리하고 글을 쓰면서 수학 수식을 쓰는 것이 불편하게 느껴졌습니다. 그래서 제가 최근에 사용했던 방법 두 가지를 정리하고자 합니다. 1. Online LaTex Equation Editor https://www.codecogs.com/latex/eqneditor.php Online LaTeX Equation Editor - create, integrate and download Type your equation in this box www.codecogs.com 위 사이트를 들어가면 아래와 같은 화면이 나오고, 필요한 수식을 여기서 작성하면 됩니다. 아마 사용법은 따로 알려드리지 않아도 잘 사용할 것 같습니다... 꽤나 직관적이기 때문에... 그리고, 수식을 작성하고 티스토리에서 .. 2020. 8. 8.
[Machine Learning] Regularization 정규화 해당 내용은 Andrew Ng 교수님의 Machine Learning 강의(Coursera)를 정리한 내용입니다. [The problem of Overfitting 과적합 문제]우리가 이때까지 배운 Linear Regression과 Logistic Regression 알고리즘은 많은 머신러닝 문제들에 적용시킬 수 있다. 하지만 Overfitting(과적합)이라는 문제에 빠져 알고리즘의 성능이 나빠질 수 있다.과적합이란 무엇일까 ? - 과적합 Overfitting우리가 이전에 예시로 들었던 집값 예측 문제를 다시 살펴보자. Linear Regression으로 집의 크기로부터 집값을 예측하는 문제였고, 선형 함수를 데이터에 맞게끔 적용하여 예측을 할 수 있었다. 하지만 아래 왼쪽 그래프처럼 이 모델은 그리 .. 2020. 8. 8.
[Machine Learning] Logistic Regression 2 (Cost Function, Gradient Descent, Multi-Class Classification) 해당 내용은 Andrew Ng 교수님의 Machine Learning 강의(Coursera)를 정리한 내용입니다. 이번 글에서는 이어서 Logistic Regression의 Cost Function, Gradient Descent, Multi-Class Classification에 대해서 알아볼 것이다. [Cost Function] 이제 Logicstic Regression를 하기 위해서 필요한 \(theta\) 를 구하는 방법에 대해 알아보자. 앞에서 배웠던 Linear Regression을 위한 비용함수(Cost Function)은 \(J(\theta) = \frac{1}{2m}\sum_{i = 1}^{m}(h_\theta(x^{(i)}) - y^{(i)})\) 이며, 우리는 아래와 같이 표현할 수도.. 2020. 8. 7.