RNN6 감성분류 on IMDB datasets (2) (tensorflow v2.4.0) 2020/12/24 - [ML & DL/tensorflow] - 감성분류 on IMDB datasets (1) 감성분류 on IMDB datasets (1) (tensorflow v2.4.0) IMDB dataset을 사용해서 감성분류를 해보도록 하겠습니다. IMDB dataset은 영화 리뷰 데이터이며, 구현해볼 것은 해당 리뷰가 긍정적인 리뷰인지 부정적인 리뷰인지 분류하는 것입니다 junstar92.tistory.com 이전 게시글에 이어서 이번에는 IMDB 분류 문제를 RNN layer를 사용해서 수행해보도록 하겠습니다. import tensorflow as tf import tensorflow.keras as keras import tensorflow.keras.. 2020. 12. 24. Introduction to Word Embeddings 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 다섯 번째 강의 Recurrent Neural Network를 듣고 정리한 내용입니다. (Week 2) - Introduction to Word Embeddings [Word Representation] 저번주 강의에서 RNN, GRU, LSTM에 대해서 배웠고, 이번주에서는 NLP에 어떤 아이디어들을 적용할 수 있는지 살펴보도록 할 것이다. NLP에서 중요한 아이디어 중의 하나는 Word Embedding(단어 임베딩)이다. 지난 주에 사용했던 1만개의 단어에 대해서 우리는 one-hot encoding을 통해서 단어를 표시했다. 즉, Man은 5391의 index를 갖고 있으며, 10000 dimen.. 2020. 12. 24. [실습] Character-level Language Modeling 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 다섯 번째 강의 Recurrent Neural Network를 듣고 정리한 내용입니다. (Week 1) 1주차 두번째 실습은 Character-level language model을 구현해보는 것입니다. 주제는 공룡 이름 짓기이며, 기존 공룡 이름들로 학습해서 새로운 공룡 이름을 짓는 모델입니다. 기존 공룡 이름은 dataset을 참조바랍니다. 필요한 패키지들을 import하고 시작해보도록 하겠습니다. import numpy as np from utils import * import random import pprint utils에는 이전 실습에서 구현한 Simple RNN의 각 step 함수들과 초기화.. 2020. 12. 21. [실습] Building a RNN step by step(Basic RNN, LSTM) 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 다섯 번째 강의 Recurrent Neural Network를 듣고 정리한 내용입니다. (Week 1) RNN 1주차 실습은 Simple RNN, LSTM, GRU를 Step by step으로 구현해보는 것입니다. 그리고 다음 실습에서 이렇게 구현한 함수들을 통해서 Music generator를 구현해보도록 할 예정입니다. 실습에 들어가기 전에 Notation부터 설명하겠습니다. 위첨자 [l]은 \(l^{th}\) layer를 의미함 위첨자 (i)는 \(i^{th}\) sample data를 의미함 위첨자 는 \(t^{th}\) time-step을 의미함 아래첨자 i는 벡터의 \(i^{th}\) 요소를 .. 2020. 12. 21. Recurrent Neural Networks 2 (GRU, LSTM, BRNN) 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 다섯 번째 강의 Recurrent Neural Network를 듣고 정리한 내용입니다. (Week 1) [Gated Recurrent Unit(GRU)] 앞서 Basic RNN이 어떻게 동작하는지 살펴보았고, 이번에는 GRU라는 조금 더 긴 시퀀스를 잘 캡처(장기의존성 문제)하고, Vanishing Gradient 문제를 해소할 수 있는 GRU에 대해서 살펴보도록 하자. GRU는 다음에 나오는 LSTM과 유사하지만, 조금 더 간략한 구조를 가지고 있다. GRU를 간단하게 표현하면 위와 같다. 여기서 새롭게 나타나는 c는 memory cell을 의미하며 이전 정보들이 저장되는 공간이다. 이전 정보가 \(c.. 2020. 12. 21. Recurrent Neural Networks 1 (Basic of RNN model) 해당 내용은 Coursera의 딥러닝 특화과정(Deep Learning Specialization)의 다섯 번째 강의 Sequence Models를 듣고 정리한 내용입니다. (Week 1) [Why sequence models] 다섯번째 강의에서는 Sequence model에 대해서 배운다. 딥러닝에서 가장 흥미로운 분야 중 하나이며, Recurrent Neural Network(RNN)같은 모델은 음성 인식, 자연어 처리(NLP) 영역에 영향을 끼쳤다. 아래는 시퀀스 모델이 사용되는 몇 가지 예시들이다. 음성 인식(Speech recognition)의 경우에는 Input X인 오디오가 Text output Y에 매핑된다. 입력과 출력 모두 시퀀스 데이터인데, X는 시간에 따라 재생되는 음성이며, Y는 .. 2020. 12. 20. 이전 1 다음
