softmax2 [Tensorflow] 분류에 사용되는 activation과 loss function(softmax/log_softmax/categorical_crossentropy) (tensorflow v2) Tensorflow로 Classification을 수행하면, 모델 output에서 activation 함수로 sigmoid나 softmax를 적용하게 됩니다. 그리고 loss는 이진 분류는 binary_crossentropy와 다중 분류는 categorical_crossentropy를 자주 사용합니다. 이번 글에서는 tensorflow에는 softmax/log_softmax를 살펴보고, categorical_crossentropy가 어떻게 수행이 되는지 살펴보기 위해서 실험을 해보았습니다. (Pytorch에 대한 내용은 아래 게시글을 참조하시기 바랍니다.) 2020/12/02 - [ML & DL/pytorch] - [Pytorch] softmax와 log_softmax (그리.. 2020. 12. 5. [Pytorch] softmax와 log_softmax (그리고 CrossEntropyLoss) Pytorch로 MNIST 분류 예제 문제를 구현하다가, torch.nn.functional에 softmax, log_softmax 두 가지가 있다는 것을 발견했습니다. 2020/12/01 - [ML & DL/pytorch] - [Pytorch] MNIST Classification (2020/12/02 수정) [Pytorch] MNIST Classification (2020/12/02 수정) (pytorch v1.7.0+cu101 / Colab을 사용했습니다.) (2020/12/12 수정내용) model의 마지막에 log_softmax는 빼야합니다. 아래에서 loss function으로 CrossEntropyLoss를 사용하는데, CrossEntropyLoss내에서 log_.. junstar92.tis.. 2020. 12. 2. 이전 1 다음
