ML & DL/Study13 A Survey of Quantization Methods 리뷰 References A Survey of Quantization Methods for Efficient Neural Network Inference (link) Introduction 딥러닝이 급속도로 발전하면서 모델의 크기는 기하급수적으로 커졌고, 이로 인하여 제한된 리소스의 어플리케이션들에 배포하는 것이 불가능해졌다. 즉, 리소스가 제한되는 환경에서 높은 에너지 효율과 정확도로 실시간 추론이 필요한 분야에서 딥러닝을 활용하는데 문제가 된다. 이는 실시간 헬스케어 모니터링, 자율주행, 오디오 분석, 음성 인식 등 다양한 어플리케이션에 큰 영향을 미칠 것으로 예상된다. 최적의 정확도와 함께 효율성 및 실시간성을 달성하기 위한 많은 연구가 이루어지고 있다. 이러한 연구는 크게 다음과 같이 분류될 수 있다... 2024. 2. 13. Integer Quantization for Deep Learning Inference 리뷰 References Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation (link) 이 논문은 뉴럴 네트워크의 INT quantization에 대한 수학적인 배경과 성능과 관련하여 quantization parameter를 선택하는 몇 가지 방법을 이야기한다. 또한, quantization workflow를 제안하며 이를 통해 모든 네트워크에서 1% 이내의 정확도 손실로 양자화할 수 있다는 것을 보여준다. Intro 양자화(quantization) 기법은 높은 처리량의 integer instruction을 활용하여 딥뉴럴 네트워크의 크기를 줄이고 추론 속도를 향상시킬 수 있다. 일반적으로 32비트의 si.. 2024. 2. 7. [선형대수] 특잇값 분해와 유사역행렬 References Deep Learning Book(https://www.deeplearningbook.org/) Contents 특잇값 분해 (singular value decomposition, SVD) 유사역행렬 (pseudoinverse) 특잇값 분해 [선형대수] 고윳값 분해 이전 포스팅에서 행렬을 고유벡터와 고윳값들로 분해하는 방법을 살펴봤습니다. 이와 다른 방식의 행렬 분해인 특잇값 분해(singular value decomposition, SVD)는 행렬을 특이벡터(singular vector)들과 특잇값(singular value)들로 분해합니다. 따라서 얻을 수 있는 정보는 고윳값 분해와 동일하지만, SVD는 좀 더 일반적인 행렬들에 적용이 가능하다는 장점이 있습니다. 모든 실수 행렬에.. 2022. 5. 14. [선형대수] 고윳값 분해 References Deep Learning Book(https://www.deeplearningbook.org/) 프리드버그 선형대수학 Contents 대각행렬 (diagonal matrix, 대각선 행렬) 직교행렬 (orthogonal matrix) 고윳값 분해 (eigendecomposition) 대각행렬 대각행렬(diagonal matrix)는 0이 아닌 성분들이 주대각(main diagonal)에만 있고, 나머지 성분들은 모두 0인 행렬입니다. 이를 공식화하여 표현하면, 행렬 \(\boldsymbol{D}\)가 모든 \(i \neq j\)에 대해 \(D_{i, j} = 0\)일 때 행렬 \(\boldsymbol{D}\)를 대각행렬이라고 합니다. 이미 알고 있는 대각행렬이 있을텐데, 주대각 성분들.. 2022. 5. 13. [선형대수] Norm (노름) References Deep Learning Book(https://www.deeplearningbook.org/) Contents \(L^1, L^2\) Norm Frobenius Norm Norm 벡터의 크기를 측정해야 할 때가 종종 있습니다. 일반적으로 머신러닝에서 벡터의 크기는 노름(norm)이라고 부르는 함수를 이용하여 측정합니다. \(L^p\)로 표기하는 노름의 정의는 다음과 같습니다. \[\left \| \boldsymbol{x} \right \|_p = (\sum_{i} |x_i|^p)^{\frac{1}{p}}\] 여기서 \(p \in \mathbb{R}, p \geq 1\)입니다. 일반적으로 노름은 벡터를 음이 아닌 값으로 사상(mapping)하는 함수입니다. 직관적으로 살펴보면, 벡터 .. 2022. 5. 13. [선형대수] 일차종속과 생성공간 References Deep Learning (https://www.deeplearningbook.org/) Contents Linear Dependence Span \[\boldsymbol{Ax = b}\] \(\boldsymbol{A}^{-1}\)이 존재하려면, 모든 \(\boldsymbol{b}\)에 대해 위의 식에 정확히 하나의 해가 존재해야 합니다. 일부 \(\boldsymbol{b}\) 값에 대해서는 해가 하나도 없거나 무한히 많아도 역행렬이 존재할 수는 있습니다. 그러나 특정 \(\boldsymbol{b}\)에 대해 해의 개수가 2개 이상, 혹은 무한대 미만인 경우가 있어서는 안됩니다. \(\boldsymbol{x}\)와 \(\boldsymbol{y}\)가 둘 다 유효한 해라고 할 때, 임의.. 2022. 5. 12. AutoEncoder (3) : AE, DAE - Reference Slide : https://www.slideshare.net/NaverEngineering/ss-96581209 강의(youtube) : (1/3) https://www.youtube.com/watch?v=o_peo6U7IRM&ab_channel=naverd2 (2/3) https://www.youtube.com/watch?v=rNh2CrTFpm4&ab_channel=naverd2 (3/3) https://www.youtube.com/watch?v=LeVkjCuUdRs&ab_channel=naverd2 Naver 이활석님의 'AutoEncoder의 모든 것'이라는 강의를 바탕으로 학습하여, 개인적으로 정리하였습니다. 이번 글에서 드디어 AutoEncoder(AE)에 대해서 알아보도.. 2021. 2. 15. AutoEncoder (2) : Manifold Learning - Reference Slide : https://www.slideshare.net/NaverEngineering/ss-96581209 강의(youtube) : (1/3) https://www.youtube.com/watch?v=o_peo6U7IRM&ab_channel=naverd2 (2/3) https://www.youtube.com/watch?v=rNh2CrTFpm4&ab_channel=naverd2 (3/3) https://www.youtube.com/watch?v=LeVkjCuUdRs&ab_channel=naverd2 Naver 이활석님의 'AutoEncoder의 모든 것'이라는 강의를 바탕으로 학습하여, 개인적으로 정리하였습니다. Manifold Learning 오토인코더의 가장 중요한 기능 중.. 2021. 2. 10. AutoEncoder (1) : Maximum likelihood 관점에서의 해석 - Reference Slide : https://www.slideshare.net/NaverEngineering/ss-96581209 강의(youtube) : (1/3) https://www.youtube.com/watch?v=o_peo6U7IRM&ab_channel=naverd2 (2/3) https://www.youtube.com/watch?v=rNh2CrTFpm4&ab_channel=naverd2 (3/3) https://www.youtube.com/watch?v=LeVkjCuUdRs&ab_channel=naverd2 Naver 이활석님의 'AutoEncoder의 모든 것'이라는 강의를 바탕으로 학습하고 정리하였습니다. AutoEncoder 위키피디아에서 오토인코더를 검색하면 아래의 결과를 볼 수.. 2021. 2. 9. Convolutional Neural Network(CNN) CNN 대뇌의 시각 피질 연구에서 시작된 Convolutional Neural Network(합성곱 신경망)은 이미지 인식 분야에 많이 사용됩니다. 이 기술은 이미지 인식뿐만 아니라 음성인식이나 자연어처리(NLP) 같은 다른 분야에서도 많이 사용되고 있습니다. 데이비드 허블과 토르스텐 비셀의 시각 피질 연구를 통해서 시각 피질 안의 많은 뉴런이 작은 local receptive field를 가진다는 것을 보였는데, 쉽게 설명하면 뉴런들은 보고있는 이미지에서 수직선, 대각선 등의 일부 시각 자극에만 반응하고, 뉴런들을 서로 겹쳐서 전체 이미지를 만들어서 인식한다는 것입니다. 즉, 어떤 뉴런은 수평선 이미지에만 반응하고 다른 뉴런은 다른 각도의 선분에 반응한다는 것을 발견한 것이죠. 이러한 시각 피질 연구를.. 2021. 1. 4. 이전 1 2 다음
