AIML

[딥러닝 최신 트렌드 알고리즘] - Feedforward Network

Feed-forward란 다층 퍼셉트론MLP, CNN, self-attention등에서 다양한 분야에서 사용됩니다. 이는 비선형적으로 input을 바꿔 아웃풋을 생각하는 파라미터weight를 학습할 수 있는 연결된 뉴런으로 구성된 시스템을 말합니다. 결과적으로 비선형 or 선형인 activation function을 사용해서 이를 다른 좌표계로 변형하는 과정을 말하게 됩니다. 즉 앞단에서 선형적으로 Weight, bais같은 걸 받아서 affine transform(선형 변환)을 받은 뒤 활성 함수등으로 non-linear변형을 합니다. tanh 활성화 함수 sigmoid는 0~1로 값을 압축해주었었습니다. 그래서 미분을 하더라도 local minimum에 빠지게 될 수 있습니다. 하지만 tanh는 -1..

[딥러닝 최신 알고리즘] - 정보이론 (엔트로피, KL 발산, 크로스 엔트로피)

ML을 공부하다 정보이론 내용이 수식이 어려워서 한번 정리해보면 좋을거 같아 정리합니다. 어떤 정보는 특정한 관찰에 의해 얼마만큼의 정보를 획득했는지 수치로 정량화 한 값입니다. 사건 A가 발생할 확률을 P(X)라고 할 때 정보량은 -logP(X)라고 표현할 수 있습니다. 반면 엔트로피는, 변수의 불확실성을 나타내는 지표로서, 확률분포 p를 가지는 변수X에 대해서 위와같이 표현할 수 있게 됩니다. X가 특정한 값을 가질 확률이 1인 경우에 엔트로피는 최솟값이 됩니다. 이때의 엔트로피의 값은 0입니다. 즉 불확실성이 감소할 수록 엔트로피의 값은 작아집니다. 반대로 각 값을 가질 확률이 다 같은 경우 엔트로피의 값은 최대가 됩니다. KLD는 2개의 확률분포가 어느 정도 닮았는지를 나타내는 척도를 말합니다. ..

[딥러닝 기초 알고리즘] - ML 기초

AI vs 머신러닝 vs 딥러닝 위와같은 상관관계를 가지게 됩니다. 인공지능은 지식 기반, 룰 기반의 학습 알 말하고, 기계학습은 그것의 subset이고 잘 코딩하지 않아도 학습할 수 있는, 어떤 데이터의 "feature"사이의 "패턴(Pattern)"이나 "상관관계(Correlation)"을 뽑아내는 것을 말합니다. 그 subset에는 깊은 학습(Deep Learning)이 있는데, 이는 더 추상화를 해서 Deep Neural Network(DNN, 깊은 심층망)의 2층 이상의 인공 신경망으로 표현됩니다. 머신러닝(ML) -> logistic regression 표현학습 (representation learning) -> shallow neral network 딥러닝 (Deep learning) 기존의..