Find for your own rhythm

대학원준비용으로 간단하게 훑은 내용입니다. 이후 추가할 수 있고 중요한 특징만 정리했습니다. [LE Net] Feature extraction + Classifier [Modern CNN] ImageNet 1000 object challenge. 1.2M train data set을 사용 AlexNet Data + Hardware : 충분한 양의 데이터와 쓸만한 하드웨어 등장 ReLU(첫 등장) + much deeper Maxpooling 사용 ⇒ 이전엔 AVG 사용 Hidden layer 8개, 최초로 대규모 영상 데이터에 좋은 성과. ReLU Activation 첫 고안 VGGNet : Networks using blocks Block개념 첫도입 ReLU같은 non-linearity maxpoolin..

제가 대학원준비하며 정리한 내용이기때문에 친절하지 않을 수 있습니다. 틀린 부분이 있다면 답글 남겨주시면 감사하겠습니다. CNN : 데이터로부터 직접 학습하는 딥러닝 신경망 아키텍처 중 하나로 각 계층마다 영상의 서로 다른 특징을 검출한다. (Convolution ⇒ Activation ⇒ Pooling ) * N ⇒ Flatten ⇒ Fully connected ⇒ Softmax 컨볼루션 계층 : 입력 영상을 컨볼루션 필터에 통과 ⇒ 각 필터는 영상에서 특정 특징을 활성화함 ReLU(Rectified Linear Unit) 음수값은 0, 양수값은 그대로 ⇒ 활성화된 특징만 다음 계층으로 전달 Pooling : 비선형 다운샘플링을 활용하여 학습해야하는 파라미터 개수 줄여 출력을 단순화. 다운샘플링을 활용..

마지막 챕터입니다 드디어 딥러닝 교과서 정리가 끝났네요 9.1 생성모델 생성모델은 데이터로부터 확률 분포를 추정해 데이터를 생성하는 모델이다. 실생활 데이터는 매우 복잡한 확률분포를 가지는 만큼 확률분포를 정확하고 빠르게 추정하기 어렵다. 확률분포를 추정하는 모델인만큼 확률기본기념에 대해 짚고 넘어가려한다. 확률의 곱법칙 p(a|b) = p(a∩b)/p(b) ↓유도 p(a∩b) = p(a|b)p(b)=p(b|a)p(a) 결합확률분포는 다음과 같이 두가지 방식으로 나타낼수 있다 확률의 합법칙 표본공간 s에서 a의 발생확률, p(a)를 구한다면 a와 bi의 결합확률분포를 구하고 모든 b에 대해 합산하면 p(a)를 구할 수 있다.이와 같이 일부 확률 변수를 구하기 위해 나머지 확률변수에 대해 합산하는 것을 주..

챕터 8이네요.. 마지막 챕터가 9인데 책 한권 정리하기도 슬슬 끝이보이네요 8.1 기억을 갖는 신경망 모델 RNN 데이터는 시간흐름에 따라 변해 시간적인 순서관계를 갖는 뇌파, 주가, 동영상/애니메이션, 이외에 순서관계를 갖는 공간적인 순서관계를 갖는데이터도 있다. 염기서열이나 프로그램, 글, 악보등이 그 예시이다. 이처럼 시간적, 공간적 순서관계가 있는 데이터를 순차 데이터라고 부른다. 순차 데이터는 시공간의 순서 관계로 형성되는 문맥, 콘텍스트를 갖는다. 존 홉필드는 1982년 기억을 저장하고 연상하는 연상메모리를 갖는 홉필드 네트워크를 제안했다. 새로운 입력이 들어오면 특정패턴으로 수렴하게 만들어 기억해둔 패턴을 연상하는 네트워크이다. 양극화 기법을 사용해 값이 1에 조금이라도 가까우면 1이 되고..

7.1 르넷-5 최초의 컨볼루션 신경망 모델인 르넷 -5 CONV-POOL-CONV-POOL-FC-FC-FC로 구성된 7계층모델이다. 컨볼루션 계층과 풀링 계층은 생체 신경망의 시각 영역을 완전연결계층을 연관영역을 모델링했다. 입력데이터는 우편번호 필기체 숫자인 32X32X1이미지, CONV계층은 5X5,1 활성함수는 sigmoid, 하이퍼볼릭탄젠트, pooling 2x2,2 평균풀링사용한다. FC로 전환할때는 액티베이션 맵과 같은크기으 5X5X16 필터를 120개사용해 크기가 120인 1차원 벡터로 변환한다. 7.2 알렉스넷 ILSVR 2012대회에서 객체인식오류율을 25.8%에서 16.4%로 낮추며 1위를 차지한 최초의 콘벌루션 신경망 모델이다. 2개의 GPU에서 실행되는 병렬처리 구조이다. 병렬처리..

6.1 시각 패턴 인식을 위한 신경망 모델 순방향신경망으로 이미지를 인식하면 1차원으로 환원해야하기 때문에 정확한 패턴 인식이 어렵다. 또한 입력 데이터가 커질수록 더 많은 특징을 포함해 파라미터 수가 급격히 증가해 데이터 처리에 효율적이지 않다. 후쿠시마는 생체 신경망의 처리 경로를 모방해 단순세포계층과 복합세포계층을 정의하고 이 둘을 묶어 여러 계층으로 쌓은 신경망 구조를 만들었다. 이를 네오코그니트론이라고 한다. 얀 르쿤은 네오코그니트론에 영향을 받아 콘벌루션 신경망을 제안한다. 네오코그니트론 설계 사상과 구조를 따르고 학습 알고리즘으로 역전파 알고리즘을 채택한다. 콘벌루션 신경망이라 부르는 이유는 특징을 인식하는 주요연산이 콘벌루션연산이기 때문이다. 6.2 콘벌루션 신경망의 구조 콘벌루션 계층은 ..

5.1가중치 초기화 신경망을 학습할 때 손실함수에서 출발위치를 결정하는 방법이 모델 초기화이다. ⓐ가중치를 0으로 초기화한다면? z = w^Tx+b = 0 a = activation(z) ∈ {0,0.5} 가중치가 0이라면 가중합산결과가 항상 0이 되고 활성함수는 가중합산결과인 0을 입력받아서 늘 같은 값을 출력한다. 활성함수가 ReLU나 하이퍼볼릭 탄젠트면 출력은 0이되고 시그모이드라면 출력이 0.5가 된다. 결과적으로 의미없는 출력이 만들어지며 가중치가 0이면 학습도 진행되지 않는다 ⓑ가중치를 0이 아닌 상수로 초기화한다면? 가중치를 모두 같은 상수로 초기화하면 신경망에 대칭성이 생겨 같은계층의 모든 뉴런이 똑같이 작동하므로 여러 뉴런을 사용하는 효과가 사라지고 하나의 뉴런만 있는 것과 같아진다. ⓒ..

4.1 확률적 경사 하강법 손실함수의 곡면에서 '경사가 가장 가파른 곳으로 내려가다 보면 언젠가 가장 낮은 지점에 도달한다'의 가정으로 만들어졌다. 하지만 여러 문제점이 있었다. 1)고정된 학습률 확률적 경사하강법은 지정된 학습률을 사용하는 알고리즘이다. 학습률이란 최적화할때 한걸음의 폭을 결정하는 스텝 크기를 말하며 학습속도를 결정한다. 이때문에 최적화가 비효율적으로 진행된다. 일반적으로 학습초기에는 큰폭으로 이동해 빠르게 이동하고 어느정도 이동하면 작은폭으로 천천히 이동해 최적해에 조심스럽게 이동해야한다. 이와 같이 학습의 진행상황이나 곡면의 변화를 알고리즘 내에서 고려해서 학습률을 자동으로 조정하는 방식을 적응적 학습률이라고 한다. 2) 협곡에서 학습이 안되는 문제 다음과 같이 가로방향으로는 경사가..

3.1 신경망 학습의 의미 신경망의 학습한다는 것은 입력데이터가 들어왓을 때 학습데이터를 이용해 규칙을 스스로 찾는 과정을 말한다. 입출력의 매핑규칙은 함수적 매핑관계로 존재한다. 신경망 구조와 관련된 것들은 학습 전에 미리 정해두고 학습과정에서는 모델 파라미터 값을 찾는다 모델파라미터의 대부분은 뉴런의 가중치와 편향이다. 최적화 방법을 이용해 최적의 파라미터를 찾을 수 있다. 3.2 신경망 학습과 최적화 최적화란 유한한 방정식으로는 정확한 해를 구할 수 없을 때 근사적으로 해를 구하는 방법으로 다양한 제약 조건을 만족하면서 목적함수를 최대화하거나 최소화하는 해를 반복하여 조금씩 접근하는 방식으로 찾아가는 방법이다. 제약조건에는 부등식형태의 제약조건 g(x)≤0 과 등식형태의 제약 조건 h(x) =0으로..

2.1 순방향 신경망의 구조와 설계 항목 순방향 신경망은 뉴런들이 모여 계층을 모여 전체 신경망을 이루는데 입력층은 외부에서 데이터를 전달받고, 은닉층은 데이터의 특징을 추출한다. 출력층은 추출된 특징을 기반으로 추출한 결론을 출력한다. 순방향신경망은 완전연결계층으로 구성된다. ->계층의 모든뉴런과 모두 연결된 구조 특징을 추출하는 뉴런구조는 가중합산과 활성함수를 순차적으로 실행하는데 가중합산은 추출할 특징에 중요한 데이터를 선택하고, 활성함수는 원하는 형태로 특징을 추출하기 위해 데이터를 비선형적으로 변환하는 과정이다 가중합산은 z = w^t*x + b (w는 가중치, b는 편향이다. 공간상의 임의의 위치를 표현하기 위해 더한다) 비선형변환을 위한 활성함수는 이후 다루겠다. *계층표기는 입력층을 제외하..