기록장 기록장

* Pooling layer - Pooling layer는 주로 convolution layer를 input으로 받음 - Convolution layer는 각 필터 당 하나의 feature map이 형성되고, 그 feature map을 스택처럼 쌓아둔 것 - 복잡한 데이터셋으로 CNN을 구현하는 경우 매우 많은 수의 필터 필요 - 필터가 많다는 것은 CNN의 차원이 매우 크다는 것을 의미함 - 고차원을 구현하려면 그에 상응하는 더 많은 수의 파라미터 필요 - 오버피팅을 초래할 수 있음 - 차원을 감소하기 위한 방법 중 하나가 pooling layer * Global Average Pooling Layer (GAP) - 각 feature map 상의 노드 값들의 평균을 계산하여 급격하게 CNN의 차원을 줄..

Minsuk Heo 허민석님의 유튜브 강의 "트랜스포머 (어텐션 이즈 올 유 니드)"를 듣고 정리한 내용입니다. https://www.youtube.com/watch?v=mxGCEWOxfe8 * Transformer 가장 큰 특징 - Encoder / Decoder 기반 - RNN 사용 안함 - 병렬화 * 전통적인 RNN based Encoder / Decoder - context vector는 고정된 크기를 가짐 * RNN based Encoder / Decoder with attention - 고정된 크기의 context vector 사용하지 않음 - 대신 단어 하나씩 번역할 때마다 동적으로 encoder 출력값에 attention mechanism 수행하여 효율적으로 번역 - 긴 문장 번역 성능 개..