딥러닝 연구의 초점

직관을 바탕으로 아이디어를 전개해야 한다.

 

사전 정보를 적절히 심어주는 것이 중요하다.

 

이를 통해 정보의 흐름을 원활하게 만들고 학습을 효율적으로 유도할 수 있다.

 

정보를 어떻게 엮을 것인가?

• CNN (Convolutional Neural Network): 위치가 가까운 픽셀들을 우선적으로 고려하고, 멀리 있는 정보는 정제하여 조합하는 방식으로 패턴을 학습한다.
• 트랜스포머 (Transformer): 단어들 간의 관계 정보를 파악하여 번역과 같은 자연어 처리 작업을 수행한다.
•  

Skip Connection이란?

불필요한 연산 과정을 생략하고, 중요한 정보만 바로 전달하는 구조를 의미한다. 수식적으로 표현하면, 입력값을 , 함수 를 적용한 결과를 라 할 때, 기존 네트워크에서는 형태로 연산이 이루어진다. 하지만 ResNet에서는 형태로 Skip Connection을 추가하여 정보가 직접 전달될 수 있도록 한다.

 

예를 들어, 입력값이 3이고 함수 를 거쳐 3.1이 되었다면, 학습해야 할 변화량은 0.1에 불과하다. 이러한 방식을 통해 네트워크는 작은 차이만을 학습하게 되어 더욱 효율적인 학습이 가능해진다. 즉, 이전 레이어와 다음 레이어의 연결을 유지하면 학습이 쉬워진다는 것이 핵심이다.

Loss 함수 선택

• 회귀 문제: Mean Squared Error (MSE) 사용
• 분류 문제: 출력이 확률 분포이므로 Cross-Entropy 사용

결론적으로, 모델 학습을 효과적으로 수행하기 위해서는 사전 정보를 적절히 심어주는 것이 중요하다. 이를 통해 네트워크가 더 빠르고 안정적으로 최적의 결과를 도출할 수 있다