bottomup, topdown

*Bottom-up pathway (상향식 과정)
-FPN의 상향식 경로는 다양한 공간 해상도 또는 스케일에서 입력 이미지에서 특징을 추출하는 역할
-일반적으로 계층적 방식으로 이미지를 처리하는 ResNet 또는 VGG와 같은 CNN(컨볼루션 신경망) 백본으로 구성되어 채널 수를 늘리면서 점차 공간 차원을 줄입니다
-상향식 경로는 다양한 공간 해상도로 일련의 기능 맵을 생성합니다. 
여기서 하위 수준 기능 맵에는 더 세분화된 세부 정보가 포함되고 상위 수준 기능 맵은 더 추상적이고 의미론적인 정보를 캡처합니다. 이러한 기능 맵은 백본 네트워크의 여러 단계 또는 계층에서 얻습니다.

- 원본 이미지를 convolutional network에 입력하여 forward pass를 수행하고, 각 stage마다 서로 다른 scale을 가지는 4개의 feature map을 추출합니다
-상향식 과정에서는 Backbone ConvNet의 Feedforward 계산
-즉, 위로 올라가는 forward 단계 에서는 매 레이어마다 의미 정보를 응축하는 역할
-깊은 모델의 경우 가로, 세로 크기가 같은 레이어들이 여러개 있을 수 있는데 이 경우에 같은 레이어들은 하나의 단계로 취급해서 각 단계의 맨 마지막 레이어를 skip-connection 에 사용


*Top-down pathway (하향식 과정)
-각 feature map에 1x1 conv 연산을 적용하여 모두 256 channel을 가지도록 조정하고 upsampling을 수행
-FPN의 하향식 경로는 물체 감지 또는 분할 작업을 위해 다중 스케일 기능을 결합하고 개선하는 메커니즘을 제공하여 상향식 경로를 보완
-상향식 경로에서 얻은 가장 높은 해상도의 특징 맵에서 시작하여 하위 수준 특징 맵의 해상도와 일치하도록 점진적으로 업샘플링합니다.

-하향식 과정에서는 많은 의미 정보들을 가지고 있는 특징 맵을 2배로 업샘플링(Up-sampling) 하여 더 높은 해상도의 이미지를 만드는 역할을 수행한다.
-여기서 skip-connection을 통해 같은 사이즈의 bottom-up 레이어와 합쳐서 손실된 지역적 정보를 보충하게 된다. 

-하향식 경로에서 각 업샘플링 단계 뒤에는 측면 연결이 이어지며, 여기서 업샘플링된 기능 맵은 상향식 경로의 해당 하위 수준 기능 맵과 결합됩니다.
 이 조합은 일반적으로 요소별 추가 또는 연결을 통해 이루어지며, 상위 수준의 의미론적 정보와 세분화된 세부 정보의 융합을 가능하게 합니다.
-업샘플링 및 측면 연결을 반복적으로 적용함으로써 하향식 경로는 상향식 경로의 높은 수준의 의미 체계와 공간 세부 정보를 모두 유지하는 일련의 기능 맵을 생성합니다. 
 이 계층적 기능 맵 집합을 사용하면 다양한 규모에서 효과적인 개체 감지 또는 세분화가 가능합니다.


=>  FPN의 상향식 경로는 여러 척도에서 기능을 추출 (특징 추출)
=> 하향식 경로는 업샘플링 및 측면 연결을 통해 이러한 기능을 결합하고 개선 (물체 감지, 분할)
=> residual connection을 통합하여 네트워크가 하위 수준 정보와 상위 수준 정보 모두에서 이점을 얻을 수 있도록 합니다
=> 이러한 경로는 함께 다중 스케일 기능 표현을 가능하게 하고 물체 감지 및 분할과 같은 작업의 성능을 향상시킴