토지피복 분류를 위한 멀티 모달 모델의 활용 가능성 평가

심우담1*, 이정수1

(1강원대학교 산림경영학과)

Evaluation of the Potential Use of Multimodal Models
for Land Cover Classification

Woo-Dam Sim1*, Jung-Soo Lee1

(1Department of Forest Management, Kangwon National University)

요약: 토지피복 분류는 원격탐사 및 지리정보시스템 분야에서 중요한 과제로, 최근 인공지능 기술의 발전과 함께 딥러닝과 머신러닝 기법을 활용한 연구가 활발히 진행되고 있다. 초기에는 주로 CNN(Convolutional Neural Network) 기반의 딥러닝 알고리즘이 사용되었으나, 2020년 이후 Transformer 구조를 기반으로 한 알고리즘으로 연구 방향이 확장되고 있다. 또한, 최근에는 다양한 데이터 유형을 통합적으로 처리할 수 있는 멀티모달 모델(Multimodal Model)의 활용이 증가하고 있는 추세이다. 멀티모달 모델은 이미지, 텍스트, 음성 등 여러 유형의 데이터를 동시에 학습하여 각기 다른 데이터 형태의 시너지 효과를 통해 더 포괄적이고 정교환 정보 표현이 가능하다. 본 연구는 멀티 모달 모델 중 대표적으로 이미지와 텍스트 간의 관계를 학습한 CLIP 모델을 활용하여 토지피복 분류를 수행하였으며, 모델의 성능 평가를 위해 CNN 구조의 대표적인 모델인 Unet과 Transformer 구조의 대표적인 모델인 Segformer 기반의 토지피복 분류를 수행하여 모델 별 성능을 비교·평가하였다. 본 연구의 결과는 멀티모달 모델을 활용한 토지피복 분류 방법의 성능과 한계를 제시하며, 향후 토지피복 분야에서 멀티모달 AI 모델의 활용 가능성에 대한 중요한 시사점을 제공할 것으로 기대된다.

Abstract: Land cover classification is a critical task in remote sensing and geographic information systems. Recent advancements in artificial intelligence have led to a surge in research utilizing deep learning and machine learning techniques in this field. While Convolutional Neural Networks (CNNs) initially dominated, post-2020 has seen a shift towards Transformer-based architectures. Furthermore, there is a growing trend in the application of multimodal models capable of integrating diverse data types.

Multimodal models simultaneously process various modalities such as imagery, text, and audio, leveraging synergies between different data forms to generate more comprehensive and sophisticated information representations. This study employs CLIP (Contrastive Language-Image Pre-training), a prominent multimodal model that learns relationships between images and text, to perform land cover classification.

To evaluate the performance of the CLIP-based approach, we conducted a comparative analysis with two benchmark models: U-Net, a representative CNN-based architecture, and Segformer, a state-of-the-art Transformer-based model. The land cover classification results from these three distinct approaches were systematically compared and evaluated. This research aims to elucidate both the potential and limitations of multimodal models in land cover classification. The findings are expected to provide valuable insights into the future applicability of multimodal AI models in the domain of land cover analysis, potentially opening new avenues for integrating diverse data sources in remote sensing applications.