합성곱신경망 및 Class Activation Mapping을 활용한 42개 수종의

수피 기반 동정 및 핵심 분류 특징 도출

김태경1*, 백규헌1, 김현석1,2,3,4

(1서울대학교 산림과학부, 2서울대학교 협동과정 농림기상학, 3서울대학교 농생명과학연구원, 4국가농림기상센터)

Identifying and extracting key features from bark images of 42 tree species using convolutional neural networks and class activation mapping

Tae Kyung Kim1, Gyu Heon Baek1, Hyun Seok Kim1,2,3,4

(1Program in Forest Environmental Sciences, Seoul National University,

2Interdisciplinary Program in Agricultural and Forest Meteorology, Seoul National University,

3Institute of Future Environmental and Forest Resources, Seoul National University,

4National Center for Agro Meteorology)

요약: 수목의 분류를 위해 활용될 수 있는 여러 기관 중, 수피는 계절에 따른 변화가 적고 접근이 비교적 쉽다는 장점이 있기에, 수피 한 가지만을 활용하여 수목을 동정하는 기계학습 기반의 연구가 최근 늘어나고 있다. 이전 연구들에서 22 ~ 53종의 수종에 대하여 90% 이상의 수피 분류 정확도를 달성하여 사람의 정확도를 능가하였다고 판단되나, 복잡한 질감(Texture)의 연속으로 이루어진 수피 사진들에 대해 실제로 기계가 어떠한 과정을 거쳐 성공적으로 분류를 수행하는지는 제대로 다뤄지지 않았다. 기존 연구들에서 주로 활용되는 기계학습 알고리즘은 이미지 처리 및 분류에 월등한 성능을 보이는 합성곱신경망(Convolutional Neural Network, CNN)으로, 복잡한 구조를 가진 신경망의 근본적 특징상 그 내부의 작동 과정을 살펴보기는 어렵다. 하지만, 최근 활발히 연구되고 있는 Class Activation Mapping (CAM) 기법의 등장으로, CNN의 각 예측 결과에 대해 신경망이 주목한 영역을 파악할 수 있게 되었다. 본 연구에서는 기존과 다른 방식으로 학습시킨 가장 좋은 성능의 모델과 데이터셋을 구축하고, 이에 CAM 기법을 적용하여, 수피 동정 시 CNN이 실제로 주목하는 영역들을 추출하고 각 수종별로 분류에 핵심이 되는 특징들을 선정하였다. CAM 기법의 경우, Global Average Pooling이 적용되지 않은 모든 일반적인 CNN에 적용할 수 있는 Grad-CAM, 그리고 Grad-CAM++ 기법을 42개 수종의 수피 이미지로 학습시킨 EfficientNetB7과 VGG-16 모델에 적용하였다. EfficientNetB7과 VGG-16 모델 모두 총 70번 이상의 반복 학습 이후에 92% 대의 최고 정확도를 달성할 수 있었다. 두 가지 모델에 대하여 CAM 기법을 적용하고 추출된 영역에 대하여 여러 가지 영상 기반의 Hand-crafted feature를 계산하여, 이를 다시 Decision Tree 알고리즘으로 분류하여 검색표를 도출하였다.

Abstract: Among the various organisms that can be used for the classification of trees, the bark has the advantage of being relatively easy to access and possesses less change according to the season. Consequently, machine learning-based research that only utilize bark images to identify trees is increasing recently. In previous studies, the bark classification accuracy have been achieved over 90% for 22 to 53 tree species, indicating the better performance of machines than humans. However, the features that machines utilized for classifying bark images with complex textures remain veiled. The machine learning algorithm mainly used in the previous studies is convolutional neural network (CNN) that shows superior performance in image processing and classification. Despite the superior performances that CNNs show, fundamental characteristic as a ‘black-box’ hinder us from inspecting the detail inside CNNs. However, with the invention of the Class Activation Mapping (CAM) methods, which has been actively researched recently, it is possible to grasp the area where the CNN ‘pays attention’ for each prediction results. In this study, the state-of-the-art CNNs where trained and tested in a novel method, and CAM techniques were applied to introduce a identification key using bark image features. For CAM methods, Grad-CAM and Grad-CAM++, which can be applied to all general CNNs without Global Average Pooling layer were adopted and applied to EfficientNetB7 and VGG-16 models. Both the EfficientNetB7 and VGG-16 models achieved the highest accuracy of 92% after more than 70 epochs. The CAM technique was applied to these two models, and hand-crafted image features were calculated for the extracted regions, and the identification keys were derived by re-classifying them using the decision tree algorithm.