WFR 기반 개도국 MRV 역량 평가를 위한 자동화 시스템 개발
: 다국어 RAG 기반으로

김민정1*, 한지연1, 최은호1

(1국립산림과학원 산림전략연구과)

Automated MRV Capacity Assessment System for Developing Countries under WFR: A Multilingual RAG-Based Approach

Minjeong Kim1*, Jiyeon Han1, Eunho Choi1

(1Forest Strategy Research Division, National Institute of Forest Science)

요약: 개도국은 REDD+ 활동 이행을 통해 온실가스 배출 감축실적(ER)을 공인받고 이 결과를 기반으로 재정적인 인센티브를 받기 위해 노력하고 있다. 실제 인센티브를 받기 위해서는 WFR이 요구하는 MRV 체계 구축이 필요하고, 국제감축실적을 확보해야 하는 우리나라의 입장에서 효과적인 감축사업을 위해 MRV 역량이 높은 국가를 선별하는 객관적 평가가 필요하다. 현재는 수백 페이지의 다국어 기술문서를 전문가가 수작업으로 검토하여 시간과 비용이 과다하게 소요된다. 이를 위해 대규모 언어모델(LLM) 기반 평가가 시도되고 있으나 모델의 사전 지식과 문서 내용이 혼합되어 평가 근거의 신뢰성이 낮다는 한계가 있다. 본 연구는 제출 문서에만 근거한 MRV 역량 자동 평가 시스템을 설계하고, 평가 점수와 근거 문장을 명시하는 프레임워크를 구축했다. 6개국의 UNFCCC 공식 문서 29개를 수집하여 영어·스페인어 데이터셋을 구축하고, RAG(Retrieval-Augmented Generation) 구조를 적용해 검색된 문서 내용만을 입력으로 사용하여 Gemini 기반 생성형 AI로 평가했다. 연구 결과, 자동 평가 시스템은 전문가 평가와 약 61%의 전체 일치율을 보였으며, 보고된 가스(100%) 및 배출계수(83.3%)와 같이 명시적으로 기술 정보가 포함된 항목에서 높은 일치도를 확인했다. 반면 활동자료(16.6%) 및 제출한 보고서 간의 산림 정의의 일관성(16.6%)과 같이 시각 정보 해석이나 여러 문서 간 교차 검증이 필요한 항목에서는 낮은 일치율을 보였다. 본 연구는 문서 근거 기반 MRV 역량 평가 자동화의 가능성을 실증했으며, 향후 시각 요소 분석 기능 강화와 문서 간 일관성 검증 알고리즘 개선을 통해 REDD+ 협력사업 발굴을 위한 지원 도구로 활용될 수 있을 것으로 기대된다.

Abstract: Developing countries seek financial incentives by obtaining certified emission reductions (ER) through REDD+ activities. This requires establishing MRV systems under WFR, and Korea needs objective assessment to identify high-MRV-capacity nations for effective mitigation projects. Current assessment involves manual expert review of hundreds of pages of multilingual documents, incurring excessive time and cost. While LLM-based assessments have been attempted, they lack reliability as model knowledge mixes with document content. This study designed an automated MRV capacity assessment system based solely on submitted documents, establishing a framework specifying scores and supporting evidence. We collected 29 UNFCCC documents from 6 countries to build an English-Spanish dataset and applied RAG (Retrieval-Augmented Generation), using only retrieved content as input for Gemini-based evaluation. Results showed 61% agreement with expert assessments, with high concordance in items with explicit technical information such as Reporting on Gases (100%) and Emission Factors (83.3%). Items requiring visual interpretation or cross-document verification, such as Activity Data (16.6%) and Consistency of forest definition across reports (16.6%), showed low agreement. This study demonstrated feasibility of document-grounded MRV assessment automation and can serve as a support tool for identifying REDD+ projects through future enhancements in visual analysis and cross-document verification algorithms.

사사: 본 연구는 국립산림과학원 일반연구과제(FM0800-2021-03-2025) 지원에 의해 이루어진 것임.