Journal of Korean Society of Agricultural Engineers. 2024. 59–70
https://doi.org/10.5389/KSAE.2024.66.6.059

ABSTRACT


MAIN

Ⅰ. 서 론

우리나라의 주요 곡물인 쌀은 최근 10년간 (2012~2021년) 연평균 0.4% 감소하였지만 2022년 양곡 연도 1인당 연간 쌀 소비량은 2012년의 69.8 kg에 비해 20% 감소한 55.6 kg으로 보고되고 있으며, TQR (tariff quota rate) 밥쌀용 쌀의 판매 규모를 축소하는 등의 배경에 따라 기말재고율 (총수요량 대비 재고량)은 34%로 유지하고 있어, 쌀 생산량에 대한 우려는 거의 없는 것으로 보고되고 있다 (Cho et al., 2023). 다만, 쌀 가격은 2022년 초 50,889원/20 kg였던 쌀 가격이 9개월 후 40,393원/20 kg까지 하락하는 현상이 발생한 바 있으며 현재에도 쌀 가격의 하락은 지속되는 추이를 나타내고 있다 (MAFRA, 2023).

쌀의 생산량과 대조적으로 우리나라의 최근 3개년 (2021~2023) 평균 곡물 자급률을 19.5%로 보고되고 있으며 (Kim et al., 2024), 2021년 기준 밀, 옥수수 및 콩의 자급률은 각각 1.1%, 4.2% 및 23.7%로 기록되고 있다. 2022년 기준으로 식용 밀, 옥수수 및 콩의 가격 상승률은 2021년 대비 각각 39.5%, 29.2% 및 18.5%로 나타났으며, 사료용 곡물의 가격 상승률은 각각 20.6%, 31.3% 및 17.8%로 나타났다. 특히, 콩의 경우 낮은 가격 상승률일지라도 타 곡물보다 높은 단가로 책정되어 있어 수입의 부담은 높은 것으로 보고되었다. 이와 함께, 우리나라는 육류 소비 증가로 대두의 사료용 소비가 증가함에도 대두 생산 현황은 2020년부터 2022년까지 8.1만톤에서 13만톤으로 증가하는 추세를 보이고 있지만 우리나라의 대두 생산량은 전세계 생산량 3억 4885만 6천톤 대비 거의 0% 수준으로, 대두의 실제 생산량은 매우 저조하게 나타나고 있다.

이에, 농림축산식품부는 ‘2023년 쌀 적정생산대책’을 발표하고 구조적인 공급과잉 문제를 해결하기 위해 벼 재배면적 축소 및 ‘논타작물’ 지원 강화와 같은 방안을 통해 적정 쌀 생산 및 쌀 가격 안정화를 달성하고자 하였다. 또한, 논에서 밥쌀용 벼 재배를 대체하여 쌀 수급 안정 및 논 이용률을 높이기 위한 목적과 밀⋅콩⋅가루쌀과 같은 전략 작물들의 생산 자급률 증진과 높은 수입 의존성 문제를 해결하기 위해 ‘전략작물직불제’를 도입한 바 있다. 이와 같은 정부의 정책에 대한 영향으로 전략 작물의 재배면적은 증가하는 추세로 전환되었으며, 특히 전략 작물 중 논콩 (대두)의 재배면적이 급증하는 것으로 나타났다.정부가 추진하는 ‘논타작물’ 및 ‘전략작물직불제’ 등의 정책이 효과적이며, 실질적 성공으로 이행되었는지 확인할 필요성이 있고, 보다 빠른 수출입 계획을 통해 작물의 가격 안정을 위해서 작물 재배면적의 조기 파악이 우선되어야 한다. 이를 위한 방법으로 한국농업기술진흥원의 종자 구매 신청 정보 및 해당 농민의 보유 토지 정보 등을 이용하여 작물의 재배면적을 추정할 수는 있지만, 실제 파종으로 이어지는 것에 대한 확실성이 부족하기에 신뢰성 문제가 발생할 수 있다. 또한, 사람이 직접 작물 재배면적을 파악하고자 하더라도 많은 인력과 예산은 불가결한 문제이며, 설사 시행된다고 하더라도 적절한 시기에 신뢰성 있는 자료의 획득은 보장하기 어렵다.

이에 대한 대안으로 대상 물체나 현상에 대한 물리적이거나 밀접한 접촉 없이 기록 장치를 이용하여 어떠한 특성을 측정하거나 정보를 습득할 수 있다는 장점이 있는 위성 영상 및 무인항공기와 같은 원격탐사 기법을 제안할 수 있다 (Colwell, 1983). 원격탐사 기법은 현재 많은 분야에서 활용되고 있으며, 근래에는 Deep learning 분야 중 하나인 컴퓨터 비전 (computer vision, CV) 알고리즘과 융합되어 객체의 탐지, 분류, 패턴 및 데이터 해석에도 응용되고 있다. 이와 관련하여 원격탐사와 CV는 농업에서도 활용되고 있는데, Seong et al. (2020, 2021, 2024)이 인공위성 영상 기반으로 우리나라의 양파와 마늘의 재배면적을 추정을 위해 FC-Densenet 및 FC-Densenet의 기반 개발된 모델을 활용하였으며, Choi et al. (2020)은 무인기 기반 RGB 영상으로 고추, 쌀, 옥수수, 아마란스 등 다중 분류를 진행하기 위해 Unet 알고리즘을 활용한 바 있다. 또한, Shin et al. (2021)은 무인기 기반 RGB 영상과 딥러닝 알고리즘인 Attention Unet을 활용하여 옥수수 재배면적 파악을 위한 연구를 수행한 바 있다. 여러 선행 연구와 같이 원격탐사와 CV의 융합 방법론은 주로 밭작물의 분류에 활용된 것으로 파악할 수 있으나, 논 작물인 벼와 밭작물을 구분하는 연구는 부족하다는 것도 알 수 있다.Hong et al. (2022)는 Sentinel-2 위성영상과 식생지수로 논벼와 동계작물 분류를 진행하였다. 선행 연구 중 Unet은 256×256 또는 512×512 등 특정 크기로 샘플링한 이미지를 모델의 입력 데이터로 사용하는 방식이며, 샘플링 된 데이터를 모델의 입력하는 CV 알고리즘 중 DeepLabv3+은 backbone 네트워크를 통해 이미지의 특징을 추출할 수 있는 장점이 있고, 기존 Unet 모델보다 우수한 성능을 나타낸다 (Lee and Kwak, 2023).

이에, 본 연구에서는 고해상도 무인기 영상과 CV 알고리즘 중 backbone을 활용하여 특징을 추출하는 장점이 있는 DeepLabv3+을 활용하여 논 작물인 벼와 논콩 분류 방법론을 개발하고자 한다. 이를 통해 재배면적 조사 방법론을 개선하고자 하며, 정부가 추진하는 ‘논타작물’ 및 ‘전략작물직불제’ 등의 농업정책이 실질적 성공으로 이어지는 데에 기여하고자 한다.

Ⅱ. 연구 재료 및 방법

본 장의 이해를 돕기 위해 연구 개요를 다음과 같이 설명하고자 한다. 우선, 연구 재료를 확보하기 위해 대상 지역의 시기별 파종 현황 자료를 총 4회 드론 촬영을 통해 수집하였다. 이후 수집된 자료를 CV 알고리즘에 반영하기 위해 수집된 자료의 이미지 전처리를 수행하였다. 여기서 CV 알고리즘의 훈련 종료는 ‘논콩 분류 모형’ 개발 완료와 같은데, 이 모형의 성능을 검토하기 위해 연구 대상을 2개 지역으로 구분하였다. 1개 지역은 CV 알고리즘의 훈련 목적을, 나머지 1개 지역은 ‘논콩 분류 모형’의 성능 검토 목적을 가진다. 끝으로 ‘논콩 분류 모형’의 성능을 정량적으로 평가하기 위해 평가 함수들을 사용하였으며, 연구의 전체 흐름도는 Fig. 1과 같다.

https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC1649.png
Fig. 1

Research flow chart of this study

1. 연구 대상 지역 및 자료 수집 시기

연구 대상은 전라북도 김제시 죽산면 종신리로 계획하였다 (Fig. 2). 연구 대상은 전략 작물인 논콩 재배면적이 확대되고 있는 대표 지역 중 하나로, 본 연구의 주제에 적합하다고 판단하였다. 노지 밭작물의 경우 단모작과 이모작 등 작물의 작부체계에 따라 파종 시기는 상이하게 분포하며, 작물 생육 기간 동안 필지별 작물 생육 정도가 다르게 나타난다. 시기별 드론 영상 자료를 활용하여 파종 현황에 따라 작물 분류를 하고자 하였으며, 자료 수집 시기를 Table 1과 같이 2024년 5월 24일, 2024년 6월 11일, 2024년 6월 20일 및 2024년 6월 28일로 총 4개 시점으로 구분하여 드론 촬영을 진행하였다. 라벨 이미지 작성을 위해서 농림수산식품교육문화정보원에서 제공하는 팜맵을 이용하였으며, GIS를 활용하여 Soybean, Paddy, Background (양식장 및 휴경지, 필지 외 영역)로 구분하여 시기별 필지 단위 작물 라벨링을 진행하였다. 연구 대상지의 시기별 파종 현황은 Fig. 3과 같다.

Table 1

Crop sowing ratio in study area

Crop TypeCrop sowing ratio by drone shooting period
24 May 202411 June 202420 June 202428 June 2024
LotRatio (%)LotRatio (%)LotRatio (%)LotRatio (%)
Soybean3013117511436314664
Paddy3917703174337533
Others15870401810463
Total227100227100227100227100
https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC1669.png
Fig. 2

Location of study area

https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC1699.png
Fig. 3

Status of sowing over time

2. 자료 수집 방법

자료 수집은 드론 촬영 방법을 활용하였으며, 드론은 고정익 무인기인 eBee classic를 이용하였다. 무인기의 탑재된 센서는 RGB (Red, Green, Blue) 카메라 (S.O.D.A digital camera)를 사용하였으며 (Fig. 4), emotion3 프로그램을 활용하여 비행경로를 지정하였다. 횡중복도 60%, 종중복도 75%로 하였으며, 해상도 6.5 cm/px을 기준으로 진행하였다.이후 수집된 영상은 Pix4D 프로그램을 활용하여 촬영된 영상의 정합을 진행하였다.

https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC16C9.png
Fig. 4

Unmanned aerial vehicle and camera sensor for video recoding in this

3. 데이터 전처리

‘논콩 분류 모형’을 개발하기 위해서는 CV 알고리즘을 훈련시켜야 한다. 이를 위해서는 수집된 영상이 CV 알고리즘으로 주입될 수 있도록 적절한 처리가 선행되어야 하는데, 취합된 영상이 가지는 수치정보 (pixel value)를 정규화하는 것이 일반적이다. 본 연구에서는 앞서 언급한 바와 같이 RGB 센서를 이용하여 영상을 수집하였는데, 여기서 RGB는 각 밴드별로 0-255 범위의 pixel value를 갖고 있어, 255를 기준으로 정규화를 시행하였다.

또한, 정규화된 이미지와 라벨 이미지를 CV 알고리즘과 컴퓨터 성능을 고려하여 픽셀 크기를 0.5 m로 다운 샘플링한 후 256×256 크기로 샘플링 하였다. 여기서 라벨 이미지는 수집된 영상의 공간적 정보에 대한 답안지 성격을 가진 자료로 지도학습 (supervised learning)에 의해 훈련되는 CV 알고리즘에는 필수 자료이다. 이렇게 샘플링 된 영상 자료와 라벨 이미지는 하나의 데이터셋으로 구축하여 CV 알고리즘 학습에 활용하였다. 또한, 일반적으로 CV 알고리즘과 같은 deep learning 알고리즘은 방대한 자료를 요구하는데, 본 연구에서는 데이터 부족이라는 한계가 있어, 데이터 증강 (augmentation) 기법을 사용하였으며 모형 성능에 방해가 되는 과적합 현상을 방지하고자 하였다.연구 대상지의 24년 5월 24일 시기에는 데이터가 배경 (background)로 편항되어 있음을 확인할 수 있다. 해당 시기에는 모델이 배경으로 오분류하여도 좋은 결과를 나타낼 수 있어 이를 고려한 데이터 증강이 필요하다. 본 연구는 회전 (rotation)을 활용한 데이터 증강을 진행하고자 하며, 편향된 데이터를 회전을 통한 증강을 진행하면 데이터 증강 전⋅후에 재배면적 비율 차이가 더욱 편향될 수 있다. 본 연구에서는 256×256 크기의 타일 (tile) 내의 논콩 또는 논이 존재하면 해당 타일을 90°, 180°, 270° 회전을 통한 데이터 증강하였으며, 증강 전후 데이터셋 변화는 Table 2와 같다.

Table 2

Cultivation area and number of tiles before and after augmentation

TypeBefore and after data augmentation by period
24 May 202411 June 202420 June 202428 June 2024
BeforeAfterBeforeAfterBeforeAfterBeforeAfter
Area (ha)Back ground339545220473200396197387
Soy bean1039119474139556141564
Paddy520156115611662
Ratio (%)Back ground9690624757395638
Soy bean37344739554056
Paddy13464646
Tiles (256×256)216369216615216618216618

Fig. 5에서 나타난 바와 같이 훈련 면적 (training area)을 CV 알고리즘 학습을 위한 데이터 범위로 사용하였으며, 학습된 CV 알고리즘에 의해 도출된 ‘논콩 분류 모델’의 성능을 평가하기 위해 Fig. 5의 평가 면적 (test area)의 데이터를 활용하였다.

https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC16D9.png
Fig. 5

Classification of the training and test area for the model development

4. Atrous convolution 연산

CV 알고리즘의 핵심인 합성곱 (convolution) 연산은 일반적으로 이미지의 특징을 추출해 객체 탐지 및 이미지 분류 등을 효과적으로 수행할 수 있게 하나, CV 알고리즘 훈련에 사용되는 일반적 이미지의 크기보다 더 큰 이미지를 사용할 경우에는 원활한 훈련 결과를 담보할 수 없다. 예를 들어, 규모가 큰 이미지를 합성곱 신경망 (convolution neural network)과 같은 기존 CV 알고리즘에 적용할 경우 알고리즘의 훈련 과정에서 이미지를 분해하여 이미지 내 객체의 공간적 정보 또는 이미지의 특징을 추출하기 어렵게 하고 정보를 손실시킨다 (Chen et al., 2017b). 이에 대한 대안으로 atrous (dilated 또는 hole) 합성곱 (convolution) 연산을 제안할 수 있다.

Fig. 6는 기존 합성곱 연산 (Fig. 6 (a))과 atrous 합성곱 연산 (Fig. 6 (b))의 개념을 보여준다. 기존 합성곱 연산은 커널 (kernel) 사이의 간격을 1로 설정하기 때문에 이미지 특징을 근접한 거리에 있는 정보만 추출할 수 있어 정보손실 문제를 발생시킬 수 있는 한계를 가진다. 이와 달리 atrous 합성곱 연산은 필터 내부의 빈 공간을 삽입하여 더 넓은 수용 영역 (receptive field)을 탐색할 수 있게 설계되어 있으며, Fig. 6 (b)와 같이 atrous 합성곱 연산의 커널 사이 간격을 2로 설정함으로 기존 합성곱 연산보다 넓은 수용 영역의 정보 추출을 가능하게 한다.

https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC1719.png
Fig. 6

Comparison of convolution and atrous convolution algorithm

5. DeepLabv3+ 알고리즘 및 매개변수 설정

앞서 언급한 기존 CV 알고리즘의 한계로 인해 본 연구에서는 atrous 합성곱 연산을 도입한 DeepLabv3+ (Chen et al., 2018)가 연구 수행에 적합하다고 판단하였다. DeepLab 모델은 atrous convolution과 connected conditional random fields (CRFs)를 도입한 DeepLabv1 모델 (Chen et al., 2014)이 atrous spatial pyramid pooling (ASPP) 방법을 적용하여 DeepLabv2로 개선되었으며, 다양한 atrous rate를 적용하여 DeepLabv3로 개선되었다 (Chen et al., 2017a). DeepLabv3+는 DeepLabv3 모델의 디코더 모듈을 추가하여 개선된 모델로, Fig. 7과 같이 의미론적 분할 (semantic segmentation)의 효율성을 상승시키기 위해 병렬 atrous 합성곱 연산을 병렬 구조로 설계함에 따라 더 많은 스케일의 정보를 확보할 수 있는 장점이 있다 (Yu and Koltun, 2015). DeepLabv3+는 Encoder 파트와 Decoder 파트로 구분되며, Encoder는 원 이미지가 atrous 합성곱 연산을 통과하여 저해상도 특징을 추출하고, 동시에 atrous 합성곱 연산과 ASPP를 통과하여 고해상도 특징을 추출하는 기능을 담당한다. Decoder는 Encoder에서 출력된 저해상도 및 고해상도 정보를 결합하여 예측 결과를 도출하는 기능을 수행한다. DeepLabv3+의 전체 구조는 Fig. 7과 같다.

https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC1739.png
Fig. 7

Structure of DeepLabv3+ algorithm

알고리즘의 훈련을 위해서는 여러 매개변수 조정들이 필요하며, 이러한 매개변수 설정의 영향으로 훈련된 모델의 성능이 달라질 수 있다. 본 연구에서는 연구자료의 이미지 크기, 합성곱 알고리즘의 계산 요구량 및 컴퓨터 성능 등을 고려하여 각 매개변수를 설정하였다. DeepLabv3+ 알고리즘에 적용된 매개변수는 최적화 함수는 adam, 배치 크기는 8, 학습률은 0.0001, 손실 함수는 Cross entropy를 사용하였다 (Table 3). 알고리즘 훈련을 위한 전체 Epoch는 200으로 진행하였지만, 훈련된 알고리즘에 의해 도출된 모형이 과도한 학습으로 인해 검증 데이터에 대해서는 낮은 성능을 보이는 과적합 현상 (over-fitting)을 방지하기 위해 모델 학습이 진행되는 과정에서 Epoch가 20번 반복되는 동안 검증 손실이 감소되지 않을 경우 모델 학습이 조기 종료 (early stopping)가 되도록 진행하였다. 이와 함께 DeepLabv3+의 backbone을 Resnet50으로 설정할 경우 더 좋은 모델의 성능이 보고 되고 있어 (Atik et al., 2022) 본 연구에서도 동일하게 적용하였다. 이를 위해 DeepLabv3+ 알고리즘 구현, 훈련 및 검증 등은 딥러닝 개발에 최적화 된 PyTorch 기반의 framework에서 수행하였다.

Table 3

Algorithm parameter of this study

ParameterValue
Optimizeradam
Batch size8
Learning rate0.0001
Loss functionCross entropy
Epoch200
Early stopping20
FrameworkPyTorch
BackboneResnet50

6. DeepLabv3+ 모델의 성능 평가

딥러닝 분야에서는 모델과 알고리즘을 혼용해서 사용하는 경우가 많아 혼란을 초래하는 경우가 많아, 본 연구에서는 딥러닝 분야에서 일반적으로 사용하는 개념을 도입하여 알고리즘과 모델을 구분하고자 한다. 본 연구에서 기술된 알고리즘의 의미는 불특정 인공신경망 분야에서 특정 목적 또는 연구 등에 의해 개발된 연산법을 의미하는 것이며, 모델이 의미하는 바는 특정 알고리즘을 본 연구에 맞게 학습시킨 결과물로 구분한다. 예를 들어 DeepLabv3+ 알고리즘은 이미지의 의미론적 분할을 위해 개발된 연산법을 의미하며, DeepLabv3+ 모델은 DeepLabv3+ 알고리즘을 훈련 시켜 도출된 결과물이다.

의미론적 분할이라는 결과를 도출하는 DeepLabv3+의 모델 성능을 평가하고자 할 경우, 일반적으로 픽셀 단위로 평가하는 방법을 사용한다. 이와 관련한 평가 방법은 Table 4와 같이 혼동행렬 (confusion matrix)을 사용하여 평가할 수 있으며, 이는 실제 클래스와 예측된 클래스의 픽셀 단위 매칭을 통해 분류 모델을 평가하는 방식이다. 각각 True Positive (TP), False Positive (FP), False Negative (FN), True Negative (TN)을 의미하며 (Tong et al., 2021), TP는 실제 클래스가 A이고 모델이 A로 예측한 샘플을 의미하며, FP는 실제 클래스가 B이고 모델이 A로 예측한 샘플을 나타낸다. 또한, FN은 실제 클래스가 A이고 모델이 B로 예측한 샘플을, TN은 실제 클래스가 B이고 모델이 B라고 예측한 샘플을 나타낸다. 이러한 방법으로 모델의 성능을 수치적으로 평가할 수 있으며, 식 (1), (2), (3), (4), (5)와 같이 평가 지표로 정확도 (accuracy), 정밀도 (precision, P), 재현율 (recall), F1-score 및 Kappa coefficient를 사용하였다.

Table 4

Example of confusion matrix

ContentsClassification result
TrueFalse
Ground truth dataTrueTP (true positive)FN (false negative)
FalseFP (false positive)TN (true negative)
(1)
OverallAccuracy=TP+TNTP+TN+FP+FN
(2)
Precision=TPTP+FP
(3)
Recall=TPTP+FN
(4)
F1-score=2×Precision×RecallPrecision+Recall
(5)
Kappacoefficient=Po-Pe1-Pe

여기서 https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC1779.gif는 관찰된 일치 확률 (OA)로 전체 데이터에서 실제 레이블과 모델의 예측이 일치한 비율을 나타내며, https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC177A.gif는 기대 일치 확률 (EA)로 예측이 일어날 확률을 의미한다.

Ⅲ. 결과 및 고찰

Fig. 8은 DeepLabv3+ 알고리즘이 학습을 반복하면서 위해 반복 횟수 (epoch) 증가에 따라 손실 (loss, 훈련자료와 훈련자료에 대한 예측 결과 간의 오차)의 변화를 보여준다. Fig. 8에서 나타난 바와 같이 학습이 진행되는 동안 훈련 손실 (training loss)과 검증 손실 (validation loss)이 안정적으로 0에 수렴하는 것으로 나타났다. 전체 손실이 0으로 수렴하는 과정에서 검증 손실이 훈련 손실보다 높게 나타났는데, 이러한 결과가 의미하는 바는 해당 모델이 훈련하면서 과적합 되지 않았음을 의미한다.

https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC177B.png
Fig. 8

Result of loss variation during algorithm training

훈련된 DeepLabv3+ 모델의 성능을 평가하기 위해 Fig. 5의 Test area의 자료를 활용하였으며, 모델의 평가 결과는 Fig. 9과 같이 나타났다. DeepLabv3+ 모델의 시기별 혼동행렬 결과는 Table 5와 같이 나타났으며, 이를 활용한 모델의 성능은 Table 6와 같이 나타났다. 앞서 언급한 바와 같이 드론 촬영 시기는 총 4회로 2024년 5월 24일, 6월 11일, 6월 20일 및 6월 28일의 정확도는 각각 0.94, 0.94, 0.94 및 0.95로 나타났으며, 정밀도는 0.88, 0.92, 0.93 및 0.94로, 재현율은 0.82, 0.92, 0.92 및 0.94로, F1-score는 0.82, 0.92, 0.92 및 0.94로, Kappa coeffficient는 0.94, 0.93, 0.93 및 0.94로 나타났다. 이와 관련하여 Shin et al. (2021)은 Attention Unet 기반의 옥수수 재배면적 예측 모델의 성능을 정밀도, 재현율 및 F1-score를 이용하여 나타냈으며, 이에 대한 결과를 각각 0.94, 0.96 및 0.92로 보고하였다. 또한, Seong et al. (2024)에서 SFC-Densenet_AM 모델을 적용한 결과를 나타내기 위해 정밀도, 재현율 및 F1-score를 이용하여 마늘은 각각 0.89, 0.76 및 0.82, 양파는 각각 0.66, 0.92 및 0.77로 보고하였다. 이와 같이 선행 연구와 비교할 경우, 본 연구의 모형에 대한 성능은 선행 연구와 같이 유사하거나 보다 높은 성능을 가지고 있음을 확인할 수 있다.

Table 5

Confusion matrix of crop segmentation using DeepLabv3+ model

DateConfusion matrix
TypeBackgroundSoybeanPaddy
24 May 2024Background4,949,26828,10657,755
Soybean108,532270,85613,065
Paddy144,82514,914310,919
11 June 2024Background3,309,99479,18871,987
Soybean90,7451,439,65527,139
Paddy87,42426,212765,896
20 June 2024Background2,878,47878,03255,207
Soybean75,8031,847,95920,379
Paddy63,18479,818799,380
28 June 2024Background2,861,13456,22543,148
Soybean59,2461,865,35746,455
Paddy33,88064,348868,447
Table 6

Result of DeepLabv3+ model performance using confusion matrix

DateResult of DeepLabv3+ model
Overall accuracyPrecisionRecallF1-ScoreKappa coefficient
2024.05.240.940.880.780.820.94
2024.06.110.940.920.920.920.93
2024.06.200.940.930.920.920.93
2024.06.280.950.940.940.940.94
https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC178B.png
Fig. 9

Result of crop classification using DeepLabv3+ in Test area

Table 1의 2024년 5월 24일 날짜의 파종 비율을 보았을 때, 분류하고자 하는 논콩 (soybean)과 논 (paddy) 필지의 비율이 상대적으로 저조하고 그 외 (others) 필지의 비율이 상대적으로 높은 것을 확인할 수 있으며, 이를 통해 배경 (background) 라벨의 비율이 증가하였음을 알 수 있다. 이러한 데이터의 경우 분류하고자 하는 대상 작물 (class)의 데이터 부족으로 딥러닝 모델이 상대적으로 데이터 비율이 높은 배경으로 예측하더라도 모델의 전체 정확도와 Kappa coefficient가 0.93으로 높은 성능을 나타내는 것을 알 수 있지만, 모델의 클래스별 분류 결과를 평가하는 정밀도와 재현율은 다른 시기와 비교해보면 상대적으로 낮은 결과를 나타내고 있다.

Fig. 10은 총 4회에 대한 일부 시기별 테스트 자료 (RGB image) 및 라벨 데이터 (label)와 DeepLabv3+ 모델이 예측한 결과 (prediction)를 보여준다. 2024년 5월 24일의 경우 콩의 파종이 아직 이루어지지 않았으며, 2024년 6월 11일 이미지에서부터 콩의 파종이 실시되었음을 확인할 수 있다. Fig. 8의 예측 결과에서 2024년 6월 11일, 2024년 6월 20일, 2024년 6월 28일 시기에 라벨이 배경 (background)이라고 되어있지만, 공통적으로 논 (paddy)이라고 예측하는 부분이 존재한다. 이 부분은 양식장 (aquafarm)으로, 담수상태로 존재하는 논 필지와 유사한 특성의 물 반사율을 가지고 있다. 정답을 기반으로 학습하는 지도학습 분야에서 이와 같은 데이터들은 다양한 특성을 가지고 있는 배경이 아닌 물 반사율과 같이 유사한 특성을 가지고 있는 논 필지로 오분류가 될 수 있어 모델의 학습을 방해한다고 판단할 수 있다. 하지만 2024년 5월 24일의 경우 논 필지는 관개를 통한 담수상태로 존재하지만, 이 시기에는 양식장이 논 필지로 오분류 되지 않는 것을 확인할 수 있다. 논 필지는 경지 작업 후 파종이 되어 해당 필지 내에는 식물이 존재하지 않고, 양식장의 경우에는 필지 내 서식하는 수생식물이 존재하는 차이가 있으며, 이는 단순히 물 반사율만 오분류에 영향을 주는 것이 아니라 물과 함께 존재하는 식물의 영향으로 반사율의 값이 변환되고, 이러한 특성이 유사하게 나타나 오분류의 원인이라고 판단 할 수 있다.

https://cdn.apub.kr/journalsite/sites/jksae/2024-066-06/N0740660606/images/PIC1857.png
Fig. 10

RGB image and label data, predicted results using the DeepLabv3+ model

보다 자세한 DeepLabv3+ 모델 성능을 평가하기 위해 라벨 항목별 (class)로 평가하였으며, 결과는 Table 7과 같이 혼동행렬 결과를 활용하여 나타냈다.딥러닝 모델의 결과를 작물별로 분석한 결과, 24년 5월 24일 배경의 정밀도, 재현율, F1-Score가 0.95, 0.98, 0.97 며, 논콩의 정밀도, 재현율, F1-Score는 0.86, 0.69, 0.77 고, 논의 정밀도, 재현율, F1-Score는 0.82, 0.66, 0.73으로 나타났다. 24년 6월 11일 배경의 정밀도, 재현율, F1-Score가 0.95, 0.96, 0.95이며, 논콩은 0.93, 0.92, 0.93이고, 논은 0.89, 0.87, 0.88으로 나타났다. 24년 6월 20일 배경의 정밀도, 재현율, F1-Score가 0.95, 0.96, 0.95이며, 논콩은 0.92, 0.95, 0.94이고, 벼는 0.91, 0.85, 0.88으로 나타났다. 24년 6월 28일 배경의 정밀도, 재현율, F1-Score가 0.97, 0.97, 0.97이며, 논콩은 0.94, 0.95, 0.94이고, 벼는 0.91, 0.90, 0.90으로 나타났다.

Table 7

Results of DeepLabv3+ model perfo6rmance by crop using confusion matrix

DateClassResult of DeepLabv3+ model
PrecisionRecallF1-Score
2024.05.24Background0.950.980.97
Soybean0.860.690.77
Paddy0.820.660.73
2024.06.11Background0.950.960.95
Soybean0.930.920.93
Paddy0.890.870.88
2024.06.20Background0.950.960.95
Soybean0.920.950.94
Paddy0.910.850.88
2024.06.28Background0.970.970.97
Soybean0.940.950.94
Paddy0.910.900.90

각 시기 및 라벨 항목별 모델의 성능 평가를 F1-score로 비교하면, 2024년 6월 28일의 모든 라벨 항목에서 0.90이 넘는 값을 보이며 모형의 우수한 성능을 보여준다. 하지만 파종이 본격적으로 진행되는 동년 6월 11일과 6월 20일의 경우 논의 F1-score가 0.90보다 낮은 값을 나타낸다. 이러한 이유로는 일반적으로 논콩 파종 후 고랑 관개를 통해 토양의 함수비를 높이는데, 이러한 과정이 일반 논과 유사한 공간적 특징을 가지게 된다. 즉, 논콩 필지의 물 반사율이 담수상태 논의 물 반사율과 유사하게 되어 DeepLabv3+ 알고리즘 학습에 혼란을 초래한 것으로 판단할 수 있다. 또한 2024년 5월 24일의 경우 논콩과 논 모두 F1-score가 0.80보다 작은 수치를 나타내고 있는데, 이는 Table 1의 파종 비율을 보았을 때, 해당 시기의 논콩과 논의 파종 비율 저조로 인한 이미지 내의 공간 정보가 부족하여 학습이 원활히 이루어지지 않았기 때문으로 생각된다.

본 연구에서 논콩 조기 재배면적 파악을 위해 작부 체계 및 파종 시기가 상이하게 나타나는 드론 촬영 영상 데이터를 활용하고자 하였으며, 딥러닝 알고리즘인 DeepLabv3+을 활용해 재배면적 파악을 진행하였다. 이모작 논콩이 파종된 2024년 6월 11일부터 파종이 완료된 후 촬영한 2024년 6월 28일까지 총 3개 시기의 모델의 결과는 높은 성능으로 나타나는 것을 확인 가능하나, 단모작 논콩이 파종된 2024년 5월 24일에는 모델의 결과가 상대적으로 저조하게 나타났다. 이는 해당 시기에 사용된 데이터가 모델 학습하기 위한 적합하거나 충분한 데이터가 아니었다고 판단된다. 또한 물 반사율과 같이 유사한 특성의 영향으로 모델이 오분류되어 분류 결과의 악영향을 주기도 하였으며, 이와 같은 문제를 해결하기 위해 논콩 조기 재배면적 파악을 위한 적합하고, 충분한 데이터 구축이 필요하다고 판단되며, 물 반사율과 같이 오분류에 영향을 주는 요소들의 해결 방법이 필요하다고 생각된다.

Ⅳ. 결 론

본 연구에서는 정부가 추진 중에 있는 논타작물 지원 강화 및 전략작물직불제와 같은 정책의 실질적 성공에 기여하고자 전략 작물 중 하나인 논콩 분류 모델 개발을 목적으로 설정하고 연구를 수행하였다. 논콩 재배면적이 증가하고 있는 전라북도 김제시 죽산면 종신리를 대상으로 하였으며, 24년 5월 24일, 24년 6월 11일, 24년 6월 20일, 24년 6월 28일 총 4차례 촬영한 RGB 기반 드론 영상과 라벨링된 팜맵을 사용하여 DeepLabv3+을 활용한 딥러닝 모델 개발을 진행하였다. 그 결과를 요약하면 다음과 같다.

총 4번의 드론 촬영 영상을 활용한 딥러닝 모델의 전체 결과의 경우, 2024년 5월 24일, 6월 11일, 6월 20일 및 6월 28일의 정확도는 각각 0.94, 0.94, 0.94 및 0.95로 나타났으며, 정밀도는 0.88, 0.92, 0.93 및 0.94로, 재현율은 0.82, 0.92, 0.92 및 0.94로, F1-score는 0.82, 0.92, 0.92 및 0.94로, Kappa coeffficient는 0.94, 0.93, 0.93 및 0.94로 나타났다.

딥러닝 모델의 결과를 작물별로 분석한 결과, 24년 5월 24일 배경의 정밀도, 재현율, F1-Score가 0.95, 0.98, 0.97 며, 논콩의 정밀도, 재현율, F1-Score는 0.86, 0.69, 0.77 고, 논의 정밀도, 재현율, F1-Score는 0.82, 0.66, 0.73으로 나타났다. 24년 6월 11일 배경의 정밀도, 재현율, F1-Score가 0.95, 0.96, 0.95이며, 논콩은 0.93, 0.92, 0.93이고, 논은 0.89, 0.87, 0.88으로 나타났다. 24년 6월 20일 배경의 정밀도, 재현율, F1-Score가 0.95, 0.96, 0.95이며, 논콩은 0.92, 0.95, 0.94이고, 벼는 0.91, 0.85, 0.88으로 나타났다. 24년 6월 28일 배경의 정밀도, 재현율, F1-Score가 0.97, 0.97, 0.97이며, 논콩은 0.94, 0.95, 0.94이고, 벼는 0.91, 0.90, 0.90으로 나타났다. 콩과 벼에 대한 분류는 시간의 흐름에 따라 성능이 우수하게 나타나는 것을 확인할 수 있다. 이는 시간의 흐름에 따라 파종된 필지가 증가하여 논콩 데이터 비율이 증가하였고, 딥러닝 모델의 데이터 비율이 모델 학습의 영향을 미칠 수 있다고 판단할 수 있다.

본 연구는 딥러닝을 활용한 논콩 재배면적 파악 모델을 개발함으로 ‘전략작물직불제’와 ‘논타작물재배’와 같은 정책의 실행 여부를 조기 파악할 수 있으며, 논콩 재배면적을 조기 파악함으로써 적정 필요 수입량의 산정 및 국제 시세에 대응 가능할 것으로 판단된다. 다만, 원격탐사 기법 중 드론을 활용하여 일부 지역에 적용하였으며, 이를 전국적으로 확대하기에는 많은 난관이 있을 것이라고 판단되고, 대상 작물이 논콩이라는 것에 한정되어있다. 또한 재배 작물 분류를 하기 위해 픽셀 단위가 아닌 필지 단위로 작물 분류 및 재배면적 파악이 필요하며, 픽셀 단위 분석을 할 경우 상대적으로 토양의 함수비가 높은 필지와 논벼 필지 및 양식장과 같이 물 반사율과 유사한 특성으로 인해 모델 학습 방해가 초래되어 모델 성능이 저하되는 것을 확인할 수 있다. 향후 연구에서 후처리 기법과 같은 CV 알고리즘을 활용한 필지 단위 작물 분류 및 다른 작물의 대한 데이터 구축과 모델 개발이 필요할 것이며, 물 반사율과 같은 유사한 특성으로 인한 오분류 문제를 해결해야할 것으로 판단된다.

감사의 글

논문은 농촌진흥청 연구사업 (연구개발과제명 : 콩 생산 자동화 디지털 농업 선도 모델 개발 및 실증, 과제번호 : RS-2022_RD010349)의 지원으로 이루어진 것임. 본 연구는 2024년도 농촌진흥청 학⋅연협동연구과정 지원사업에 의해 이루어진 것임.

REFERENCES

1
S. O. Atik, M. E. Atik and C. Ipbuker, Journal of Applied Remote Sensing, Comparative research on different backbone architectures of DeepLabV3+ for building segmentation, 16(2); 024510-024510 (2022)10.1117/1.jrs.16.024510
2
L. C. Chen, G. Papandreou, I. Kokkinos, K. Murphy and A. L. Yuille, Semantic image segmentation with deep convolutional nets and fully connected CRFs, arXiv preprint arXiv: 1412.7062 (2014)10.48550/arXiv.1412.706228463186
3
L. C. Chen, G. Papandreou, F. Schroff and H. Adam, Rethinking atrous convolution for semantic image segmentation, arXiv preprint arXiv: 1706.05587 (2017a)10.48550/arXiv.1706.05587
4
L. C. Chen, G. Papandreou, I. Kokkinos, K. Murphy and A. L. Yuille, IEEE Transactions on Pattern Analysis and Machine Intelligence, Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs, 40(4); 834-848 (2017b)10.1109/tpami.2017.269918428463186
5
L. C. Chen, Y. Zhu, G. Papandreou, F. Schroff and H. Adam, Proceedings of the European Conference on Computer Vision (ECCV), Encoder-decoder with atrous separable convolution for semantic image segmentation; 801-818 (2018)10.1007/978-3-030-01234-2_49
6
N. W. Cho, H. W. Park, J. A. Lee and C. S. Kim, Korea Rural Economic Institute E04-2023, Agricultural Outlook 2023: Agricultural and rural innovation and future II; 453-474, (in Korean) (2023)
7
S. K. Choi, S. K. Lee, Y. B. Kang, D. Y. Choi and J. W. and Choi, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Use of unmanned aerial vehicle imagery and deep learning UNet to classification upland crop in small scale agricultural land, 38(6); 671-679, (in Korean) (2020)10.7848/ksgpc.2020.38.6.67134560553
8
R. N. Colwell, American Society for Photogrammetry, Manual of remote sensing (1983)
9
J. P. Hong, S. J. Jang, J. S. Park, H. J. Shin and I. H. Song, Journal of the Korean Society of Agricultural Engineers, Classification of summer paddy and winter cropping fields using Sentinel-2 images, 64(1); 51-63, (in Korean) (2022)10.5389/KSAE.2022.64.1.051
10
L. I. Kim, G. E. Kim and C. E. Jeong, Korea Rural Economic Institute M2024-01, 15, Korea’s agriculture in the world by statistics, (in Korean) (2024)
11
J. A. Lee and K. C. Kwak, Proceedings of KIIT Conference, Performance comparison analysis for cardiac structure segmentation based on deep learning; 249-252, (in Korean) (2023)
12
Ministry of Agriculture, Food and Rural Affairs, Ministry of Agriculture, Food and Rural Affairs promotes “proper rice production measures” to stabilize rice supply and demand this year, Sejong, Korea. (2023)
13
S. K. Seong, J. S. Mo, S. I. Na and J. W. Choi, Korean Journal of Remote Sensing, Attention gated FC-DenseNet for extracting crop cultivation area by multispectral satellite imagery, 37(5_1); 1061-1070, (in Korean) (2021)10.7780/kjrs.2021.37.5.1.18
14
S. K. Seong, S. I. Na and J. W. Choi, Korean Journal of Remote Sensing, Assessment of the FC-DenseNet for crop cultivation area extraction by using RapidEye satellite imagery, 36(5_1); 823-833, (in Korean) (2020)10.7780/kjrs.2020.36.5.1.14
15
S. K. Seong, A. J. Chang, J. S. Mo, S. I. Na, H. Y. Ahn, J. H. Oh and J. W. Choi, International Journal of Applied Earth Observation and Geoinformation, Crop classification in South Korea for multitemporal PlanetScope imagery using SFC-DenseNet-AM, 126; 103619 (2024)10.1016/j.jag.2023.103619
16
H. S. Shin, S. H. Song, D. H. Lee and J. H. Park, Ecology and Resilient Infrastructure, Application and evaluation of the Attention U-Net using UAV imagery for corn cultivation field extraction, 8(4); 253-265, (in Korean) (2021)10.17820/eri.2021.8.4.253
17
X. Tong, B. Sun, J. Wei, Z. Zuo and S. Su, Remote Sensing, EAAU-Net: Enhanced asymmetric attention U-Net for infrared small target detection, 13(16); 3200 (2021)10.3390/rs13163200
18
F. Yu and V. Koltun, Multi-scale context aggregation by dilated convolutions, arXiv preprint arXiv: 1511.07122 (2015)10.48550/arXiv.1511.07122
페이지 상단으로 이동하기