Ⅰ. 서 론
극심한 기후 변화로 인해 재난 및 재해의 발생 빈도가 지속적으로 증가하고 있어, 재해예방 대책 수립의 중요성이 커지고 있다. KOSTAT (2023)에 따르면, 자연재해로 인한 피해액의 2010년대 평균이 약 3,527억 원인 반면, 2020년부터 2022년까지 3년간 피해액의 평균이 약 6,589억 원으로 과거 평균 대비 87% 가량 증가했다. 이중 태풍 및 호우로 인한 농촌 유역의 수해가 차지하는 피해액이 약 284억 원으로 전체 피해액의 4%를 차지하고 있다. 이러한 피해는 농촌 유역에서의 체계적 관리의 부재와 직결된다. 저수지, 제방, 배수펌프장 등 낡은 농업기반시설에 대한 문제점이 지적되고 있으며, 이에 대한 모니터링 및 유지 관리가 시급한 실정이다 (Park et al., 2015).
이에 따라, 농촌 유역의 재해예방을 위해 여러 기반 시설에 대한 유지관리 시스템이 구축되고 있다. 4차 산업혁명과 더불어 디지털 전환이 화두로 떠오르면서 시설 모니터링 및 유지관리를 위한 디지털 트윈이 여러 방면에 적용되었다. K-water는 디지털 트윈을 이용한 물관리 플랫폼을 구축하여 기후 변화에 따른 물관리의 복잡성 및 불확실성을 극복하고자 하였다 (Kim et al., 2022). Lee et al. (2024)는 양배수장의 유지관리 체계의 개선을 목적으로 실시간 모니터링 및 예측, 유지, 보수를 위한 디지털 트윈 소프트웨어를 개발하였다. 그러나 이러한 관리시스템은 하나의 시설물에 국한되어 있어, 유역 전반을 관리하고 모니터링 할 수 없다는 문제점이 있다. 인근의 농업기반시설은 서로 영향을 주고받는다는 점을 고려했을 때, 시설물을 유역의 전체적인 관점에서 유지관리해야 할 필요가 있다 (Kwak et al., 2023).
한편, 다양한 산업에서 재해에 대응하여 안전관리에 다양한 노력을 기울이고 있다. 특히 높은 재해율을 보이는 건설 분야에서는 3D 가상공간을 이용하여 설계 도면을 입체화한 BIM (building information modeling)을 설계 및 시공뿐만 아니라 안전관리, 유지보수 등에 활용하고 있다. Kim et al. (2013)은 BIM을 기반으로 하는 안전관리 프로세스를 제안하였으며, Lee and Ham (2020)은 BIM을 적용한 떨어짐 사고 예방시스템을 개발하였고, Go et al. (2022)는 발생할 수 있는 위험 요소에 대한 DB 분류체계를 구축하여 사전에 위험성 평가를 하고자 하였다. 이처럼 건설 분야에서는 3차원 모델링을 통해 보다 정량적으로 재해 발생에 대한 위험성을 평가하고 모니터링하고자 하는 시도가 이어지고 있다.
또한 최근 건설 사업이 새로운 건물의 건설보다 기존 건물의 유지관리가 강조됨에 따라, 레이저 스캔 기술을 통해서 건물의 3차원 형상정보를 획득하는 scan-to-BIM 기술이 발전하고 있다 (Son et al., 2015). 지형, 건물, 공간 등 지리적 자료를 나타낼 때 사용하는 3차원 데이터 형식으로서 주로 포인트 클라우드를 이용한다. 포인트 클라우드는 모든 점의 x, y, z 좌표정보를 담고 있어 3차원 공간을 표현할 수 있으며, 주로 LiDAR (light detection and ranging) 레이저를 통해 생성된다. 물체의 표면과 LiDAR 사이에 발사 및 반사된 레이저를 통해 거리를 측정하여 포인트 클라우드를 생성한다. 이후 colorization 과정을 거쳐 각 점의 RGB 값을 얻는다. 포인트 클라우드 데이터로 건물 구조의 모델링을 자동화하여 BIM을 구축하며 (Thomson and Boehm, 2015), 포인트 클라우드 데이터를 의미론적으로 분할하여 BIM을 재구성하기도 한다 (Xiong and Wang, 2021). BIM 기술을 통해 건축물의 환경적인 맥락을 이해하고 통합적인 관점에서 모니터링 할 수 있다.
건설 분야에서 BIM 기술을 활용하여 재해를 예방하고 유지관리를 강화하는 사례는 농업생산기반시설에도 유사한 접근으로 적용할 수 있음을 시사한다. 특히 BIM과 같은 기술을 통해 농촌 유역의 통합적 관리를 위한 기반을 마련할 수 있다. 이때 농업생산기반시설의 통합유지관리 시스템 구축을 위해서는 농촌 유역의 정확한 지리정보를 사전에 파악하고, 이를 기반으로 분류하는 작업이 필수적이다. 이러한 분류 작업을 가능하게 하는 핵심 기술이 바로 의미론적 분할이다.
의미론적 분할은 영상이나 포인트 클라우드와 같은 데이터의 각 픽셀 혹은 포인트에 의미적 라벨을 부여하여 객체를 분류하는 기술로, scene 전체를 클래스 단위로 이해할 수 있게 한다. 2D 영상 의미론적 분할은 U-Net 등 CNN 기반 네트워크를 중심으로 발전해 왔으나, 3D 포인트 클라우드 의미론적 분할은 데이터가 비정형적이고 불규칙하게 분포하는 점 집합 형태라는 특성 때문에 포인트 간 공간적 관계를 효과적으로 모델링 하는 별도의 접근법이 필요하다.
이러한 요구에 따라 다양한 딥러닝 모델이 제안되었다. PointNet (Qi et al., 2017a)는 포인트 단위의 특징을 직접 추출하여 포인트 클라우드 처리의 새로운 가능성을 제시했으나, 포인트 간 관계를 반영하는 데에는 한계가 있었다. 이를 보완한 PointNet++ (Qi et al., 2017b)는 계층적 구조를 통해 지역적 특징을 학습하게 하였지만 여전히 전역적 관계의 표현은 부족했다. 이후 transformer 기반 모델이 등장하여 self-attention을 통해 지역적⋅전역적 문맥을 동시에 학습할 수 있게 되었으며, Point Transformer (Zhao et al., 2021) 는 KNN (k-nearest neighborhood) 기반으로 정의한 이웃을 토대로 상대적 위치 정보를 attention에 반영하여 성능을 개선하였다. 최근 Wu et al. (2024)의 연구에서 제안한 Point Transformer V3 (PTv3)는 KNN 대신 직렬화 기법을 도입하여 단순성과 계산 효율성을 높이면서도 다양한 벤치마크에서 state-of-the-art 성능을 달성하였다.
한편, 의미론적 분할 연구에서 성능 저하의 주요 원인 중 하나는 클래스 불균형이다. Agriculture-Vision Challenge 2024에서는 농업 위성영상 데이터에서 경작지, 잡초군락 등 특정 클래스가 대부분을 차지하고 나머지 클래스가 5% 미만에 불과한 심각한 불균형을 보였다 (Liu et al., 2024). 농촌 유역은 넓은 토지가 대다수를 차지하고, 제방, 수로, 교량 등과 같은 기반시설은 극히 적은 비율로 존재하기 때문에 희소 클래스의 분할 성능 저하 발생 위험이 크다.
이에 본 연구에서는 최신 포인트 클라우드 분할 모델인 PTv3를 적용하고 손실함수의 설계를 통해 클래스 불균형 문제에 대응하고자 하였다. 이를 통해 농촌 유역 포인트 클라우드 의미론적 분할 성능을 개선하고, 희소 클래스의 예측 정확도를 향상시키는 효과를 검증하였다.
Ⅱ. 재료 및 방법
1. 연구대상
가. 연구데이터 수집
본 연구의 대상 지역은 경기도 이천시에 위치한 산양 저수지 인근 산양1리 마을, 북두1리 마을로 선정하였다. LiDAR 데이터 수집을 위해 DJI사의 Matrice 300 RTK 드론과 Zenmuse L1 LiDAR를 이용하였다. 해상도는 지상표현거리 3 cm/pixel로 설정하여, 픽셀당 3 cm의 정보를 포함하도록 하였으며, 거리 측정 정확도는 100 m 당 3 cm의 오차 범위를 갖는다. 레이저 펄스의 다중 반사 기록 기능을 활성화하여, 최대 3회의 반사 데이터가 수집되도록 설정하였다. 수집된 데이터는 DJI Terra (버전 3.7.6)을 통해 후처리하였으며 포인트 클라우드 밀도는 ‘높음’, 실효 거리는 300 m로 설정하였다 (DJI, 2023). 연구 대상 지역과 데이터 수집 결과는 Fig. 1에 제시하였다.
나. 클래스 정의 및 전처리
농촌 유역의 데이터에 맞게 Bridge, Water, Reservoir, Greenhouse, Road, Land, Vegetation, Forest, House, Undefined 총 10개의 클래스를 정의하고, 각 점을 해당 범주에 따라 분류하였다. 포인트 클라우드 데이터를 시각화하고 분석하는 데 흔히 사용되는 오픈소스 소프트웨어인 CloudCompare를 이용하여 라벨링 하였다 (CloudCompare, 2023). 각 포인트는 연구자의 판단을 기반으로 직접 라벨링 하였으며 클래스 간 구분이 불명확한 영역은 현장 사진을 참조하여 수동 분류하였다.
본 연구에서는 데이터 처리 효율성을 향상시키기 위해 포인트 클라우드 전처리 과정에서 0.1 m 간격의 voxel 기반 서브샘플링을 적용하였다. 이는 3D 공간에서 0.1 m 이내에 위치한 인접점들을 하나의 대표점으로 통합하는 방식이다. 이러한 0.1 m 서브샘플링 설정은 실외 포인트 클라우드 벤치마크 데이터셋에서 널리 사용되는 표준 전처리 방법으로, 다수의 선행 연구에서 기본값으로 채택된 바 있다 (Thomas et al., 2019; Boulch, 2020). 이 방식은 지형적⋅구조적 특징을 충분히 보존하면서도 연산 효율성을 크게 향상시킬 수 있어 본 연구에 적용하였다.
다. 클래스 분포분석
본 데이터셋의 클래스 분포는 다음 Table 1, Fig. 2와 같이 강한 불균형을 보인다. Vegetation 클래스가 50%에 가까운 가장 큰 비중을 차지하고, Land, Greenhouse, Forest 클래스가 그다음 규모의 군을 이루고 있다. 반면, Road, Water, House, Reservoir 등의 클래스는 상대적으로 작으며 특히 Bridge는 1% 미만으로 극히 희소하다. 이에 본 연구에서는 포인트 비율 6% 미만으로 낮아 공간적 출현 분포가 제한적인 Road, Water, House, Reservoir, Bridge를 희소 클래스로 정의하였다. 0.1 m의 서브샘플링을 적용했음에도 이러한 상대적 비율 구조는 대체로 유지되며, 결과적으로 클래스 간 표본 수 격차가 학습 시 손실 기여를 비대칭적으로 만들 위험이 크다. 따라서 손실함수의 설계를 통해 데이터 불균형 문제를 완화하여 학습 안정성과 희소 클래스 성능 저하를 최소화하고자 하였다.
Table 1
Class-wise point distribution and ratios in the rural watershed point cloud dataset
2. 학습 및 추론 구성
가. 모델 아키텍처
본 연구에서는 PTv3 구조를 기반으로 encoder-decoder 아키텍처를 Fig. 3과 같이 적용하였다. 입력 포인트 클라우드는 먼저 직렬화 과정을 거쳐 구조화된 시퀀스로 변환된다. 3차원의 포인트들을 1차원의 시퀀스로 직렬화하기 위해 space-filling curve가 활용되며, 본 구현에서는 Z 패턴 기반으로 공간을 순회하는 z-order와 좌표축 순서를 반전시킨 transposed z-order 두 가지 패턴만 사용하였다 (Morton, 1966; Sagan, 2012). Transformer block마다 이를 교대로 적용하여 특정 정렬 방식에 대한 편향을 줄이고 다양한 공간 관계를 학습할 수 있도록 하였다. 직렬화된 포인트들은 임베딩 층을 통해 고차원 특징 공간으로 투영된다.
Encoder는 여러 단계로 구성되며, 각 단계는 포인트 다운샘플링을 위한 grid pooling과 복수의 transformer block으로 이루어진다. 각 Block은 xCPE (enhanced conditional positional encoding), LayerNorm (layer normalization), 패치 기반 self-attention, MLP (multi-layer perceptron)로 구성되어 있다. 패치 크기를 256으로 설정하여 직렬화된 순서에 따라 포인트들을 그룹화하고 각 패치 내에서 attention을 수행했다. Decoder는 encoder의 grid pooling과 반대로 작동하는 grid unpooling을 포함하며, encoder와 동일한 transformer block으로 이루어진다. 최종적으로 계산된 포인트별 128차원의 특징은 분류기로 전달되어 10차원 클래스 logit으로 변환된다.
나. 데이터 분할 및 샘플링 전략
본 연구에서는 전체 산양저수지 유역의 포인트 클라우드 데이터를 총 26개의 독립된 scene 단위로 분할하여 실험을 구성하였다. 이후 전체 scene 중 19개는 학습용으로, 7개는 평가용으로 사용하였다. 학습 및 평가 데이터 분할 시 각 클래스가 특정 데이터셋에 과도하게 편중되지 않도록 하였다.
학습 과정에서는 각 scene으로부터 4,096개 포인트를 무작위로 샘플링하여 고정된 크기의 입력 배치를 구성하였다. 각 포인트는 위치 정보를 나타낸 
좌표와 색상 정보를 나타내는 
값으로 구성된 6차원 특성 벡터로 표현되며, 각 위치 정보는 중심화 및 단위 구 정규화를 적용하였다.
추론 단계에서도 동일한 방식으로 각 평가 scene에서 4,096개 포인트를 반복적으로 샘플링한 후, 해당 결과를 포인트 별로 누적하여 다수결 투표 방식으로 최종 예측 레이블을 결정하였다. 이와 같은 고정 크기 샘플링 및 투표 기반 추론 방식은 입력 포인트 수가 불규칙한 포인트 클라우드의 특성에 대응하고, 학습과 추론의 형식을 통일함으로써 예측 안정성을 향상시키는 데 유효한 전략으로 작용하였다.
3. 손실 함수 설계
가. 손실함수 설계 요소
1) Cross entropy loss
다중 클래스 분류 문제에 주로 사용되는 cross entropy (CE)를 기본 손실 함수로 사용하였으며, 다음 수식 (1)과 같이 정의한다.
여기서, 
는 클래스 
의 예측 확률을 말하고, 
는 0 또는 1의 값을 가지며 클래스 
의 정답 레이블 여부를 나타낸다. 이 손실 함수를 낮추는 것은 모델이 정답 클래스를 맞힐 확률을 높인다는 것을 뜻한다.
2) Focal loss
그러나 단순한 cross entropy loss 기반의 학습만으로는 문제가 있다. 일부 클래스는 비교적 예측하기 쉬운 반면, 데이터의 희소성이나 구조적 제약으로 인해 분류가 까다로운 클래스도 있다. 이러한 점을 반영하여 Lin et al. (2017)은 단순한 클래스의 빈도를 넘어서, 예측 확률이 높은 수위 샘플의 손실 중요도를 줄이고 예측이 어려운 샘플에 대한 손실을 강조하는 focal loss를 제안하였다. Focal loss는 수식 (2)와 같이 정의된다.
여기서, 
는 항상 0보다 큰 값을 가지는 초점 조절 계수로서, 쉬운 샘플의 영향력을 감소시킨다. 특히 
의 값이 클수록 높은 확률로 정답을 맞힌 경우를 억제하여 전체 손실함수에서 어려운 샘플이 차지하는 비중이 커진다. Lin et al. (2017)은 
일 때 가장 우수한 성능을 보였다고 보고하였으며, 이 값은 이후 대부분의 연구와 공개 구현에서 기본값으로 채택되었다 (OpenMMLab, 2023; TorchVision, 2024). 따라서 기본 focal loss 설정 시 
를 사용하였으며, 이후 본 연구에 최적화된 
값을 추가 실험을 통해 탐색하였다.
3) 클래스별 가중치 적용
본 연구의 데이터와 같이 클래스별 등장 빈도가 불균형하면 희소 클래스가 무시되어 학습되는 경향이 있다. 이런 경우, 빈도가 적은 클래스의 손실을 상대적으로 더 크게 부여하여 희소 클래스의 낮은 성능을 보완할 수 있다 (Cui et al., 2019). 이는 다음과 같이 가중치 벡터 
를 통해 수식 (3)과 같이 구할 수 있다.
여기서, 
는 클래스 
의 등장 빈도에 기반한 역수 가중치로 정규화를 통해 희소 클래스에 적절한 중요도를 부여한다. 본 연구에서 가중치 벡터 
는 학습용 데이터셋을 기준으로 계산하였으며, 그 결과는 Table 2에 제시하였다.
Table 2
Class weights computed based on inverse class frequency
| Class | Bridge | Water | Reservoir | Green house | Road | Land | Vegetation | Forest | House | Undefined |
| Weight | 2.0000 | 1.0559 | 1.0105 | 0.6437 | 0.9692 | 0.7102 | 0.5000 | 0.7796 | 0.9616 | 1.3464 |
또한 클래스 불균형 문제와 샘플 난이도 불균형 문제를 동시에 고려하기 위해, Table 2의 클래스별 가중치 벡터 
를 focal loss에 통합할 수 있다. 이때 손실 함수는 다음 수식 (4)와 같이 정의된다.
나. 손실함수 실험 조건
농촌 유역의 불균형한 클래스 분포에 유리한 손실 함수를 찾기 위해 다양한 손실 함수 조합을 실험하였다 (Table 3). CE (baseline) 은 cross entropy loss만 사용하여 클래스 불균형을 전혀 고려하지 않은 기본 조건이다. CE + w 는 각 클래스의 빈도에 따라 가중치를 부여하여, 희소 클래스가 학습 과정에서 무시되지 않도록 조정한 경우이다. 한편 Focal 조건은 focal loss를 적용하여 쉬운 샘플의 기여도를 줄이고 어려운 샘플에 더 집중하도록 설계된 경우이며, 마지막으로 Focal + w 는 focal loss와 클래스 가중치를 동시에 적용하여 데이터 불균형 보정과 어려운 샘플 강조 효과를 결합한 경우이다. 또한 focal loss에서 사용하는 하이퍼파라미터인 초점 조절 계수 
를 조절해가며 산양저수지 데이터셋의 의미론적 분할 모델의 최적화를 진행했다.
4. 평가 방법
모델의 성능 평가에서는 mIoU (mean intersection over union)를 기본 지표로, OA (overall accuracy)를 보조 지표로 활용하였다. mIoU는 클래스 간 성능을 균형 있게 평가할 수 있으며, OA는 데이터셋 전체에 대한 정확도를 빠르게 확인할 수 있어, 두 지표를 함께 사용하면 각각의 장단점을 효과적으로 보완할 수 있다.
가. 평균 교차 분할 정확도 (Mean intersection over union, mIoU)
mIoU는 의미론적 분할에서 사용하는 대표적인 성능 측정 방법이다. IoU는 다음 수식 (5)와 같이 계산되며, 수식 (6)과 같이 모든 클래스별 IoU 값을 평균하여 mIoU 값을 구할 수 있다. mIoU 값이 1에 가까울수록 전체 예측에서 참값을 많이 예측했음을 뜻하므로, 모델의 좋은 성능을 의미한다.
여기서, 
는 전체 클래스의 수, 
는 
클래스의 true positive 포인트의 수, 
는 
클래스의 false positive 포인트의 수, 
는 
클래스의 false negative 포인트의 수를 의미한다.
mIoU는 클래스별 성능을 개별적으로 평가한 뒤 이를 평균하여 모델의 전반적인 성능을 측정하는 지표로, 데이터셋 내 클래스 간 비율이 불균형하더라도 공정한 평가를 제공한다는 장점이 있다. 특히, 모든 클래스에 대해 동일한 가중치를 부여하므로 희소 클래스와 다수 클래스 모두 균형 잡힌 결과를 도출할 수 있다. 그러나 데이터셋에서 드문 클래스에 대한 예측 성능이 낮을 경우, 해당 클래스의 IoU 값이 크게 떨어져 전체 mIoU 값에 지나치게 큰 영향을 미칠 수 있다. 이로 인해 일부 클래스의 낮은 성능이 전체 모델 성능을 과소평가하는 원인이 될 수 있어 주의가 필요하다.
나. 전체 정확도 (Overall accuracy, OA)
OA는 모든 데이터 포인트에 대한 모델의 예측 정확도를 나타내는 지표이다. OA는 계산이 간단하여 모델의 전반적인 성능을 빠르게 확인할 수 있다는 장점이 있으며, 다음 수식 (7)과 같이 계산된다.
여기서, 
는 옳게 분류한 포인트의 수, 
은 모든 포인트의 수를 의미한다.
그러나 OA는 클래스 불균형 문제에 취약하다는 한계를 가진다. 예를 들어, 데이터셋에서 특정 클래스가 대부분을 차지하는 경우, 해당 클래스만 정확히 예측해도 높은 OA 값을 얻을 수 있어 실제 모델의 세부적인 성능을 왜곡할 가능성이 있다. 또한, 클래스별 세부 성능이나 false positive, false negative 등의 오류 유형을 반영하지 않으므로, 특정 클래스에서의 성능 저하를 OA가 충분히 나타내지 못할 수 있다.
Ⅲ. 결과 및 고찰
1. 베이스라인 (CE) 학습 및 성능 분석
본 연구에서는 먼저 cross entropy loss만을 적용한 베이스라인 학습을 수행하였다. 학습 과정에서의 손실 값과 mIoU의 변화를 Fig. 4에 나타내었다. 에폭이 진행됨에 따라 손실 값은 초기 약 1.66에서 점차 감소하여 500 에폭 시점에서 약 0.45 수준으로 수렴하였다. 이는 모델이 데이터를 안정적으로 학습하고 있는 것을 보여준다. 한편, mIoU는 초반 약 0.09에서 시작하여 점차 상승하였고, 400 에폭 이후에는 약 0.55 수준에서 수렴하였다. 즉, 학습이 진행되면서 분할 성능이 향상되었음을 확인할 수 있으나, 일정 수준 이상에서는 더 이상 개선되지 않는 정체 구간이 관찰되었다.
학습 과정에서의 손실 및 mIoU 곡선은 전반적으로 감소 및 상승 경향을 보였지만, 에폭 별로 다소 진동하는 형태를 나타냈다. 이는 학습 시 무작위로 샘플링된 포인트 배치 내 클래스 분포의 차이에 따라 희소 클래스의 포함 비율이 변동된 결과로 해석된다.
학습된 모델을 평가용 데이터셋에 적용하여 성능을 평가한 결과 OA는 약 0.72, mIoU는 약 0.28 수준으로 나타났다 (Table 4). 클래스별 정확도는 Vegetation, Land 등의 다수 클래스에서는 비교적 안정적인 IoU를 보였지만, Bridge, Water, Reservoir 같은 희소 클래스에서는 0에 가까운 IoU를 보여 사실상 예측이 불가능하였다. 이러한 결과를 통해 cross entropy loss만을 사용했을 때는 클래스의 불균형 문제를 해결하지 못해 mIoU를 일정 수준 이상으로 향상시키기 어려움을 확인하였다. 이에 따라, 기존 모델에 클래스별 가중치 및 focal loss를 도입하여 성능 개선 가능성을 탐색하였다.
Table 4
Comparison of mIoU, OA, and class-wise IoU across different loss functions
2. 손실 함수별 성능 비교
추가로 수행한 세 가지 케이스는 모두 베이스라인과 동일하게 500 에폭까지 학습을 수행하였으며, 손실과 mIoU가 안정적으로 수렴함을 확인하였다. 학습 곡선은 Fig. 4의 베이스라인과 유사한 결과를 보였고, 진동 양상 또한 큰 차이가 나타나지 않았다. 평가용 데이터셋에 대해서 추론을 수행하고, 각각의 성능 평가를 위해 mIoU, 클래스별 IoU, OA를 계산하였다. 각 케이스별 성능 평가 결과는 Table 4와 같다. Focal loss를 사용한 경우, 
의 값은 기본값인 2를 사용하였다.
CE + w, Focal, Focal + w 세 가지 케이스 모두 베이스라인보다 향상된 mIoU를 보였고, 이중 클래스별 가중치와 focal loss를 동시에 적용한 케이스가 mIoU와 OA 모두에서 가장 좋은 성능을 기록했다. 특히 본 연구에서 정의한 희소클래스 중 Road, Water, House는 가중치 또는 focal loss 적용 시 베이스라인 대비 IoU가 명확히 개선되었다. Road 클래스는 0.3298에서 0.4361로 가장 큰 폭으로 개선되었으며, Water 역시 0.0800에서 0.1518로 증가하여 아예 정답을 맞히지 못하던 것이 조금씩 올바른 예측을 하였다. 이는 본 연구에서 제안한 손실 재가중 기법이 특정 희소 클래스에 대해서는 실제로 효과적으로 작용함을 보여준다. 그러나 Bridge와 Reservoir에서는 여전히 거의 0에 가까운 IoU를 보여, 클래스 불균형 문제 해결에 한계가 있음을 시사한다.
Fig. 5는 서로 다른 손실함수를 적용했을 때의 분할 결과를, 손실함수 간 성능 차이가 비교적 뚜렷하게 나타난 3개 test scene을 선정하여 시각적으로 나타낸 것이다. Test scene #1에서는 주요 클래스가 전반적으로 안정적이게 분류되었음을 확인할 수 있다. 그러나 모든 손실 함수 조건에서 공통적으로 House 클래스가 구조적으로 유사한 형태를 갖는 Greenhouse 클래스로 오분류되는 경향을 확인하였다.
Test scene #2는 Water 클래스에 대한 손실함수 재가중 효과를 가장 잘 보여주는 사례로, 베이스라인은 Water 클래스를 전혀 인식하지 못했으나 클래스별 가중치나 focal loss를 적용하였을 때 일부 분류가 되는 것을 확인할 수 있다. 특히 CE + w 및 Focal + w 조건에서는 Water의 윤곽을 비교적 정확히 포착하며, 클래스 불균형 보정 효과가 뚜렷하게 드러났다. 또한 희소 클래스 중 하나인 Road 역시 베이스라인 대비 크게 완화되며 보다 안정적인 경계를 형성하였다. 이 scene은 Water, Road, Land, Vegetation 네 가지 클래스만 포함하여 비교적 단순한 환경이기 때문에, 전반적으로 안정적인 성능을 보였다.
마지막으로 test scene #3은 Greenhouse를 제외한 모든 클래스가 포함된 복잡한 환경이다. Cross entropy loss 단독 학습 결과에서는 Road 클래스를 과도하게 예측하는 경향이 나타나 scene이 전반적으로 어둡게 보였는데, 가중치나 focal loss를 적용한 세 케이스에서는 이러한 현상이 크게 완화되어 손실함수 재가중의 효과를 보여주었다. 그러나 다양한 클래스가 혼재된 복잡한 scene이기 때문에 test scene #2에 비교적 양호한 성능을 보였던 water 클래스는 세 가지 케이스 모두에서 안 좋은 성능을 보였으며 Bridge와 Reservoir 역시 거의 인식되지 못하였다.
이러한 시각적 결과는 cross entropy loss 단독 학습은 희소 클래스 분할 성능이 매우 낮았지만, 가중치 및 focal loss를 적용할수록 희소 클래스 성능이 점진적으로 개선되는 경향을 나타낸다. 이는 Table 4의 정량적 성능 평가와 일관되며, 본 연구의 주요 목표였던 희소 클래스 성능 개선이 일부 클래스에서 실제로 달성되었음을 시각⋅정량적으로 모두 확인할 수 있다.
3. 최적 하이퍼파라미터 도출
앞선 실험 결과에서 focal loss를 사용한 케이스 (Focal, Focal + w)가 베이스라인 대비 우수한 성능을 보였기 때문에, 본 연구에서는 이들의 핵심 하이퍼파라미터인 
를 대상으로 추가 실험을 수행하였다. 산양저수지 데이터셋에 최적화된 하이퍼파라미터를 도출하기 위해 
값을 조절하되, 가중치를 주는 경우와 주지 않는 경우를 나누어서 실험하였고. 그 결과는 다음 Table 5와 같다.
Table 5
Performance comparison of focal loss and focal loss with class weighting across different 
values
가중치를 적용하지 않은 focal loss에서는 
=3.0 일 때 mIoU 0.33, OA 0.75로 가장 우수한 성능을 보였다. 클래스별 성능을 살펴보면 Water (0.16), Greenhouse (0.26), House (0.22) 등에서 두드러진 향상이 확인되었다. 다만 Bridge와 Reservoir는 전 구간에서 IoU가 0에 근접하여 여전히 학습이 잘 이루어지지 않았다.
클래스별 가중치를 추가한 경우, 
=2.0에서 mIoU 0.32, OA 0.75로 가장 우수한 성능을 보였다. 특히 Road (0.44), Forest (0.28), Undefined (0.14) 클래스에서 성능 개선이 뚜렷하게 나타났다. Road 클래스의 경우 IoU가 베이스라인 대비 크게 향상되어 가장 눈에 띄는 개선 효과를 보였다. 반면 Bridge와 Reservoir는 여전히 예측이 거의 불가능한 수준이었다.
4. 결과 고찰
가. 손실함수 조합의 효과와 한계
클래스 가중치와 focal loss의 결합은 불균형 완화에 뚜렷한 효과를 보였으나, 
값이 과도하게 높을 경우 오히려 학습 안정성이 저하되는 경향을 보였다. Focal loss는 어려운 샘플에 더 큰 학습 비중을 두어 희소 클래스의 분리력을 높이는 반면, 클래스별 가중치 적용은 데이터의 불균형을 보정하여 학습 시 빈도가 낮은 클래스의 손실 기여도를 높인다. 이러한 점에서 두 방법은 서로 다른 접근법을 사용하지만, 결과적으로 희소 클래스에 더 많은 학습 자원을 배분한다는 점에서 유사한 효과를 제공한다. 이러한 이유로 두 방법을 결합한 focal + w 설정에서는 
값이 상대적으로 낮을 때 최적 성능을 보였다. 이는 높은 
에서 두 효과가 중복적으로 작용해 오히려 학습 안정성이 떨어질 수 있음을 시사한다.
나. 전반적 성능의 제한 요인
본 연구의 전체 평균 mIoU가 약 0.33 수준에 머문 것은, 손실함수의 개선만으로 해결하기 어려운 라벨링의 구조적 제약과 경계 불명확성 때문이다. 일반적인 실외 포인트클라우드 벤치마크인 Semantic3D (Hackel et al., 2017), SemanticKITTI (Behley et al., 2019) 등의 mIoU는 약 0.6~0.7 수준으로 보고되며, 이는 주로 도시 환경을 대상으로 구축된 데이터셋이다. 도시 환경은 건물, 도로, 인도 등 구조물이 명확히 구획되어 있고 경계가 뚜렷하므로, 포인트 단위 분류 시 클래스 간 구분이 비교적 안정적으로 이루어진다. 반면, 본 연구의 데이터는 농촌 유역으로, 클래스 간 경계가 모호하고 식생이나 토양 표면의 불규칙성이 높다. 이러한 특성은 라벨링 과정에서도 일관성 저하를 유발한다. 특히 본 연구에서는 한 명의 연구자가 수작업으로 라벨링을 수행하였기 때문에, 동일한 경계 조건에서의 주관적 판단 차이에 따라 클래스 간 혼동이 발생했을 가능성이 있다. 이러한 라벨링의 불안정성과 경계 모호성은 결국 모델 학습 과정에서 클래스 간 불확실성을 증가시켜 전체 성능 저하의 주요 원인으로 작용한 것으로 판단된다.
이러한 라벨링의 일관성 문제와 경계 불확실성을 완화하기 위해서는 모델 수준의 불확실성 대응 학습전략이 필요하다. 우선, 자기지도학습 기반의 사전학습을 통해 포인트 간 관계나 구조적 연속성을 스스로 학습하게 하면, 라벨링 불일치나 결측이 존재하는 구간에서도 더욱 견고한 표현 학습이 가능하다 (Hou et al., 2021). 또한 대량의 벤치마크 데이터셋에서 사전학습된 가중치를 활용하여 본 연구 데이터에 맞게 전이학습을 수행하면, 제한된 데이터에서도 경계 인식의 안정성을 향상시킬 수 있다 (Xie et al., 2020). 한편, 라벨의 불확실성이 높은 경계 부근에서는 one-hot 대신, 클래스 간 유사도를 반영한 label smoothing 기법을 적용함으로써, 경계의 연속적 변화를 모델이 학습하도록 유도할 수 있다 (Muller et al., 2019). 이러한 방법들은 라벨링의 불안정성이 높은 농촌 지역 데이터의 분할 성능 향상에 기여할 것으로 기대된다.
다. 희소 클래스별 성능 차이 분석
희소 클래스 중에서도 베이스라인에서 mIoU가 0에 가까웠던 Water, Reservoir, Bridge의 결과를 비교하면, 클래스별 손실함수 적용에 따른 개선 폭의 뚜렷한 차이를 확인할 수 있다. 이러한 차이는 희소 클래스 내부에서도 샘플 수, 공간 분포, 그리고 기하학적 특성의 차이가 존재하기 때문이다. Bridge와 Reservoir는 포인트 수의 절대적 부족과 공간적 편향으로 인해 손실함수 보정만으로는 충분한 개선이 이루어지지 않았다. Bridge는 전체 포인트 수가 극히 적어 대부분의 scene에서 거의 나타나지 않았고, Reservoir는 일부 scene에만 국한되어 나타나 학습 신호를 충분히 확보하지 못하였다. 반면 Water 클래스는 상대적으로 많은 포인트를 포함하고 여러 scene에 분포하며, 수면 특성상 z축 방향에서 다른 클래스와 뚜렷하게 구분되는 기하학적 패턴을 지닌다. 이러한 특성으로 인해 Water는 손실함수 설계에 따른 가중치 조정만으로도 비교적 안정적인 학습이 가능하였고, mIoU가 일정 수준 향상되는 결과를 보였다. 이는 희소 클래스의 공간적 분포 및 기하학적 독립성이 학습 성능에 직접적인 영향을 미친다는 기존 연구들 (Hu et al., 2020; Thomas et al., 2019;)의 결과와도 일치한다. 따라서 본 연구의 결과는 단순한 클래스 불균형뿐 아니라, 공간적⋅구조적 요인이 희소 클래스 학습의 주요 제약으로 작용함을 보여준다.
불균형 문제를 개선하기 위해서는 손실함수 재가중 기법을 넘어 데이터 자체의 보완 및 다양화 전략이 필요하다. 본 연구에서 사용된 산양저수지 지역 외에도 다양한 유역의 데이터를 추가하여 지형적⋅구조적 다양성을 확보한다면, 모델이 보다 다양한 형태의 희소 객체를 학습할 수 있을 것이다. 또한 회전, 반사, 스케일 조정 등의 기하학적 변환이나 노이즈 주입을 활용한 데이터 증강 기법을 통해 학습 표본의 다양성을 확장하는 것도 효과적일 수 있다. 따라서 향후 연구에서는 손실함수 설계와 더불어 데이터 수집 지역의 다양화와 증강 전략을 병행하는 통합적 접근이 희소 클래스 성능향상을 위한 핵심적인 방향으로 제시될 수 있다.
Ⅳ. 결 론
본 연구는 농촌 유역의 포인트 클라우드 의미론적 분할에서 발생하는 심각한 클래스 불균형 문제 완화와 전반적인 분할 성능 향상을 위해 다양한 손실 함수 조합을 적용하여 비교 분석하였다. 기본 손실 함수인 cross entropy loss와 클래스별 가중치 적용, focal loss, 그리고 두 방법을 결합한 방법을 실험한 결과 클래스별 가중치와 focal loss를 동시에 적용한 방법이 mIoU와 OA 모두에서 가장 우수한 성능을 보였다. 이는 두 방법이 서로 다른 방식으로 클래스 불균형을 완화하면서도, 희소 클래스에 학습 자원을 집중시켜 성능을 높인 결과로 해석된다. 하이퍼파라미터 최적화에서는 가중치 미적용 시 
=3.0에서 최대 mIoU (0.33), 가중치 적용 시 
=2.0에서 최대 OA (0.75)와 높은 mIoU (0.32)를 달성했으며, 이는 두 방법 결합 시 
를 과도하게 높이면 효과가 중복되어 학습 안정성이 저하될 수 있음을 시사한다.
본 연구 결과는 클래스 불균형이 심한 농촌 유역 포인트 클라우드 의미론적 분할에서 클래스별 가중치와 focal loss가 모두 효과적인 성능 향상 방안임을 입증하였다. 희소 클래스로 정의한 Road, Water, House에서는 손실 재가중 기법 적용 할 때 IoU가 베이스라인 대비 유의하게 증가하여, 연구 목표였던 희소 클래스의 예측 성능 개선이 일정 부분 달성되었음을 확인하였다. 특히 Water 클래스에서는 cross entropy loss 단독 학습 시 전혀 예측되지 않았으나, 가중치와 focal loss를 적용함으로써 일부나마 올바른 예측이 가능해져 개선 효과가 뚜렷하게 나타났다.
다만 희소 클래스 중 Bridge와 Reservoir는 여전히 IoU가 0에 가까워 예측이 거의 이루어지지 않았으며, 이는 본 연구에서 적용한 손실함수 설계만으로는 데이터의 구조적 한계를 충분히 극복하기 어려움을 보여준다. 전체 mIoU가 약 0.33 수준에 머문 점 역시 전반적인 성능 향상이 여전히 필요함을 의미한다. 이러한 한계는 특정 클래스의 데이터 부족뿐 아니라 라벨링 과정의 오류와 경계 모호성이 모델 학습에 영향을 미친 결과로 보인다. 더불어 본 연구가 산양저수지 유역의 한정된 데이터에 기반했기 때문에, 다양한 지형과 환경에서의 일반화 가능성에도 한계가 있다.
향후 연구에서는 데이터셋 확장과 함께 데이터 증강 기법을 적극적으로 활용하여 클래스별 데이터 불균형을 완화하고 학습 다양성을 확보할 필요가 있다. 또한 라벨 품질의 불확실성을 줄이기 위해 자기지도학습, 확실성 추정 기반 후처리, 도메인 적응 (domain adaptation) 등을 적용함으로써 모델의 일반화 성능과 실무 적용 가능성을 한층 높일 수 있을 것으로 기대된다.
