Ⅰ. 서 론
유역유출은 유역에서 수자원을 효율적으로 이용하고 관리하기 위한 수리시설설계에 있어 중요한 기초자료로 댐과 저수지 같은 수리시설물의 설계와 운영, 하천유지유량 결정 등 유역 내 물 관리와 밀접하게 관련되어 있다. 따라서 유역 내 물 관리를 효율적으로 수행하기 위해 유역유출에 대한 정확한 해석이 필요하다. 유출은 기상인자, 수문지상인자 등의 영향을 받아 강우에 대한 유역의 반응으로 발생하는데 강우-유출의 연결매체인 유역은 지형특성, 식생분포, 토지이용, 기상조건 등 유역인자의 복잡한 관계와 시⋅공간적 변동성으로 인해 유출의 비선형성, 불확실성을 유발한다. 유역유출의 비선형성, 불확실성으로 인해 강우-유출 과정의 물리적 현상은 수학적으로 정의하고 모형화하기 어려우며, 매개변수를 보정하기 위해 많은 노력을 필요로 한다 (Lee et al., 2000; Mishra and Karmaker, 2019). 이는 비선형적 특성을 지닌 강우-유출 현상에 대한 모든 변수를 반영하여 모형을 구성하기가 어렵고, 정교하게 구성한 모형일수록 매개변수로 인한 불확실성이 증가하기 때문이다 (Jung et al., 2018). 이에 대한 대안으로 입력자료와 결과자료의 관계를 기반으로 모형을 구성하는 경험적 모형이 유출량을 모의하기 위해 활용되고 있으며 (Song and Lee, 2020), 대표적으로 기계학습이 경험적 모형에 속한다.
컴퓨터 계산 능력의 발달로 기계학습을 이용한 연구가 가능해진 이후에는 비선형자료에 대한 해석이 더 용이해졌다. 자료를 기반으로 학습하는 기계학습은 물리적인 현상에 대한 자세한 이해를 요구하지 않으며, 인공신경망 (Artificial Neural Network, ANN) 이론이 제시되면서 복잡한 비선형자료 또한 모형화 할 수 있게 되었다. 인공신경망은 인간의 뇌 구조를 단순화하여 컴퓨터로 구현하고자 한 개념으로 (Yoon et al., 2004) 수문, 기상 등 비선형의 자연현상을 모의하기에 적절하다고 알려져 있다. 강우-유출해석, 강우 분포, 가뭄, 지하수 유동 등 수자원 및 환경 분야에서도 인공신경망을 이용한 연구가 활발히 이루어지고 있으며, 최근까지도 수문분야의 다양한 영역에 인공신경망을 적용한 사례가 증가하고 있는 추세이다 (Yadav et al., 2020). 강우-유출해석에 대해서는 1990년대 이후 인공신경망을 적용한 연구가 다양하게 수행되었으며 (Ahn et al., 2000; Kim, 2000), 현재까지도 인공신경망을 강우-유출해석에 적용하는 연구가 활발히 수행되고 있다 (Ghorbani et al., 2016; Patel and Joshi, 2017; Lin et al., 2019; Asadi et al., 2019; Kumar et al., 2019; Poonia and Tiwari, 2020).
인공신경망을 이용한 유량 예측 연구로는 선행 수문자료와 기상자료를 인공신경망 모형의 입력자료로 이용하여 하천 수위, 유량 등을 예측한 연구가 있으며 (Campolo et al., 1999; Tokar and Markus, 2000; Sarkar and Kumar, 2012) 학습 알고리즘, 모형의 구성, 입력자료, 활성화 함수 등에 따라 유량 산정 인공신경망 모형의 성능을 평가한 연구가 있다.
학습 알고리즘과 모형의 구성에 따른 인공신경망 모형의 성능을 평가한 연구로는 Karunanithi et al. (1994)이 Case- Correlation 알고리즘을 적용하여 하천유량을 예측하는 신경망을 구성하고 평가하였다. Kumar et al. (2005)은 강우량과 선행유출량을 조합한 입력자료를 이용해 다층퍼셉트론 (Multi-Layer Perceptron, MLP)과 Radial Basis Function (RBF) Network의 유량 산정 결과를 평가하였으며, Kişi (2007)는 인공신경망 모형의 학습 알고리즘에 따른 일 유량 산정 결과를 비교하였다. Ghorbani et al. (2016)은 MLP, RBF, Support Vector Machine (SVM)을 이용하여 월 하천 유량을 산정하고 성능을 평가하였으며, Kumar et al. (2019)은 인공신경망과 ENN (Emotional Neural Network)을 이용하여 월 유출량을 산정하였다.
입력자료와 활성화 함수에 따른 유량 산정 인공신경망 모형의 성능을 비교한 연구로는 Shamseldin et al. (2002)이 물리모형에서 산정한 유출량 자료를 입력자료로 이용하여 유출량을 예측하는 신경망 모형을 구성하고, 활성화 함수에 따른 모형의 성능을 비교하였다. Sudheer et al. (2003)은 입력자료의 통계적 전처리에 따른 신경망 모형의 유출량 산정 결과를 비교하였으며, 향후 연구에서 활성화 함수에 따른 자료의 전처리 효과를 비교할 필요성을 언급하였다. Shamseldin (2010)은 강우량 자료의 선형 변환을 통한 외부입력자료를 추가하여 입력자료에 따른 신경망 모형의 유량 산정 결과를 평가하였다. Patel and Joshi (2017)는 월 유량과 연 유량을 예측하기 위해 입력자료와 은닉층 노드 수를 달리하여 인공신경망 모형을 구성하고 최적 모형을 선정한 바 있으며, Asadi et al. (2019)는 입력자료와 모형의 구조에 따른 인공신경망 모형의 유량 산정 성능을 비교하였다. Poonia and Tiwari (2020)은 MLP와 RBF를 이용하여 입력자료에 따른 일 유량을 예측하였으며, MLP와 RBF 모두 입력자료의 선행 일 강우량에서 고려한 과거 일 수가 증가할수록 모형의 성능이 우수하다고 밝혔다.
인공신경망의 성능은 입력자료, 은닉층의 노드 수, 학습률, 활성화 함수 등의 영향을 받아 결정되며 (Gomes et al., 2011) 정확한 학습을 위해 양질의 자료가 요구된다. 기존의 강우-유출해석에 인공신경망을 적용한 연구에서도 입력자료, 신경망 모형의 구성, 학습 알고리즘 등에 변화를 주고 그에 따른 차이를 비교하는 연구가 많이 수행된 바 있다. 활성화 함수는 은닉층에서 입력받은 정보를 다음 층으로 출력하는 방식을 결정하는 역할을 하며, 활성화 함수에 따라 출력값의 특성이 달라지기 때문에 해결하고자 하는 문제에 따라 적절한 함수를 설정하는 것이 중요하다. Gomes et al. (2011)과 Sibi et al. (2013)은 기존에 사용되는 활성화 함수 이외에 여러 활성화 함수를 신경망 모형에 적용하고 그 결과를 비교한 바 있으며, Ramachandran et al. (2017)과 Sharma et al. (2020)은 활성화 함수의 종류와 특징을 정리하고 적절한 함수를 찾는 방법을 제시한 바 있다.
그러나 수문분야에서 활성화 함수에 따른 신경망 모형의 성능을 비교하는 연구는 거의 수행되지 않았으며, 수행된 경우에도 함수의 종류를 매우 제한적으로 적용한 사례가 대부분이었다. 강우-유출해석을 위한 유량 산정 신경망 연구에 있어서도 입력자료나 알고리즘, 신경망의 구조에 따른 성능 연구는 활발히 수행된 반면 활성화 함수에 차이를 주고 그에 따른 신경망 모형의 성능을 비교하는 연구는 부족한 실정이다.
따라서 본 연구에서는 강우-유출해석을 위한 인공신경망을 구축하고 인공신경망의 활성화 함수에 따른 유출량 산정 결과를 비교하고자 하였다. 은닉층과 출력층에 각각 Sigmoid, Hyperbolic tangent, ReLU (Rectified Linear Unit), ELU (Exponential Linear Unit) 함수와 Identity, ReLU, Softplus 함수를 활성화 함수로 적용하고 그에 따른 강우-유출 신경망 모형의 성능을 평가하고자 하였다.
Ⅱ. 재료 및 방법
본 연구에서는 활성화 함수에 따른 유출량 산정 인공신경망 모형의 특성을 비교하고 평가하기 위해 비교적 구조가 간단한 단순신경망 (Simple Neural Network) 모형에 여러 활성화 함수를 적용하여 일 유출량을 산정하는 인공신경망 모형을 구성하였다. 대상 유역의 선행 일 유량 자료와 일 강우량 자료를 입력자료로 구성하여 신경망 모형을 학습하였으며, 신경망 모형의 은닉층 노드 수를 결정하기 위해 시행착오법을 사용하였다. 활성화 함수의 차이에 따른 신경망 모형의 성능을 비교하기 위해 은닉층에는 Sigmoid, Hyperbolic tangent, ReLU, ELU 함수를 적용하였고, 출력층에는 Identity, ReLU, Softplus 함수를 적용하였다. 모형의 성능 평가를 위해 실측 유량과 모형 적용 결과를 비교하여 산정한 통계변량 
(coefficient of determination), 
(Nash and Sutcliffe Efficiency), 
(modified 
), 
(Percent BIAS)를 평가지표로 사용하였고, 평가지표와 그래프를 이용해 모형의 성능을 비교하였다. Fig. 1은 본 연구의 흐름도를 나타낸 것이다.
1. 대상유역 및 유량 자료
본 연구에서는 국가수자원관리종합정보시스템 (Water Resources Management Information System, WAMIS)에서 제공하는 댐 수문 자료의 일 유량을 실측값으로 이용하여 인공신경망 모형을 학습하였다. 소양강 댐 유역을 대상 유역으로 선정하여 한강권역에서 자료측정기간이 비교적 길고 품질이 양호한 소양강 댐의 일 유량자료를 구축하였다. 소양강 댐의 상류유역면적은 2,694.35 km2이고, 구축한 자료를 기준으로 산정한 평균유량은 67.88 m3/s 이다. 본 연구에 사용한 일 유량자료의 측정기간은 1974년부터 2019년까지 총 46년이며, 자료의 총 개수는 16,801 이다. 유역의 기상관측소는 종관기상관측시스템 (Automated Synoptic Observing System, ASOS)을 기준으로 티센 (Thiessen)망을 구성하여 해당 유역에 영향을 주는 관측소 (인제, 춘천, 대관령, 속초, 홍천)를 선정하고 일 유량자료의 측정기간과 동일한 기간의 일 강우량 자료를 구축하였다. Fig. 2는 대상 유역의 유역도와 티센망을 도시하고 소양강댐과 기상관측소 (인제, 속초, 홍천)의 위치를 표시한 것이다.
2. 인공신경망
인공신경망 모형은 뉴런과 시냅스로 이루어져 있는 인간의 뇌 구조를 단순화하여 만든 연산모형으로 자료를 기반으로 한 기계학습의 일종이다. 문제해결을 위한 구체적인 알고리즘이나 방법을 설정하지 않아도 주어진 자료를 통해 문제를 해결할 수 있으며 (Yeo et al., 2010), 특히 복잡한 비선형 및 다차원 입출력 관계를 모델링하기에 적절한 모형으로 알려져 있다. 인공신경망의 구성요소 중 활성화 함수는 인공신경망 모형에서 입력값에 따라 다음 층으로 전달할 정보를 결정하는 역할을 하며, 함수의 형태에 따라 다음 층으로 출력하는 정보의 범위나 특징이 달라진다. 또한 활성화 함수는 단순한 연산자의 선형 결합인 인공신경망 모형이 비선형성을 지닐 수 있게 한다. 활성화 함수에는 Sigmoid, ReLU, Softmax 함수 등 다양한 종류가 있으며 해결하고자 하는 문제에 따라 적절한 활성화 함수를 선택하는 것이 중요하다.
Fig. 3은 은닉층의 
번째 노드 하나에서 입력된 정보가 출력되는 과정을 도시한 것이다. 입력 (Input)은 이전 층에서 출력되어 입력되는 값으로 
개의 입력과 가중치 곱을 합하고 편향 (
)을 더한 형태로 정보가 전달되며, 은닉층의 
번째 노드에서는 활성화 함수를 거쳐 
를 출력한다. 각 노드에서 출력된 값 (
)는 다시 다음 층의 노드에 입력으로 전달된다.
세 개의 층과 
개의 은닉노드를 가지는 다층 퍼셉트론은 식 (1)과 같은 연산을 수행한다.
여기서 
는 입력벡터, 
는 활성화 함수, 
는 출력벡터, 
는 출력노드에 대한 편향, 
는 가중치, 
는 가중치 벡터, 
는 
번째 은닉노드에 대한 편향이다 (Günther and Fritsch, 2010).
3. 인공신경망 모형의 구성
본 연구에서는 강우-유출해석을 위해 입력층, 은닉층, 출력층의 세 개 층으로 구성된 인공신경망 모형을 구성하고 활성화 함수에 따른 모형의 성능을 평가하였다. 입력자료는 국가수자원관리종합정보시스템에서 제공하는 일 유량자료와 기상자료개방포털에서 제공하는 일 강우량 자료를 적용하였다. 
일의 유량을 예측하기 위해 선행 일 유량 (
, 
, 
)과 일 강우량 (
, 
, 
)을 입력자료로 이용하였으며, 티센망 분석결과 기상관측소가 5개인 것을 고려하여 입력층의 노드는 18개로 구성하였다.
인공신경망의 역전파 알고리즘은 전방향 (feed-forward)의 계산을 통하여 출력층의 오차를 계산하고, 오차의 미분을 은닉층으로 역전파 시켜 각 층 사이의 가중치를 조정하고 오차를 줄여나가는 방법이다 (Zadeh et al., 2010). 본 연구에서는 Adam 알고리즘을 역전파 알고리즘으로 적용하고, 오차함수로는 평균제곱오차 (Mean Square Error, MSE)를 적용하였다. Adam 알고리즘은 각 가중치에 대한 학습률을 조정하는 최적화 기법의 하나로, Kingma and ba (2015)는 Adam 알고리즘이 계산효율이 높고 메모리 요구량이 작다고 한 바 있으며 여러 가지 상황에서 Adam 알고리즘의 우수성을 밝힌 바 있다.
본 연구에서는 학습시간을 고려하여 학습률과 학습반복횟수 (epoch)를 각각 0.0001, 1,200으로 모든 모형에 동일하게 적용하였으며, 은닉층의 활성화 함수로 일반적으로 인공신경망에서 많이 사용되고, 다수의 선행 연구에서 적용된 바 있는 Sigmoid, Hyperbolic tangent 함수 (Tokar and Markus, 2000; Shamseldin et al., 2002; Kumar et al., 2005; Zadeh et al., 2010; Ghorbani et al., 2016; Lin et al., 2019)와 비교적 최근에 제안되어 성능을 인정받고 있는 ReLU, ELU 함수를 적용하였다 (Glorot et al., 2011; Ramachandran et al., 2017; Sharma et al., 2020). 출력층에는 회귀 인공신경망 모형에서 주로 적용하는 Identity 함수를 적용하였으며, Identity 함수를 적용할 경우 유량을 음수로 출력하는 문제가 발생하므로 음수를 출력하지 않으며 입력이 양수인 경우에는 출력이 Identity 함수와 유사한 활성화 함수인 ReLU, Softplus 함수를 적용하여 모형의 결과를 비교하였다.
본 연구에서는 구축한 자료의 70%를 학습자료 (training data)로 이용하였으며 15%를 검증자료 (validation data), 15%를 평가자료 (test data) 로 사용하였다. 각 모형별 인공신경망 모형의 최적 노드 수를 결정하기 위하여 5, 10, 15, 20, 25, 30, 35, 40개의 노드 수를 각각 적용하여 시행착오법을 수행하였으며, 가중치의 초기값에 따른 편차를 고려하기 위해 각 경우마다 10번씩 학습을 수행하고 검증자료 (validation data)를 이용하여 최적 노드 수를 결정하였다. Table 1은 본 연구에서 구축한 인공신경망 모형에 적용한 역전파 알고리즘, 학습률, 학습반복횟수, 학습자료, 검증자료, 평가자료에 대한 정보를 정리한 것이고, Table 2는 각 모형의 은닉층의 활성화 함수와 출력층의 활성화 함수, 최적 노드 수를 정리한 것이다.
Table 1
Set-up of ANN structure and dataset
Table 2
Optimal number of hidden nodes for each ANN model
입력자료와 출력자료는 최솟값, 최댓값을 이용한 정규화 (min-max normalization)를 통해 0과 1사이의 값을 가지도록 전처리하였다. 수문자료, 기상자료의 특성상 과거 자료의 극값에 의한 제한을 방지하기 위해 학습자료 최댓값의 1.2배를 적용하여 식 (2)와 같이 정규화를 수행하였다.
4. 평가방법
본 연구에서는 인공신경망 모형의 성능을 평가하기 위해 실측치와 모의치를 비교하여 결정계수 (
), Nash and Sutcliffe Efficiency (
) (Nash and Sutcliffe, 1970)와 이를 변형한 
(Pushpalatha et al., 2012), Percent BIAS (
) (Gupta et al., 1999)의 네 통계변량을 산정하였다. 실측치와 모의치의 그래프와 산정한 네 통계변량을 고려하여 모형의 성능을 평가하고 유출량 산정 인공신경망 모형에 적절한 활성화 함수를 제안하였다. Table 3은 
, 
, 
, 
의 식과 간단한 설명을 정리한 것이다. 각 통계변량의 평가기준은 Moriasi et al. (2015)이 제안한 기준을 적용하였다.
Table 3
Properties of statistical parameters
for low flow
: observed data
: average of observed data
: simulated data
: average of simulated data
: small constant (1% of the 
)Ⅲ. 결과 및 고찰
1. 모형 구축
본 연구에서는 활성화 함수에 따른 유량 산정 인공신경망 모형의 성능을 비교하고 평가하고자 은닉층과 출력층에 적용된 활성화 함수의 조합에 따라 12개 인공신경망 모형을 구축하였으며, 각 인공신경망 모형 별로 5, 10, 15, 20, 25, 30, 35, 40개의 노드 수를 적용하고 시행착오법을 통해 은닉층의 최적 노드 수를 결정하였다. 최적 노드 수는 은닉층의 활성화 함수에 따라 15, 35, 40개로 결정하였으며, 출력층의 활성화 함수에 따른 차이는 없었다. 이는 출력층에 적용된 Identity, ReLU, Softplus 함수의 경우 음수 입력에 대한 차이가 있을 뿐, 양수 입력에 대해서는 동일하거나 근사한 값을 출력하기 때문으로 사료된다. 본 연구에서 학습자료로 사용된 유출량은 양수 값으로 구성되어 있으며, Identity 함수를 출력층의 활성화 함수로 한 경우에 출력층의 편향 (bias)에 의해 극히 일부에서 음수 값이 발생하는 경우를 제외하고 양수 값을 출력하고 있다. 따라서 양수 입력에 대해서 Identity 함수와 동일하거나 근사한 값을 출력하는 ReLU, Softplus 함수를 출력층의 활성화 함수로 적용한 경우에도 최적 노드 수는 Identity 함수를 적용한 경우와 큰 차이가 없는 것으로 사료된다.
2. 인공신경망 모형 적용
가. 인공신경망 모형 학습
본 연구에서는 학습자료 (training data)를 이용하여 인공신경망 모형을 학습하고 가중치를 갱신하였다. 학습된 인공신경망 모형에 검증자료 (validation data)를 적용하고 그 결과를 비교하여 최적 노드 수를 결정하였으며, 평가자료를 적용하여 모형의 성능을 비교하였다. Table 4는 최적 노드 수에 따라 모형을 구성한 후 학습된 결과를 확인하기 위해 검증 자료를 적용하여 산정한 통계변량과 평가자료에 대한 인공신경망 모형 적용 결과를 정리한 것이다. 최적 노드 수에 따라 구성한 인공신경망 모형을 학습한 결과 검증기간에 대한 통계 변량은 
가 0.874~0.929, 
가 0.868~0.929로 나타났다. 
의 경우 model 5, model 8에서 0.442, 0.052로 0.5 보다 작은 값을 나타내었으나 그 외 모형에서는 0.650~0.834의 범위를 보였으며, 
는 model 2를 제외한 모형에서 0.13~9.60의 범위를 보여 대체로 양호하게 학습된 것을 확인할 수 있다. model 2, model 5, model 8은 출력층에 ReLU 함수를 활성화 함수로 적용한 경우로 세 모형 모두 
, 
에서는 양호한 결과를 보였으나 저유량에 대한 평가 지표인 
와 실측치와 모의치의 대소 관계에 대한 평가지표인 
에서 다소 성능이 낮은 것을 확인할 수 있다. 이는 출력층에 ReLU 함수를 활성화 함수로 적용할 경우 은닉층에서 전달받은 입력 중 음수인 정보를 출력하지 않고, 가중치의 갱신 또한 이루어지지 않기 때문으로 사료된다. Table 4에서 검증자료에 대한 
, 
가 0.87 이상으로 고유량에 대한 학습이 잘 이루어진 반면 저유량에 대한 예측이 잘 수행되지 않은 것을 확인할 수 있다. Glorot et al. (2011)은 ReLU 함수를 은닉층에 적용할 경우 dropout과 같이 은닉층의 노드 중 일부를 확률적으로 제외하고 학습을 수행하는 효과가 있어 모형의 성능이 향상된다고 밝힌바 있다. 그러나 본 연구에서 사용한 
일의 유량을 산정하는 모형의 경우 출력층의 노드가 하나이므로 정보가 전달되지 않을 경우 학습을 수행할 수 없으며, 실제 모형을 적용할 때도 저유량에 대한 출력이 없는 경우가 발생하여 model 2, model 5, model 8과 같이 
, 
에서 평가기준을 만족하지 못하는 결과가 나타난 것으로 사료된다.
Table 4
Statistical parameters of validation and test data for the each ANN model
나. 인공신경망 모형 평가
본 연구에서 검증 자료를 통해 설정한 최적 노드 수에 따라 구성한 인공신경망 모형을 학습하여 유량 산정 인공신경망 모형을 구축하고, 평가자료 (test data)를 적용하여 통계변량을 산정한 결과 
는 0.808~0.915로 나타났으며, 
는 model 9의 0.545를 제외한 모든 모형에서 0.841~0.907의 범위를 보였다. 
은 model 1, model 5, model 8이 각각 0.482, -0.003, -0.759로 0.5 보다 작았으며 이들을 제외한 모형에서는 0.515~0.721로 나타났다. 
는 model 2를 제외한 나머지 모형에서 3.71~13.03의 범위를 보였다. model 2, model 5, model 8은 Table 4에서 학습이 잘 이루어지지 않은 것을 확인하였고, 평가자료에 대한 결과에서도 저유량에 대한 예측이 잘 이루어지지 않는 것을 확인할 수 있다. model 1의 경우 검증자료에 비해 평가자료에서 성능이 다소 떨어져 
이 0.482로 0.5 보다 작았다.
전체적으로 검증자료에 대한 통계변량에 비해 평가자료의 통계변량 
, 
, 
는 작고, 
는 높은 것으로 나타났으며, 이는 최적 노드 수를 결정할 때 검증자료에 대해 뛰어난 성능을 보이는 인공신경망 모형을 최적 모형으로 결정하기 때문으로 판단된다. 검증자료는 가중치의 갱신을 위해 사용되지는 않지만 검증자료에 대해 우수한 성능을 보이는 인공신경망 모형을 최적 모형으로 결정하므로, 평가자료에 대해서는 검증자료에 비해 다소 성능이 떨어지는 것을 확인할 수 있다. 또한 학습반복횟수 (epoch)를 과다 설정할 경우 과적합에 의해 평가자료에 대한 성능이 오히려 떨어질 수 있으며, 이러한 문제는 적절한 학습 중단 기준을 설정하는 것으로 어느 정도 보완할 수 있을 것으로 사료된다.
다. 활성화 함수에 따른 인공신경망 모형 비교⋅평가
본 연구에서는 활성화 함수에 따른 유량 산정 인공신경망 모형의 성능을 비교하고 평가하고자 통계변량 
, 
, 
, 
와 실측치와 모의치의 그래프를 비교하였다.
Fig. 4는 평가자료에 대한 각 모형별 통계변량을 막대그래프로 도시한 것이다. 
의 경우 모든 모형에서 평가기준을 만족하는 것으로 나타났으며 은닉층의 활성화 함수가 Sigmoid (model 1, model 2, model 3), Hyperbolic tangent (model 4, model 5, model 6), ELU (model 10, model 11, model 12) 함수인 경우에 전체적으로 
가 0.9를 상회하거나 그에 근접하는 높은 값을 보였다. 은닉층의 활성화 함수가 ReLU (model 7, model 8, model 9) 함수인 경우 
가 0.8 이상의 값을 가졌으나 다른 모형에 비해 다소 낮은 것을 확인하였다.
의 경우에도 모든 모형에서 평가기준을 만족하였으며, 은닉층의 활성화 함수가 ReLU 함수인 경우에 다른 모형에 비해 
가 다소 낮은 것으로 나타났다. 
의 경우 출력층의 활성화 함수가 Identity, ReLU 함수인 경우 중 model 1, model 5, model 8에서 평가기준을 만족하지 못한 것으로 나타났으며, 출력층의 활성화 함수가 Softplus 함수인 경우는 모든 모형에서 평가기준을 만족한 것으로 나타났다. 그러나 
이 가장 높은 모형은 출력층의 활성화 함수로 Identity 함수를 적용한 model 10으로 확인되었다.
의 경우 model 2를 제외한 모든 모형에서 기준을 만족하였고, 은닉층에 Sigmoid 함수를 적용한 경우 다른 모형에 비해 성능이 다소 떨어지는 것으로 나타났다. 은닉층에 Hyperbolic tangent, ReLU, ELU 함수를 적용한 경우에는 출력층에 Identity 함수를 적용한 경우의 
가 가장 작아 성능이 양호하였고, 출력층에 Softplus 함수를 적용한 경우의 
가 높아 성능이 떨어지는 것으로 나타났다.
Fig. 5는 실측치와 모의치의 산점도를 로그스케일로 도시한 것이다. 전체적으로 고유량 자료에 대한 예측은 비교적 정확하게 수행하고 있는 것을 확인할 수 있으며, 출력층의 활성화 함수에 따라 산점도의 형태가 달라지는 것을 확인할 수 있다. 특히 출력층의 활성화 함수로 Softplus 함수를 적용한 경우 저유량에서 일정 값 이하의 모의치를 출력하지 못하는 것으로 나타났다. 이는 Softplus 함수의 그래프 개형이 음수 입력에 대해 y=0을 점근선으로 0에 가까워지는 형태를 가지기 때문에 그 출력값 또한 그래프 개형과 유사한 형태를 보이는 것으로 사료된다. ReLU의 경우에도 Softplus 함수와 유사한 그래프 개형을 가지고 있으나, Softplus 함수와는 다르게 음수 입력에 대한 정보를 전달하지 않기 때문에 Softplus 함수와는 산점도 형태에서 차이가 있으며, 오히려 Identity 함수와 유사한 형태로 나타났다. 통계변량을 비교해 보았을 때 출력층에 Softplus 함수를 적용한 경우는 평가기준을 모두 만족하기는 하였으나 다른 모형에 비해 대체로 성능이 낮은 것을 확인할 수 있다. Identity 함수와 ReLU 함수를 출력층에 적용한 경우에는 고유량에서 비교적 정확하게 예측을 수행하는 반면 저유량에서 산점도가 분산되어 있는 형태로 나타났다.
통계변량 
, 
, 
, 
와 산점도를 비교하여 보았을 때 전체적으로 은닉층의 활성화 함수가 Sigmoid 함수, Hyperbolic tangent 함수인 경우에 
, 
에서 성능이 뛰어난 것을 확인할 수 있었다. 그러나 Sigmoid 함수를 은닉층의 활성화 함수로 적용한 경우 
과 
에서 성능이 다소 낮은 것을 확인하였다. ELU 함수를 은닉층의 활성화 함수로 적용한 경우 모든 통계변량의 평가기준을 만족하였으며 모형의 성능 또한 우수한 것으로 나타났다. ReLU 함수를 은닉층의 활성화 함수로 적용한 경우에는 다른 모형에 비해 성능이 다소 낮은 것을 확인하였다.
출력층의 활성화 함수는 대체로 Identity 함수를 적용한 경우가 가장 성능이 뛰어났으며, Softplus 함수를 적용한 경우에 성능이 가장 떨어지는 것으로 나타났다. ReLU 함수를 적용한 경우에는 
, 
에서는 우수한 성능을 보였으나, 
, 
는 일부 모형에서 기준을 만족하지 못하는 것으로 나타났다. 이는 입력에 따라 출력을 전달하지 않는 ReLU 함수의 특성으로 인해 저유량에서 삭제되는 정보가 발생하였기 때문으로 사료된다. 이를 종합하였을 때 유량 산정 인공신경망 모형의 경우 은닉층의 활성화 함수로 Hyperbolic tangent, ELU 함수를 적용하고, 출력층의 활성화 함수로 Identity 함수를 적용하는 것이 적절할 것으로 사료된다.
Fig. 6과 Fig. 7은 2013.02.06.~2019.12.31.의 평가자료 중 2013, 2014, 2015년의 4월부터 10월까지에 대해 Hyperbolic tangent 함수 (model 4)와 ELU 함수 (model 10)를 은닉층의 활성화 함수로 적용하고, Identity 함수를 출력층의 활성화 함수로 적용한 인공신경망 모형을 이용하여 실측치와 모의치를 시계열 그래프로 도시한 것이다.
은닉층에 Hyperbolic tangent 함수와 ELU 함수를 적용한 경우 모두 유량을 적절히 모의하고 있는 것을 확인할 수 있다. 특히 고유량이 관측된 2013년 여름의 경우 비교적 정확하게 유량을 모의하였다. 2014년과 2015년은 관측된 유량이 비교적 작았으며 일부 과소 산정하거나 과대 산정하는 경우가 있었다. 2014년 7월 말, 2015년의 7~8월에서 모의치 그래프가 진동하는 형태로 나타난 구간이 있으며, ELU 함수를 적용하였을 때 그 폭이나 횟수가 더 많은 것으로 나타났다. 이는 출력층에 Identity 함수를 적용하였을 때 편향에 의해 발생하는 문제로 은닉층에 Hyperbolic tangent 함수를 적용한 경우가 ELU 함수를 적용한 경우에 비해 유량을 안정적으로 모의하는 것을 확인할 수 있다.
Ⅳ. 결 론
본 연구에서는 활성화 함수에 따른 유량 산정 인공신경망 모형의 특성을 비교하고 평가하고자 하였다. 단순신경망 모형의 은닉층에 Sigmoid, Hyperbolic tangent, ReLU, ELU 함수를 적용하였고, 출력층에는 Identity, ReLU, Softplus 함수를 적용하였다. 모형의 평가를 위해 통계변량 
, 
, 
, 
를 산정하였으며 실측치와 모의치의 산점도와 시계열 그래프를 비교하였다. 은닉층과 출력층의 활성화 함수 조합에 따라 12개 모형을 구성하였으며, 최적 노드 수는 은닉층의 활성화 함수에 따라 15, 35, 40개로 결정하였다. 구축된 인공신경망 모형의 학습 결과를 확인하기 위해 검증자료를 적용하였고, 모형의 평가를 위해 평가자료를 적용하였다.
검증자료와 평가자료에서 
와 
는 대체로 0.8 이상으로 나타나 양호한 성능을 보였으나 ReLU 함수를 출력층에 적용한 모형 중 model 2, model 5, model 8에서 
, 
의 평가기준을 만족하지 못한 것으로 나타났다. 이는 ReLU 함수가 음수 입력에 대한 정보를 출력하지 않기 때문에 출력층의 편향에 의해 일부 모의치가 누락된 것으로 사료된다. 가중치와 편향은 초기값에 따라 달라지지만 적절한 초기값을 설정하기 위해 많은 시간과 노력이 요구될 것으로 사료된다.
평가자료의 경우 전체적으로 검증자료에 비해 성능이 낮은 것으로 나타났으며, 이는 최적 모형 선정에 이용된 검증자료가 아닌 별도의 평가자료를 입력자료로 적용한 결과이다. 이러한 문제는 적절한 학습 중단 기준을 설정하고 적용하는 것으로 어느 정도 보완할 수 있을 것으로 사료된다.
전체적인 결과를 종합하였을 때 은닉층의 활성화 함수에 Sigmoid, Hyperbolic tangent, ELU 함수를 적용한 경우 
, 
가 높게 나타났으나, Sigmoid 함수를 적용하였을 때 
가 다른 모형에 비해 성능이 떨어지는 것으로 나타났다. 따라서 유량 산정 인공신경망 모형의 은닉층에는 Hyperbolic tangent 함수와 ELU 함수를 사용하는 것이 적절할 것으로 사료된다.
출력층의 활성화 함수는 동일한 은닉층 조건에서 대체로 Identity 함수를 적용한 경우 성능이 우수하고, Softplus 함수를 적용한 경우 성능이 떨어지는 것으로 나타났다. ReLU 함수를 적용한 경우에는 대부분의 모든 모형에서 
, 
의 평가기준을 만족하지 못하는 경우가 발생하였다. 따라서 유량 산정 인공신경망 모형의 출력층에는 Identity 함수를 활성화 함수로 적용하는 것이 적절할 것으로 사료된다.
은닉층의 활성화 함수로 Hyperbolic tangent 함수와 ELU 함수를 적용하고, 출력층의 활성화 함수로 Identity 함수를 적용한 model 4, model 10의 유량 시계열 그래프에서 두 모형 모두 유량을 적절히 산정하는 것으로 확인되었다. 저유량의 경우 Hyperbolic tangent 함수를 적용한 model 4에서 더 안정적으로 모의치를 산정하였으며, ELU 함수를 적용한 model 10의 경우 비교적 출력층의 편향의 영향을 더 많이 받는 것으로 나타났다.
본 연구에서는 활성화 함수에 따른 유량 산정 인공신경망 모형의 성능을 비교하고 평가하였다. 은닉층의 활성화 함수로 기존 연구에서 많이 사용되었던 Sigmoid 함수에 비해 Hyperbolic tangent, ELU 함수를 적용한 인공신경망 모형의 성능이 더 우수하였으며, ReLU 함수를 적용한 경우는 성능이 떨어지는 것을 확인하였다. 출력층의 활성화 함수로는 Identity 함수를 적용한 경우 성능이 가장 뛰어났고, ReLU함수와 ELU 함수를 적용한 경우에는 출력값에 일부 제한이 있었다. 본 연구에서 활성화 함수가 유량 산정 인공신경망 모형의 성능에 미치는 영향을 확인하였으며, 유량 산정을 위한 인공신경망 모형의 활성화 함수에 따른 모형의 특성을 파악하고 적절한 활성화 함수를 선정하는데 도움이 될 것으로 기대된다. 또한 유량 산정 인공신경망 모형을 구성할 때 기존에 사용되던 활성화 함수 이외의 다양한 활성화 함수를 적용하고 적절한 활성화 함수를 선정해야 할 필요가 있을 것으로 사료된다. 향후 연구에서 대상 유역을 확대하여 다양한 유량 자료에 대한 인공신경망 모형을 적용하고 결과의 신뢰성을 높일 수 있을 것으로 기대되며, 추가적인 활성화 함수를 적용하여 유량 산정 인공신경망 모형의 개선 방향을 제시할 수 있을 것으로 사료된다.
