Ⅰ. 서 론
현재 우리나라의 농촌마을종합개발 현장에서는 수많은 지역역량강화 사업이 실시되고 있으며, 이 분야의 프로그램 개발과 그에 따른 성과 제시에 대한 관심과 중요성은 그 어느 때보다 높다. 지역역량강화 사업에는 다양한 세부 프로그램이 존재한다. 각각의 프로그램은 목적에서부터 내용, 대상, 시기, 운영방법, 규모 등이 매우 다양하여 프로그램의 평가에 있어서 객관적인 평가준거와 지표를 개발하는 것은 매우 어려운 작업이다. 이는 프로그램의 광범위한 기능과 역할을 고려한 과정적⋅결과적 평가가 이루어져야하기 때문이다.
그동안 평생교육, ODA (official development assistance), 지역역량강화 등 주민을 대상으로 하는 프로그램에 대한 성과평가방법은 ‘블랙박스평가 (black box evaluation)’로 알려져 있는 투입→(과정)→산출 모형이 사용된다. 이 방법은 논리모델로서, 목적-목표-평가 간의 논리적 연결 및 측정방법에서 객관성과 신뢰성을 확보하고 있어 성과평가를 측정하고자 할 때 많이 활용되는 방법 중의 하나이다. 논리모델의 장점은 논리모델은 프로그램의 산출이 단기, 중기, 장기성과에 어떻게 이어지는지를 논리적으로 명확히 보여줄 수 있어서 (Poister, 2004), 각각의 프로그램의 요소에서 적절한 성과 지표를 도출하는 데 도움을 준다. 하지만 논리모델은 프로그램의 평가에서 ‘과정’에 해당하는 중재변인 (매개변인)의 역할에 대하여 어떤 메카니즘으로 그러한 성과가 나왔는지를 설명하지 못하는 한계가 있다. 따라서 평가를 시행하고자 하는 지역에 대한 현황진단과 함께 프로그램에 대한 과정평가가 도입되는 모니터링 평가와 함께 실시한다면 결과만을 제시하는 성과평가의 한계를 상호보완하게 될 것이다.
최근 농촌개발사업 분야에서도 모니터링을 중요한 평가로 규정하고 있다 (MAFRA, 2018). 농촌중심지활성화 선도지역의 계획수립과 사업추진과정의 단계별 추진현황을 점검하고 조치사항을 이행하도록 권고하는 모니터링을 중점과제로 제시하고 있다. 따라서 모니터링 평가는 단순히 한 시점의 차원을 넘어 프로그램의 연속선상에서 거시적인 분석을 가능하게 하는 평가기법으로 이해할 수 있을 것이다.
그러나 모니터링이 평가로서 주목을 받지 못했던 이유는 모니터링을 실시해야 하는 단계나 평가준거를 체계화하지 않음으로써 단순 정보수집 이상의 의미를 갖지 못했다. 또한 모니터링이 프로그램 전⋅중⋅후 지속 실시됨으로써 평가보다는 프로그램의 일환으로 인식하는 경향이 있었다.
하지만 모니터링 평가가 갖는 본래의 의미는 프로그램 실행에서 각 단계를 이어주는 실질적인 연결지점에 대해 검증하는 것이며, 특히 프로그램 제공자가 학습자와 만나는 지점에 초점을 두고 있다. 따라서 평가를 시행하고자 하는 지역에 대한 현황진단과 함께 프로그램에 대한 과정평가가 도입되는 모니터링 평가와 함께 실시한다면, 성과평가에서 상호보완적 기능을 하게 될 것이라는 추진 배경이다. 관련하여 최근 PM의 중요한 역할로서 농촌중심지활성화 선도지역의 계획수립과 사업추진과정의 단계별 추진현황을 점검하고 조치사항을 이행하도록 권고하는 모니터링을 중점과제로 제시 (MAFRA, 2018)하고 있는 것과 일맥상통한다.
이에 영월읍 PM단에서는 농촌중심지활성화 일환으로 시행되고 있는 2018년 영월읍 사업 가운데 지역역량강화 프로그램에 대한 모니터링을 시범 실시하였다. 이는 지역역량강화 사업에 있어서 평가자 뿐 아니라 기존에 간과되었던 피평가자와 지역주민을 포함한 평가핵심관련자들의 관점과 의견 등을 수집하고, 분석하기 위해서이다.
따라서 본 연구에서는 지역주민의 역량을 강화하기 위해 실시하는 현행 프로그램에 대한 양적⋅질적 평가를 토대로 Need, Software, Humanware로 나누어 결과를 고찰하였다. 이는 현재 진행 중인 프로그램에 반영할 뿐 아니라, 향후 사업에도 반영하도록 제안함으로써 궁극적으로는 농촌중심지활성화 사업을 통해 영월읍 지역주민 스스로가 필요한 것을 찾아내고 해결해 나갈 역량을 기르도록 돕기 위함이다.
Ⅱ. 문헌 고찰
지금까지의 프로그램 평가는 실행 과정에 관한 체계적인 분석은 배제되고 결과 지향적, 목적 지향적인 평가에 초점이 맞추어 왔다 (Mohr, 1995). 하지만 프로그램이 실시될 경우, 그 정책이나 프로그램을 합목적적인 면에서 본래의 취지에 부합되어 집행되도록 해야 한다. 아울러 기대하는 프로그램의 효과나 영향을 증대시키기 위해서 실시된 프로그램 활동과 나타난 결과 간에 어떤 인과관계 내지 상관관계가 있는지를 밝혀줌으로써 그 프로그램의 미비점을 보완·개선하는 데 유익을 주는 과정평가의 필요성이 있는 것이다.
모니터링 평가는 실천적인 활동이지만, 반드시 사회과학의 이론적 기초를 바탕으로 해야 한다. Walter (1976)는 모니터링을 정책집행 과정평가의 한 기법으로서 하나의 정책이나 프로그램이 집행되는 과정에서 전개되어지는 사건들에 관한 구체적인 정보의 수집과 그 프로그램이나 정책의 개선에 수집된 정보를 활용하는 것이라고 정의하였다. 또한 평가의 형태 가운데 가장 중요한 두 가지 중 하나가 모니터링이라고 하면서, 모니터링이란 프로그램의 집행과 결과에 초점을 맞추는 것이라고 하였다 (Chen, 2005; Rossi et al, 2004).
MOE (2004)의 국고지원 연구 사업의 책무성 제고를 위한 평가/모니터링 구축 연구에서는 모니터링의 개념을 프로그램의 실시과정이 미리 계획한 대로 진행되고 있는가를 점검해 가는 일련의 과정이라고 정의하였다.
따라서 모니터링 평가에 대한 정의를 정리해보면, 모니터링 평가는 하나의 정책이나 프로그램이 집행되는 과정에서 전개되어지는 사건들에 관한 구체적인 정보의 수집과 그 프로그램의 개선에 수집된 정보를 활용하는 것이라고 할 수 있다.
모니터링 평가 개념은 실험설계에 의존한 전통적인 평가연구의 단점인 이른바 black box research의 문제를 해결하려는 맥락에서도 이해할 수 있다. 엄격한 실험처치 설계를 해서 프로그램의 효과에 대한 정보는 얻을 수 있어도 그 과정에 대한 정보를 알기 어렵다는 지적에 대한 대안이라고도 할 수 있다 (MOE and KEDI. 2004).
그러나 모니터링 평가에 대한 법제도적 근거 및 정의, 구체적 방법에 대한 가이드라인이 미비한 상태이다. 정부의 ODA사업 평가 및 모니터링에 기준이 되고 있는 KOICA의 가이드라인에서도 상시적 모니터링을 통해 실시간으로 변화하는 환경에 적응할 필요가 있다는 점에 대해 추상적으로 언급하고 있을 뿐이다 (KOICA, 2010).
일본의 경우, ODA사업 모니터링에 대해 정부정책평가법 (The Government Policy Evaluation Act)을 근거로 법제도적 규정이 되어 있을 뿐만 아니라, 평가와 모니터링 연계확보를 중요한 활동으로 법정화했다 (제18조, 제16조). 또한 사업 전 과정에 대한 모니터링을 실시하고 있으며, 사업 종료 후 모니터링을 사업수행 중 모니터링과 구분해 구체적으로 가이드라인을 개발하고 이를 적용하고 있다 (MOFA, 2011).
호주는 ODA사업 프로그램에 대한 모니터링 및 평가체계의 유기적 연계를 위해 QAI (quality at implementation)라는 기준을 개발해, 중간평가, 종료평가, 모니터링의 전 과정에 적용하고 있다 (AusAID, 2011). 이러한 평가 및 모니터링 결과를 분석하고 학습하는 활동을 중요한 ODA사업 평가기준으로 삼고 있다.
캐나다는 개별사업의 특징과 상황에 맞게 ODA사업 평가 및 모니터링을 개발하도록 하고, 그 기준이 되는 평가의 준거점을 개발 제공함으로써 전반적인 ODA사업 성과관리를 실시하고 있다 (CIDA, 2004).
또한 영국은 ODA사업에 대한 수원국별 전략을 수립하고 그 전략을 바탕으로 집행전략 평가전략 등을 정립하도록 하고 있어, 평가와 집행, 모니터링 등 사업의 전 단계를 연계해 성과관리를 집중적으로 수행하고 있다 (DFID, 2011).
이와 같이 모니터링 평가는 하나의 평가기법으로 인정받고 있으면서 실용성이 강조된 평가모델이다. 따라서 지역역량강화 프로그램에 대한 모니터링 평가체계에 용이한 개념모형을 수립하고, 이를 농촌개발 지역현장에 적용하고 평가할 필요가 있을 것이다.
Ⅲ. 연구 방법
1. 모니터링 대상 및 기간
본 연구에서의 모니터링 대상은 디자인장인육성, 향토민요전수, 영월체험관광해설사 등 3개의 프로그램이다. 교육기간은 10월 24일부터 11월 26일에 걸쳐 진행되었으며, PM단은 프로그램 일정을 고려하여 각 4회씩 모니터링을 실시하였다. 그 내용은 Table 1과 같다.
Table 1
Program schedules and duration
2. 측정도구
가. 모니터링 양적 평가 도구
본 연구에서는 Oh (2000), Joo and Kwon (2008)이 개발한 모니터링 평가체계로서, 구성 요인은 Table 2와 같이 평가영역, 평가준거, 평가지표, 평가기준이다. 기본적인 틀은 프로그램의 유용성, 조직의 효율성, 프로그램의 효과성의 3가지 요소로 구성되었다. 또한 지역역량강화 프로그램이 얼마만큼의 유용성을 지니고 있는지는 학습자 차원과 프로그램 차원으로, 얼마나 효율적인지는 기관과 운영 및 관리 차원으로, 프로그램의 효과성 측면에서는 학습자, 프로그램, 기관 차원으로 분류하여 준거항목 도출의 기초적인 틀을 마련하였다.
Table 2
The contents, criteria, and indicators of program monitoring
3. 모니터링 평가자
지역역량강화 프로그램에 대한 다양한 평가 이해관계자들 중 프로그램의 모니터링 평가 측면에서 평가 핵심이해관계자 집단을 선정하는 것은 추후 연구의 타당성을 결정하는 중요한 사항이다. 지역역량강화 프로그램에 대한 모니터링 평가를 실시할 때, 직접적인 영향을 주거나 받으며, 그 결과를 일차적으로 활용하는 사람들을 모니터링 평가의 핵심이해관계자라고 규정하였다 (Rossi et al., 2004). 여기에는 지역역량강화 용역사의 실무자와 프로그램 참여자, 강사가 해당되며, 그들을 본 연구의 실증적 타당화 대상으로 선정하였다. 지역역량강화 용역사의 실무자는 현재 지역역량강화 프로그램을 운영 중인 기관에 근무하는 자로서 해당 프로그램의 유지, 수정, 폐지에 결정적인 역할을 담당하고 실질적인 운영상의 문제해결을 책임지는 사람들을 말한다. 프로그램 참여자는 지역역량강화 용역사에서 개발한 프로그램에 참여하는 지역 주민을 말한다. 프로그램 전달자로서 강사는 해당 프로그램의 전문성을 갖춘 이해관계자 집단이다.
따라서 본 연구에서는 영월읍 지역역량강화 사업 프로그램을 모니터링하기 위하여 지역역량강화 사업의 핵심이해관계자인 프로그램 참여주민, 지역역량강화 용역사의 담당실무자, 프로그램 강사를 대상으로 평가지표에 근거한 양적 평가와 인터뷰에 의한 질적 평가를 실시하였다. 모니터링 평가자 (MAFRA, 2018)는 농촌중심지활성화 선도지구 영월읍 PM단이며, 이력을 살펴보면 Table 3과 같다.
Table 3
The PM committee members
4. 모니터링 대상 프로그램 선정과정 및 이유
본 연구에서는 모니터링 대상 프로그램을 선정하기 위하여 2018년 6월 중에 지역역량강화사업 용역사, PM단, 추진위원회 간 회의를 진행하였다. 용역사에서는 2018년 하반기부터 실시하고자 하는 사업 가운데 모니터링 대상 프로그램을 제안하였고, PM단과 추진위원회에서 검토한 결과, 디자인장인육성 (꽃차), 향토민요전수, 영월체험관광해설사 등 3개의 프로그램을 선정하였다.
대상 프로그램의 모니터링 평가 절차와 방법은 용역사에서 보내온 해당 프로그램 강의계획서, 강사이력, 참여자 등록관리 파일을 사전 검토한다. 프로그램 진행 과정에 PM단이 직접 참관하여 다차원적 (설문조사 및 주민⋅강사⋅용역사 인터뷰)으로 모니터링을 실시하고 모니터링이 마무리 된 후, PM단은 양적평가와 질적평가 등의 결과 정리한다. 용역사⋅추진위원회⋅PM단⋅관계자 등과 모니터링 평가결과를 공유하고 논의하며, 추후 반영 범위와 수준 등을 결정한다.
이러한 과정을 거치는 이유는 지역역량강화 사업에 있어서 평가자 뿐 아니라 기존에 간과되었던 피평가자, 즉, 지역주민을 포함한 평가핵심관련자들의 관점과 의견 등을 실질적으로 수집하여 프로그램의 과정과 결과를 보다 객관적으로 분석하기 위해서이다.
5. 자료 분석 방법
모니터링 양적 평가로서 PM단이 각 프로그램별로 5점 척도로 된 모니터링 평가도구에 작성한 점수를 평균값으로 산출한다.
모니터링 질적 평가로서 PM단이 직접 프로그램에 참여하여 주민, 강사, 용역사 담당자를 대상으로 인터뷰한 내용과 관찰한 것을 중심으로 기술하고 의미를 추출한다.
프로그램별 모니터링의 양적⋅질적 평가를 토대로 Need, Software, Humanware로 구분하여 그 결과를 제시하고 고찰하였다. Need는 해당 프로그램 참여주민의 프로그램에 대한 수정⋅보완⋅확대 등의 의견을 말한다. Software는 해당 프로그램이 중심지와 배후마을까지 확장 가능한 연계프로그램을 말한다. Humanware는 해당 프로그램이 프로그램 기획자⋅운영자⋅수혜자 간 연계와 동아리, 강사, 단체 등의 조직화를 말한다.
Ⅳ. 결과 및 고찰
본 연구에서는 영월읍 PM단 (6명)은 영월읍 지역역량강화 사업 가운데 3개의 프로그램을 선정하고, 각 4회씩 모니터링을 실시하였다. 모니터링 방법은 양적 평가와 질적 평가가 활용되었으며, 프로그램별 모니터링의 양적⋅질적 평가를 토대로 Need, Software, Humanware로 구분하여 그 결과를 제시하고 고찰하였다.
1. 디자인장인육성 프로그램 모니터링 결과 고찰
가. 모니터링 양적 평가
Table 4와 같이, 과정모니터링은 유용성과 효율성으로 나누어진다. 유용성 (M=3.8)의 하위요인인 평가준거는 학습자 만족도 (M=3.9), 프로그램 개발 (M=3.7), 프로그램 정당성 (M=3.8)이다. 이를 평가지표에 기초하여 모니터링을 실시한 결과, 프로그램의 체계성, 일정, 강의시간, 내용, 방법 등이 지역주민들의 수준과 흥미 등을 고려하여 적절하게 제공되고 있는 것으로 평가되었다. 효율성 (M=3.2)의 하위요인인 평가준거는 용역사구성요인 (M=3), 인적자원 (M=3.6), 편리성 (M=3.6), 서비스 (M=3.9), 프로그램 결과물 (M=1)이다. 이를 평가지표에 기초하여 모니터링을 실시한 결과, 서비스 > 편리성⋅인적자원 > 용역사구성요인 > 프로그램 결과물 순으로 평가되었다. 결과모니터링으로서 효과성 (M=3.8)의 하위요인인 평가준거는 학습자 효과성 (M=3.9), 강사 효과성 (M=4), 논리부합도 (M=4), 결과의 요구부합도 (M=3.4), 핵심이해관계자 요구부합도 (M=3.9)이다. 이를 평가지표에 기초하여 모니터링을 실시한 결과, 대부분의 지표에서 상당히 긍정적인 반응을 얻었으나, 결과의 요구부합도 (프로그램 개발의 전문성, 참여율)에서 전반적으로 낮은 것으로 나타났다.
Table 4
The quantitative evaluation of the program nurturing of design craftsmen
나. 모니터링 질적 평가
Table 5와 같이, 참여주민들은 자신들이 직접 만들고, 먹고, 가져가는 실질적인 프로그램을 선호하였으며, 이는 참여율에도 긍정적인 영향을 미쳤다. 강사의 수업방법에 대해서는 긍정적이었으나, 용역사에 대해서는 그저그렇다는 반응을 보였다. 또한 주민들은 어떤 프로그램이 있는지 잘 모르기 때문에 다양한 프로그램을 용역사가 소개해 주기를 바라고 있었다. 강사는 주민의 교육, 경험 등의 상태를 파악하고 이에 적합한 수업을 진행하려고 노력하고 있으며, 현재 진행하고 있는 프로그램으로부터 파생할 수 있는 다양한 프로그램과 일자리 창출까지의 아이디어를 제안하였다. 용역사는 프로그램 참여자 모집에 있어서 거의 개입하지 않고 주로 지역 추진위원회의 사무국장에게 맡기고 있으며, 지역에 대한 애착수준도 낮은 것으로 나타났다.
Table 5
The qualitative evaluation of the program-nurturing of design craftsmen
다. 프로그램 모니터링 고찰 결과
디자인장인육성 프로그램에 대한 모니터링의 양적⋅질적 평가를 토대로 Need, Software, Humanware로 나누어 논의하고, 결론을 내리면 다음과 같다.
Need로서, 프로그램 참여주민들은 영월지역 산야에서 쉽게 채취할 수 있는 ‘산국화’와 같은 재료를 활용하여 ‘만들어서 가져가는 프로그램’을 매우 만족하고 선호하였다. 따라서 자신들이 직접 만든 물건을 사용함은 물론, 생산기술로까지 발전시켜 이를 경제활동으로 연결해 줄 필요가 있다.
Software로서, 참여하고 있는 프로그램과 관련하여 중심지와 배후지까지 확대하여 하나는 먹거리 프로그램 (양갱만들기, 꽃청 만들기 등)으로 다른 하나는 화장품류 프로그램 (목욕제, 스킨, 로션, 향수 등)으로 구분하여 개설할 필요가 있다. 이는 일자리까지의 가능성을 염두에 두고 설계해야 할 것이다. 이를 위하여 용역사에서는 현재 프로그램 실습과정을 메뉴얼화하여 일정한 결과를 창출할 수 있도록 체계화가 필요하다. 현재 디자인장인육성 프로그램의 주요 참여 대상은 여성 (고령자) 중심으로 운영되고 있는데, 용역사는 지역과 주민에 대한 관심과 애착을 갖고, 다양한 컨텐츠를 개발함으로써 참여 연령의 폭을 확대하고, 남성들의 참여 또한 독려할 필요가 있다.
Humanware로서, 본 프로그램이 지속되고 발전하기 위해서는 용역사는 추진위원회, 주민단체들과의 적극적인 연계⋅협조가 필요하며, 프로그램에 적합한 강사자원 확보와 강사관리에 대해서도 책임성을 가져야 할 것이다. 영월농업기술센터의 도움을 받아 재배-채취-분리-덖음 과정을 마을사업으로 구축할 수 있도록 연계할 필요가 있다. 또한 배후지역에도 관련 프로그램이 전달 개설될 수 있도록 주민조직화, 프로그램 관련 내규 신설, 강의 시설⋅환경 등을 보완해야 할 것이다. 프로그램에 참여한 주민들에게 동아리 결성을 지원하는 등 지속 활동을 장려하고, 관련 조직들 (동아리, 시민단체, 추진위원회, 번영회 등) 간의 구체적인 관계맺음을 통해 공동 생산한 상품들은 오일장 판매나 매장 운영까지 연결될 수 있는 로드맵을 구축해야 할 것이다.
2. 향토민요전수 프로그램 모니터링 결과 고찰
가. 모니터링 양적 평가
Table 6과 같이, 과정 모니터링으로서 유용성 (M=4)의 하위요인인 평가준거는 학습자 만족도 (M=4), 프로그램개발 (M=4), 프로그램정당성 (M=4)이다. 이러한 결과는 프로그램의 체계성, 일정, 강의시간, 내용, 방법 등이 지역주민들의 수준과 흥미 등을 고려하여 적절하게 제공되고 있는 것으로 볼 수 있다. 효율성모니터링 (M=3.2)의 하위요인인 평가준거는 용역사구성요인 (M=3.3), 인적자원 (M=3.8), 편리성 (M=3.7), 서비스 (M=4), 프로그램 결과물 (M=1)이다. 이처럼 평가지표에 기초하여 모니터링을 실시한 결과, 서비스 > 인적자원 > 편리성 > 용역사구성요인 > 프로그램 결과물 순으로 나타났다. 결과모니터링으로서 효과성 (M=3.9)의 하위요인인 평가준거는 학습자 효과성 (M=4), 강사효과성 (M=3.8), 논리부합도 (M=4), 결과의 요구부합도 (M=3.7), 핵심이해관계자 요구부합도 (M=4)이다. 이러한 결과는 평가지표의 대부분에서 상당히 높은 평가를 받은 것으로 나타났다. 하지만 강사 효과성 (강사의 근무조건 만족도)과 결과의 요구부합도 (프로그램 참여율)에서는 낮은 평가를 받은 것으로 나타났다.
Table 6
The quantitative evaluation of the program-inheriting local old folk songs
나. 모니터링 질적 평가
Table 7과 같이, 참여주민은 지금의 프로그램에 대해 매우 만족하고 있으며, 강사의 교수법과 성실함에도 긍정적인 반응을 보였다. 특히 현재 배우고 있는 향토민요를 발표하고 싶은 바람을 가지고 있고, 이를 위해서는 프로그램이 지속적으로 유지되기를 희망하고 있었다. 강사는 주민들의 수준과 욕구를 이해하고, 이를 바탕으로 프로그램을 진행하고자 하였으며, 학습효과를 높이고자 노력하고 있었다. 강사의 요구사항은 수준별 분반과 학습일정의 조정, 발표기회의 확보의 필요성을 강조하였다. 용역사는 진행되고 있는 프로그램에 대한 관심 부족, 지역에 대한 낮은 애착도, 주민에 대한 낮은 관심으로 프로그램에 적극적인 참여를 하고 있지 않는 것으로 보인다.
Table 7
The qualitative evaluation of the program-inheriting local old folk songs
다. 프로그램 모니터링 고찰 결과
향토민요전수프로그램에 대한 모니터링의 양적⋅질적 평가를 Need, Software, Humanware로 나누어 논의하고, 결론을 내리면 다음과 같다.
Need로서, 주민들은 본 프로그램에 참여하면서 공연기회를 만들어 지역에서 활동하기를 원하고 있었다. 따라서 프로그램 참여 수준을 넘어서서 영월지역의 전통향토민요공연단까지의 발전 가능성을 염두에 두고 지속가능 운영을 기획할 필요가 있다.
Software로서, 민요는 노래→발립 (리듬타기)→악기학습 순으로 이루어지는 것이 일반적이다. 그러므로 프로그램의 특성상 악기 (장구, 북 등)까지 연주하도록 지원한다면, 공연할 때 하나의 팀을 구성하기가 수월할 것이다. 학습효과를 위해서는 영월읍 중심지 주민들에게 제공되는 향토민요전수 프로그램 참여자를 초급, 중급, 고급 등 급수별로 나누고, 분기별로 나누어 교육하는 것을 고려할 필요가 있다. 특히 고급단계의 참여주민은 배후지 마을의 프로그램의 보조강사로 활용함으로써, 중심지와 배후지 간의 교류가 일어날 수 있도록 프로그램을 계획할 필요가 있다.
Humanware로서, 주민들에게 지역공동체 의식을 형성하고 강화할 수 있는 동기를 부여한다면, 활력, 자신감, 자긍심을 갖는 프로그램으로 성장 가능할 것이다. 주민 대상 모니터링 결과에서도 서비스 > 인적자원 > 편리성 > 용역사 구성요인 > 프로그램 결과물 순으로 나타났다. 이는 프로그램 참여주민의 조직화, 프로그램 관련 내규 준비, 강의 시설⋅환경 보완, 강사의 근무조건 만족도, 결과의 요구부합도에서 프로그램 참여율의 낮은 평가에 대하여 용역사는 요인을 신중하게 분석하여 현장에 반영해야 할 것이다.
3. 영월체험관광해설사 프로그램 모니터링 결과 고찰
가. 모니터링 양적 평가
Table 8과 같이, 과정 모니터링으로서 유용성 (M=3.7)의 하위요인인 평가준거는 학습자 만족도 (M=3.8), 프로그램 개발 (M=3.7), 프로그램 정당성 (M=3.5)이다. 이러한 결과는 참여 주민들에게 프로그램의 체계성, 일정, 강의시간, 내용, 방법 등 지역주민들의 수준과 흥미 등을 고려하여 적절하게 제공되고 있는 것으로 볼 수 있다. 효율성 (M=3.9)의 하위요인인 평가준거는 용역사구성요인 (M=3.6), 인적자원 (M=3.7), 편리성 (M=3.5), 서비스 (M=3.9), 프로그램 결과물 (M=5)이다. 이러한 결과는 편리성 (강의 장소의 접근성)을 제외한 나머지 평가지표에서 대체로 긍정적인 평가를 받은 것으로 나타났다. 특히 프로그램 결과물 (수료증, 자격증) 발급은 가장 높은 평가를 받았다. 결과모니터링으로서 효과성 (M=3.9)의 하위요인인 평가준거는 학습자 효과성 (M=3.8), 강사 효과성 (M=4), 논리부합도 (M=3.8), 결과의 요구부합도 (M=3.7), 핵심이해관계자 요구부합도 (M=4)이다. 이러한 결과는 평가지표의 대부분에서 상당히 높은 평가를 받은 것으로 나타났다.
Table 8
The quantitative evaluation of the program-nurturing of Yeongwol travel guides
나. 모니터링 질적 평가
Table 9와 같이, 첫째, 참여주민은 강의 위주의 프로그램이 아닌 직접 현장을 돌아보고 설명을 듣는 활동중심의 교육을 매우 선호하고 있었다. 특히 교육 이수 후 받는 수료증이나 자격증은 프로그램 참여의지를 고무하는 것으로 나타났다. 주로 귀농이거나 귀촌한 주민들로 구성되어 있어 영월지역에 대한 호기심이 높고, 이를 경제활동으로 연결하고자 하는 의지를 갖고 있었다. 그러나 기존 주민과의 어울리고자하는 욕구가 낮아 이에 따른 분석과 해결방안 모색이 필요하다. 둘째, 강사는 영월지역에 대해 높은 관심을 가지고 있고, 주민과의 적극적인 교류를 통해 주민의 수준에 적절한 강의를 구성하고 제공하는 것으로 나타났다. 또한 참여주민의 경제활동을 위해 영월군 차원에서 관련 일자리를 만들어 주기를 희망하고 있었다. 셋째, 용역사는 프로그램이 실시되는 날에 한해서만 담당자로서 참여할 뿐, 더 이상의 개입은 없는 것으로 보인다. 지역과 주민에 대해 특별한 애착관계는 없으며, 프로그램 진행은 전적으로 강사에게 의존하는 것으로 보인다.
Table 9
The quantitative evaluation of the program ‘nurturing of Yeongwol travel guides’
다. 프로그램 모니터링 고찰 결과
영월체험관광해설사 프로그램에 대한 모니터링의 양적⋅질적 평가 결과를 Need, Software, Humanware로 나누어 논의하고, 결론을 내리면 다음과 같다.
Need로서, 프로그램 참여 주민들은 교육이수 후, 참여주민이 활동할 수 있는 기회를 영월군 차원에서 만들어 주길 바라고 있으므로, 이에 대해 용역사는 주민들의 욕구를 반영하여 다양한 프로그램을 안내하고 선택을 도울 필요가 있다.
Software로서, 본 프로그램과 관련하여 영월군에서 실시하고 있는 평생학습 프로그램을 전수 분석하고, 영월체험관광해설사 프로그램과는 어떤 관련성을 갖는지 알아볼 필요가 있다. 특히 영월군에는 지역 특성화라고 볼 수 있는 박물관이 많이 구축돼 있다. 민간이 설립한 박물관이든, 공공 박물관이든 영월의 특성을 담아내고 있으므로 이를 체험하고 해설할 수 있는 콘텐츠 생산으로 연결할 필요가 있을 것이다. 현재의 프로그램 참여자는 대부분 귀농/귀촌 이주자들로써 기존 주민들과의 생활에서의 차이는 서로 섞이지 못하고 분리되어 있다. 하지만 ‘지역역량강화’ 차원에서도 영월군민으로써 지역개발의 시너지를 발휘하도록 원주민과 이주민 간 상호이해를 도모하고 정주의식을 높일 수 있는 프로그램 개발을 고려할 필요가 있다.
Humanware로서, 용역사는 보다 적극적인 역할을 통해 영월군 평생학습체계와 연동하기 위하여 평생교육사와 협의를 하고 주민의 역량강화 결과가 지역의 순기능으로 작동되도록 해야 할 것이다. 또한 영월군만의 지역특성에 대한 홍보와 관광지에 대한 프로그램을 개발할 때, 중심지와 배후지의 영월군 소재 박물관장들과 협의를 하고, 협조체제를 구축하여 일자리 창출로의 연계 가능성까지 고려해야 할 것이다. 특히 지역역량강화 사업 위탁 용역사가 현행 문화해설사 프로그램을 또 다른 용역사에 위탁 운영함으로써 주민에 대한 직접 관리가 소홀할 수 있다는 평가를 신중하게 받아들여 조정할 필요가 있다.
Ⅴ. 결 론
본 연구는 영월읍 농촌중심지활성화 사업 선도지구에서 실시하는 지역역량강화 사업 가운데 3개의 프로그램을 선정하여 모니터링을 실시하였다. 모니터링은 평가지표에 기초한 설문 (양적 평가)과 인터뷰 (질적 평가)를 진행하였고, 모니터링 기간은 2018년 10월 24일부터 11월 26일까지이며, 모니터링 평가자는 영월읍 PM단 (6명)이다. 3개의 프로그램에 대한 모니터링 분석 결과를 토대로 결론을 내리면 다음과 같다.
지역주민의 사업 이해도가 낮음으로써 사업의 필요성 또한 낮게 인식하고 있었고, 프로그램 참여도 자발적이지 않은 경우가 많았다. 따라서 지역역량강화 사업의 목적이 주민들의 역량을 강화하여 주민들 스스로 필요한 것을 찾아내고 지역의 문제를 해결해 나갈 수 있는 힘을 기르는 데 있다는 것을 프로그램 진행과정에서도 강조될 필요가 있다.
프로그램에 참여한 주민들은 ‘더 하고 싶고, 관심 있는 활동이 무엇인가?’에 대하여 관심은 많으나 어떤 프로그램이 있고, 무엇을 배워야 할지를 잘 모르고 있다는 응답이 대부분이었다. 따라서 용역사에서는 지역역량강화의 목적을 명확하게 인식하고, 주민이 참여할 만한 프로그램 정보는 물론, 주민들과의 면담을 통해 학습욕구를 발견하고 이를 토대로 프로그램을 제공할 필요가 있다.
현재 진행되고 있는 프로그램은 점차 단계적 수준을 높여 나가기보다는 단순제시 프로그램들이다. 그러나 용역사는 지역역량강화 프로그램은 궁극적으로 농촌중심지활성화 사업과 접목한 교육이어야 하고, 일정 기간 후에는 주민이 지역의 대표를 맡아 능동적으로 사업을 주관하고 이끌어가기 위한 여건을 구축하기 위한 것임을 명심해야 한다.
모니터링은 특히 학습자의 성취와 관련해서 제대로 된 프로그램 제공과 활동이 이루어졌는지를 분석하는 것이 핵심주제가 된다. 따라서 영월읍 중심지와 배후지에 거주하는 주민들이 함께 고루 참여하도록 주민학습망을 조직하고, 프로그램을 개발하되 모니터링을 통해 검증하는 시스템으로 운영되어야 한다.
모니터링 평가를 통해 밝혀진 긍정적인 효과는 프로그램의 가치에 대한 정보를 제공하는 것이며, 부정적인 효과는 프로그램 개선과 직접적인 관련성을 지닌 것으로 결핍, 부족 등의 문제 요인에 대한 경로분석과 해결방안 도출의 과정으로 이어지게 된다. 따라서 용역사는 본 연구에서 시범 운영한 영월읍 지역역량강화 프로그램의 모니터링 결과를 프로그램 진행과정에 충분히 반영해야 한다.
여러 원인으로 용역사의 프로그램 계획과 진행 등이 수차례 변경됨에 따라 PM의 모니터링 평가가 계획대로 진행되기 어려운 점이 있었다. 모니터링을 제대로 진행하기 위해서는 해당 프로그램 실시 전⋅중⋅후에 걸쳐 지속적으로 살펴보아야 보다 풍부하게 그 효과와 문제점을 찾아낼 수 있을 것이다.
