<정책론 제7절 정책평가와 환류>

정책론 6 평가와 환류 및 기획 :: 공시기출 자료모음소

제7절 정책평가와 환류

 

=======================================

󰊱정책평가

-정책대안이 소기의 효과를 가져왔는가를 판단하는 단계로

Ⅱ.필요성과 목적

(1)정책결정과 집행에 필요한 정보제공

①정책의 추진여부 결정

②정책의 내용수정

③보다 효율적인 집행전략 수립

(2)정책과정상의 책임확보

①법적 책임

②관리적 책임

③정치적 책임

(3)이론구축에 의한 학문적 기여

(4)비용절감 등: 단기적으로는 비용이 수반되나 장기적으로는 비용·시행착오를 줄여줌

Ⅲ.정책평가의 단계

(1)목표의 확인

(2)기준의 설정

(3)인과모형의 설정

(4)연구설계(평가설계)의 개발: 자료의 수집과 분석방법을 작성하는 것으로 평가방법을 구체적으로 결정하는 단계

(5)자료의 수집

(6)자료의 분석·해석 및 결과의 제시

Ⅳ.정책평가의 기준

-Dunn은 효과성, 능률성, 대응성, 적절성, 적합성, 형평성을 제시함

(1)효과성: 정책이 의도한 목표를 달성하였는지의 여부로서 목표의 명확성이 중요. 행정관료가 선호하는 고전적 기준으로 정책집행의 고전적 기술자형이나 지시적 위임가형에 적합한 기준. 비용고려는 못함.

(2)능률성: 수단의 극대화에 중점을 두며, 지시적 위임가형에 적합한 기준

(3)주민만족도: 주민이나 정책지지 및 관련 집단의 정치적 지지를 얼마나 이끌어내고 타협·조정했는지의 정도로 질적이고 주관적인 기준이다. 정책집행의 협상자형에 적합한 평가기준이다.

(4)수익자 대응성: 정책수혜집단의 만족도를 중시. 재량적 실험가형에 적합한 기준

(5)체제유지도: 관료적기업가형에 적합한 기준

*(1),(2)는 행정가가, (3),(4),(5)는 정치가가 각각 선호하는 기준임. 대체로 고전적·안정적 상황에서는 정책목표의 달성도가, 불확실한 상황에서는 정책의 가치를 재음미하는 것 등이 평가기준이 됨

Ⅴ.정책평가의 한계와 평가결과의 활용

(1)방법론상의 장애

(2)인과관계의 입증곤란

(3)정책영향의 확산으로 통제집단의 선정 곤란

(4)관료들의 저항과 비협조

(5)평가의 객관성(공정성) 및 적실성 문제: 제3의 독립된 전문평가기관의 구축 필요

(6)평가결과의 활용 미흡

정당하지 못한 정책평가: 의사평가

(1)의의: Dunn은 이러한 사이비평가를 막기 위해서는 평가성검토가 필요하다고 하였다.

(2)의사평가의 원인과 형태(Schuman)

①기만: 외관이 현실을 대신(표면상 좋게 보이는 측면만 선택하여 평가)

②호도: 변명이 검증을 대신(실패은폐)

③매장: 정치가 과학을 대신(사업의 무력화나 파괴

④가장: 의례가 조사를 대신(객관성을 가장한 제스처)

⑤지연 또는 회피: 서비스가 조사를 대신 (평가 지연)

(3)Dunn의 정책평가접근법

①유사평가: 의사평가라고도 하며 가치가 고려되지 않는 평가임

②공식적 평가: 기관의 공식적 가치만 고려하는 평가

③결정이론의 평가: 유사평가나 공식적 평가의 결함을 보완하기위한 가치지향적 평가. 잠재적인 이해관련자들의 목표나 가치 측정에 적합

 

=======================================

󰊲정책평가의 유형과 방법

 

Ⅰ.평가시기에 따른 유형

(1)형성적 평가: 정책이 집행되는 도중에 이루어지는 평가, 진행평가·도중평가라고도 함. 과정평가와 많은 부분 중복된다.

(2)총괄적 평가: 정책이 집행된 후에 정책의 효과성을 평가하는 것, 일반적으로 평가라고 하면 총괄평가를 말하며, 평가기준에 따라 능률성평가, 효과성평가, 영향평가 등으로 나뉜다.

Ⅱ.평가목적에 따른 유형

1.과정평가

(1)협의의 과정평가(인과관계의 경로평가)

①총괄평가의 완성을 위한 보완적 수단으로 사후적 과정평가라고도 함

②정책효과 발생의 인과경로를 밝혀서 총괄평가를 보완하고 다른 상황에 대한 정책의 적용여부와 정책실패의 중요한 원인 중 하나인 인과경로의 잘못을 밝힘

(2)집행분석 또는 집행과정평가(형성평가)

①정책이 의도했던 대로 집행되었는지를 확인·점검하는 것. 프로그램의 문제점을 발견·시정하고 집행활동의 설계상의 약점을 파악·보완하며 집행담당자의 책임성을 확보, 보다 효율적 집행전략을 수립하게 한다.

②집행절차와 자원투입의 적절성여부, 정책대상자에의 서비스전달, 정책의 대상영역, 법규나 일정준수여부 등을 계획과 대비하여 점검

③집행분석은 형성평가의 핵심이며, 형성평가의 주요 수단은 ‘사업감시(프로그램 모니터링)임. 형성평가는 단순한 감시에 그치지 않고 프로그램이론을 개발하고 관찰된 결과가 이들 이론과 일치하는지를 검증하는 활동까지 포함한다.

2.총괄평가

-집행이 완료된 후 효과를 평가하는 것으로 효과평가 또는 영향평가가 핵심이다.

(1)효과성 평가: 의도한 정책효과가 그 정책 때문에 나왔는가?

정책효과의 크기는 정책목표에 대비하여 어느 정도인가?

(목표의 달성도:협의의효과성평가)와 적절성 등을 평가.

(2)정책영향평가

(3)능률성평가: 비용편익분석의 사후적 적용이다. 부작용이나 사회적 비용까지 고려함.

(4)공평성 평가: 정책의 효과와 비용의 배분이 공평한지 판단.

Ⅲ.기타 정책평가

(1)평가성 검토:본격적 평가에 앞서 실시하는 ‘평가를 위한 평가’로서 주로 평가의 가능성, 평가의 소망성 등을 검토하는 사전적 평가임

(2)메타평가: 평가결과를 다양한 관점으로 재평가하는 ‘평가에 대한 평가’내지는 ‘평가결산’으로 사후적 총괄평가에 해당함. 메타평가는 평가자 자신에 의해 이루어질 수도 있으나 일반적으로는 상급자나 제3의 독립된 외부전문가들에 의해 이루어진다. 주요 목적은 평가에 사용된 방법의 적정성, 사용된 자료의 오류여부, 그리고 도출된 결과에 대한 해석의 타당성 등을 검토하는데 있으며 평가종합과 유사하다.

(3)결정단계 평가: 정책대안이 가져올 영향(교통영향이나 환경영향 등)을 사전에 예측·분석하여 정책으로 인한 악영향을 방지하려는 평가로서 사전적 영향평가이다.

(4)프로그램 전략평가: 국가프로그램에 사용된 전략들의 상대적 효과성에 대한 검토

(5)착수직전 분석(사전분석): 새로운 프로그램의 평가를 기획하기 위해 착수직전에 수행하는 평가작업으로 기획과 유사하며 맥락분석 또는 조망적 평가종합에 해당한다.

*참고)평가시기와 평가목적의 결합에 의한 분류

시기＼목적	과정평가	총괄평가
사전적	평가성 사정, 형성평가(사업감시), 결정단계평가	평가성 사정, 착수직전분석
사후적	협의의 과정평가, 메타평가(평가결산)	효과평가, 영향평가, 메타평가(평가결산)

 

평가주체에 따른 정책평가의 구분: 내부평가와 외부평가

구분	내부평가	외부평가
행정적 신뢰감	외부전문가가 고지식하고 현실감이 없는 경우는 내부평가가 선호됨	외부요원에대한 신뢰가 높은 경우 바람직하며, 대체로 당해 정책과 무관한 외부평가가 신뢰확보 유리
객관성·자율성	중립적이고 자율적·객관적인 평가 곤란	중립적이고 자율적·객관적인 평가 용이

=======================================

󰊳우리나라의 정책평가-정부업무평가

Ⅰ.의의

①2006.4월부터 ‘정부업무평가기본법’이 새롭게 제정·시행되고 있다.

*심사평가: 정부사업·시책에 대한 성과 모니터링제도로 형성평가의 성격이 강했음. 기준으로는 경제성, 능률성, 균형성, 진도, 효과성 분석이 있다.

Ⅱ.주관기관과 평가대상기관

(1)주관기관: 국무총리는 정부업무평가기본계획을 수립, 최소한 3년마다 계획을 수정·보완해야 한다. 정책업무평가의 실시와 평가기반의 구축을 체계적·효율적으로 추진하기 위해 국무총리소속하에 정부업무평가위원회(민간 50%이상)를 둔다. 위원장은 국무총리와 대통령이 지명하는 자가 되며 국무조정실 심사평가조정관실에서 사무지원을 한다.

(2)평가대상기관: 중앙행정기관, 자치단체, 중앙·지자체의 소속기관, 공공기관(지방공사 및 지방공단, 연구기관 등 포함)

Ⅲ.종류 및 절차

(1)중앙행정기관 평가

①자체평가: 중앙행정기관의 장은 그 소속기관의 정책 등을 포함하여 자체평가를 실시해야 함. 연2회실시, 상반기는 과정중심, 하반기는 성과중심평가를 실시.

②재평가: 국무총리는 중앙행정기관의 자체평가결과를 확인·검토 후 평가의 객관성·신뢰성에 문제가 있어 재평가가 필요하다고 판단되는 때에 위원회의 심의·의결을 거쳐 재평가를 실시 가능

(2)지방자치단체 평가

①자체평가: 지방자치단체장이

②평가지원: 행정안전부장관은 평가지표, 평가방법, 평가기반의 구축 등에 관하여 지원가능

③국가위임사무 등에 대한 합동평가: 국가위임사무 등에 대해 필요한 경우 행안부장관은 관계중앙행정기관의 장과 합동으로 평가를 실시할 수 있다.

(3)특정평가

①국무총리가 중앙행정기관을 대상으로 국정을 통합적으로 관리하기 위하여 필요한 정책 등을 평가하는 것을 말함.

②국무총리는 둘 이상의 중앙행정기관 관련시책, 주요 현안시책, 혁신관리 및 대통령령이 정하는 대상부문에 대하여 특정평가를 실시하고 그 결과를 공개해야 함.

(4)공공기관의 평가:외부기관이 실시(자체평가 없음)

Ⅳ.평가지표(중앙행정기관 평가중심)

단계	평가기준	착안사항
정책형성	정책목표의 적합성	·목표가 상위 국정지표에 부합하며 환경변화에 대응하고 있는가 ·목표가 명확히 제시됬는가
	계획내용의 충실성	·하위 정책목표 및 수단이 충실하게 구비되었는가 ·계획수립을 위한 여론수렴, 관련절차는 충분히 이행됬었는가? ·관련기관 정책과 연계협조 및 중복여부를 충분히 고려했나?
정책집행	시행과정의 효율성	일정계획에 맞추어 사업이 추진되고 있나? 투입된 자원을 목표달성을 위해 효율적으로 집행하고 있나?
	시행과정의 적절성	행정여건·상황이 변화를 적절히 포착하여 대응하고 있나? 국민 및 이해당사자에게 제대로 알리고 있나? 관련기관·정책과 연계 및 협조체제를 구축하여 운영하고 있나?
정책성과	목표달성도	.
	정책효과성	해당 정책의 효과가 국민에게 실질적으로 나타나고 있나?

Ⅴ.평가의 활용

(1)평가결과의 공개 및 보고

-인터넷 홈피등을 통해 공개해야 함

-국무총리는 매년 각종 평가결과보고서를 종합하여 국무회의에 보고 또는 평가보고회를 개최할것.

-중앙행정기관의장은 전년도 자체평가결과를 지체없이 국회 소관 상임위에 보고해야 함

(2)평가결과의 활용

-예산·인사·조직 및 보수체계에 연계·반영./필요시 시정조치 등.

Ⅵ.우리나라 정책평가의 특징과 문제점

-자체평가보다 중앙통제위주의평가

-평가기구의 구성이 관련정책분야의 전문가위주로 되어있어 평가분야의 전문성 결여

-원인분석 및 시정 등 정책환류보다는 책임성 확보에 초점

-자료협조 기피 등 실무부처의 소극적 행태

=======================================

󰊴정책평가의 요소-인과관계·변수 및 타당성

Ⅱ.변수

(1)독립변수

(2)종속변수: 원인변수에 의해 나타난 변화·효과, 즉 결과변수임

(3)제3의 변수: 내적 타당도를 위협하는 변수들.

①선행변수: “이미 공부 좀 하고”(선행변수임) 강의를 들은 것

②매개변수: 공무원의 꿈을 심어줘서 학생들이 혼자 열심히 공부했다. 학원에선 강의는 안하고 얘기만 했다..z

③허위변수(외재적 변수):실제로는 전혀 상관없는데도 겉으로는 상관관계가 있는 것처럼 나타나도록 하는 제3의 변수. 이때 허위변수를 제거하면 결과변수가 사라진다.

④혼란변수: 독립변수와 종속변수 모두에 영향을 미침. 혼란변수를 제거할 경우 결과변수는 그 크기가 변화할지언정 사라지지는 않는다.

⑤억제변수: 두 변수가 서로 상관관계가 있는데도 없는 것으로 나타나게 하는 제3의 변수

⑥왜곡변수: 두 변수간의 사실상의 관계를 정반대의 관계로 나타나게 하는 제3의 변수

⑦구성변수: 포괄적 개념의 하위변수를 말함(예: 사회계층은 ‘포괄적 개념’이며, 교육수준, 수입, 직업, 가족적 배경 등은 이를 구성하는 하위변수임)

Ⅲ.타당도-'측정이나 절차가 정확하게 이루어진 정도‘를 의미

(1)구성적 타당도: 처리, 결과, 모집단 및 상황들에 대한 이론적 구성요소들이 성공적으로 조작화된 정도

(2)통계적 결론의 타당도: 정책효과를 찾아낼 만큼 충분히 정밀하고 강력하게 연구설계(평가기획)이 이루어진 정도로서 제1종 및 2종오류가 

발생하지 않은 정도

(3)내적타당도: 특정상황하에서의 타당도로서 조작화된 결과에 대하여 찾아낸 효과가 다른 경쟁적인 원인(외생변수)들에 의해서라기보다는 조작화된 처리(원인변수)에 기인도니 것이라고 볼수 있는 정도, 즉 실험의 정확도로서 일차적으로 확보되어야 할 타당도

(4)외적 타당도: 실험결과를 다른 상황에까지 일반화(이론화)시킬 수 있는지의 정도를 말하는 것.

준실험과 진실험의 타당도 저해요인

(1)내적타당도 저해요인: 당초부터 두 집단간의 동질성이 확보되지 못했거나 실험이 진행되는 동안 두 집단간 동질성이 파괴되는 경우 실험의 정확도가 저하되는 것을 말함.

 

저해요인	개념	사례
선발요소 (선정요인)	선발의 차이(실험집단과 통제집단간 구성상의 상이함)로 인한 오류로서 집단을 구성할 때 발생할지 모르는 편견	선발상 차이로 인한 차이
선정효과	통제집단이 아닌 실험집단에 선정되게 만든 요인(선정변수)에 의하여 나타나는 현상. 희망에 의하여 집단구성을 하는 ‘자기선정’의 경우 흔히 발생
역사적요소	실험기간동안에 일어난 역사적 사건이 실험에 영향을 미치는 것(사건효과)으로 실험기간이 길어질수록 사건효과는 커짐(두 집단간 상이한 사건효과 포함)	공부하는데 갑자기 시험발표가 났다..
성숙효과	시간이 지남에 따라 실험집단구성원의 자연적 성장이나 발전에 의한 효과(성장효과)로서 실험기간이 길어질수록 사건효과나 성장효과는 커짐(두 집단간 상이한 사건효과 포함)
선발과 성숙의 상호작용	두 집단의 선발에서부터 차이가 있었을 뿐 아니라 두 집단의 성숙속도가 다름으로 인한 내적 타당성 저해현상
상실요소	연구기간 중 집단으로부터 이탈 등 두 집단에서 다른 성격과 비율로 구성원이 탈락하여 두 집단간 구성상 변화로 인한 효과(이탈효과, 불균등한 상실)
처치와 상실의 상호작용	두집단간 무작위배정이 이루어진 경우라도 두 집단들에 대한 다른 처치로 인하여 처치기간 동안에 두 집단으로부터 서로 다른 성질의 구성원들이 상실되어 결론이 왜곡되는 경우
측정(검사) 요소	실험전에 측정한 사실 그 자체가 연구되고 있는 현상에 영향을 주는 것=>솔로몬식 실험설계가 필요	동일한 시험문제를 실험전과 실험후에 사용한 경우
측정도구의 변화	프로그램의 집행전과 집행후에 사용하는 측정절차, 측정도구의 변화로 인한 오류. 이는 측정도구의 일관성 문제로 평가의 신뢰도와 관련됨
회귀인공요소	실험이 진행되는 동안 구성원들이 원래 자신의 성향으로 돌아갈 경우 나타나는 오차. 실험직전의 측정결과나 단 한번의 측정만으로 집단 구성시 평소와 달리 갑자기 좋은 성적을 받은 사람이 뽑힐 경우.. 일종의 ‘실험직전 반응효과’로서 정책효과가 없어도 처음과 달라지는 오류발생
오염효과	통제집단의구성원이 실험집단 구성원의 행동을 모방하는 오염 또는 확산효과로서 모방, 정책의 누출(이전), 부자연스로운 반응 등이 이에 포함됨.	프린트, 녹음,a급같은거 알려주고..ㅋ

(2)외적타당도 저해요인: 두 집단간 동질성이 확보되지 못하였거나 동질성은 유지되더라도 집단의 대표성 등이 부족하여 그 결과를 일반화시킬 수 없는 경우를 말함.

저해요인	개념
호오돈효과	실험집단 구성원이 실험의 대상이라는 사실로 인하여 평소와는 다른 특별한 심리적 행동을 보이는 현상으로 외적타당도를 저해하는 대표적 요인. 실험조작의 반응효과라고도 함
다수적 처리에 의한 간섭	동일 집단에 여러 번의 실험적 처리를 하는 경우 실험조작에 익숙해짐으로 인한 영향이 발생. 그 결과를 처치를 받지 않은 집단에게 일반화시키기가 곤란함
표본의 대표성 부족	두 집단간 동질성이 있더라도 사회적 대표성이 없으면 일반화가 곤란. (노량진에서만 했기 때문에 전국적 대표성이 없음)
실험조작과 측정의 상호작용	실험전 측정(측정요소)과 피조사자의 실험조작(호오돈효과)의 상호작용으로 실험결과가 나타난 경우 이를 일반화시키기 곤란
크리밍효과	효과가 크게 나타날 사람만 의도적으로 실험집단에 배정한 경우 그 결과를 일반화 하는 것은 곤란함. 상이한 실험집단과 통제집단의 선택(선발)과 실험조작(호오돈효과)의 상호작용이라고도 함

Ⅳ.신뢰도

(!)의의: 측정도구의 일관성에 관한 것. 동일한 측정도구가 동일한 현상을 되풀이했을 때 같은 결론이 나오는 지의 확률

(2)타당도와의 관계: 신뢰도는 타당도의 필요조건이다. 따라서 신뢰도가 낮으면 타당도도 낮아지나, 신뢰도가 높다고 하여 반드시 타당도가 높아지는 것은 아니다.

(3)신뢰도 검증방법

①재검사법: 동일한 측정도구를 동일인에게 상이한 시점에서 두 번 측정하여 비교

②평행양식법(동질이형법): 유사하다고 인정되는 두가지 측정도구를 사용하여 결과를 비교

③반분법:하나의 측정도구에서 반으로 나누어 검사·비교. 내적일관성검증법이라고도 함

=======================================

󰊵정책평가의 방법-실험

Ⅰ의의

①크게 비실험적 설계와 실험적설계가 있다

②이러한 과학적인 조사 설계는 주로 총괄평가에 이용됨

Ⅱ비실험방법

1.의의: 통제집단을 구성하지 못한 경우로서 비교대상집단 없이 실험집단에만 정책을 처리하여 정책효과의 존재여부를 판단

2.유형

(1)대표적 비실험: 정확한 정책효과 측정이 곤란하며 내적타당도가 낮다. 대신 실행가능성이나 외적타당도는 상대적으로 높다

①정책실시전후 비교설계

②사후적 비교집단 선정방법

(2)통계적 분석: 비실험적 통계적 방법

①외생변수의 영향을 추정하여 제거시키기 위하여 각종 통계적 방법(시계열분석, 다중회귀분석, 인과관계분석 등)을 사용하는 것

②주로 내적타당도가 낮은 비실험이나 준실험의 약점을 보완하는데 사용되나 역시 불완전함

3.비실험에서 사용되는 외생변수의 통제방법

(1)통계적통제

(2)포괄적통제:사회적으로 설정된 표준(예: 사회의 평균사망률이나 남녀성비율)과 비교하여

정책효과를 판단하는 방법

(3)잠재적 통제: 전문가들의 판단이나 의견에 의존하는 방법

Ⅲ실험적방법

1.준실험

(1)의의

①비동질적 통제집단 설계로서 실험집단과 통제집단간의 동질성을 확보하지 못한 상태에서 정책을 처리하여 정책효과를 판단하려는 실험이다.

②동질성을 확보하지 못한 실험이라는 점에서 진실험과 다르고, 실험집단과 통제집단을 사전에 구분하여 진행되는 실험이라는 점에서 비실험과도 다름

(2)준실험에서 사용되는 외생변수의 통제 및 설계방법

①축조에 의한 통제: 특정정책의 실시·비실시지역이 구분되어 있어 무작위배정을 하기 어려운 때 연구대상을 비슷한 대상끼리 둘씩 짝을 지어 배정하는 매칭에 의한 방법

ⓐ비동질적 통제집단설계: 사전측정후 비슷한 점수를 받은 대상자를 짝을 지어 실험집단과 통제집단에 배정한 후 실험집단에만 정책을 처리하여 두 집단간 변화상태를 비교하는 방법

ⓑ사후테스트 비교집단설계

ⓒ회귀불연속설계

②재귀적 통제: 정책이 전국적으로 실시되기 때문에 실험집단과 통제집단을 구부하기가 곤란한 경우 별도의 통제집단 없이 동일한 집단에 의해 정책을 집행한 후 일정기간동안 나타난 산출의 변화를 정책실시전의 일정기간동안 나타났던 산출의 변화와 비교

ⓐ단절적 시계열분석에 의한 평가: 정책의 실시전후의 시계열자료를 이용

ⓑ단절적 시계열 비교집단설계에 의한 평가:단절적 시계열분석과 비동질적 통제집단설계를 결합한 방식

(3)장단점

①실행가능성과 외적 타당도

-비교적 자연상태하에서의 실험이므로 호오돈효과 방지→외적타당도와 실행가능성은 비교적 높음

-크리밍효과로 인한 외적타당성의 문제는 존재

②내적타당도

2.진실험

(1)의의: 실험대상을 실험집단과 통제집단 두 집단으로 사전에 구분하고 실험집단에만 정책처리를 하여 일정시간이 지난 후 양 집단에서 나타난 결과(변화)의 차이를 정책처리의 효과로 판단하는 것을 말함.

(2)진실험에서의 변수통제방법: 진실험에서의 동질성(구성상·경험상·성향상의 동일) 확보방안으로는 무작위배정에 의한 통제방법을 사용한다.

(3)장단점

-외적타당도: 호오돈효과나 대표성부족 등으로 인해 일반화의 가능성이 낮다.

*참고) 대체로 내적타당도는 진실험에서, 외적타당도는 준실험에서 상대적으로 높다고 할 수 있으나, 진실험에서도 내적타당도를 저해하는 요인이 존재하며, 준실험에서도 외적타당도를 저해하는 요인이 존재한다.

구분	준실험	진실험
내적타당도 저해요인	·성숙효과 ·사건효과 ·선정효과	·상실효과 ·오염효과(모방, 누출, 부자연스러운 반응)
외적타당도 저해요인	·크리밍효과	·호오돈효과 ·대표성 부족

󰊶사회지표

Ⅱ.기능

-사회상태의 종합적 측정

-국민복지수준 등 사회보고의 제도화

-사회개발정책의 개발과 성과측정

-사회변화의 파악·예측과 사회적 변동의 관리

Ⅳ.사회지표의 요건

①인본주의적 성격 

②규범성 

③종합성·통합성 

④시대적 변동성

⑤개인에 대한 배분적 성격 

⑥산출정보적 성격

=======================================

󰊷정책의 변동과 환류

Ⅰ.의의와 유형

-Hogwood&Peters

(1)정책혁신: 무에서 새로운 정책을 만드는 것

(2)정책유지: 정책의 기본적 특성을 그대로 존속시키는 것으로 정책목표·수단 등이 큰 폭의 변화없이 모두 그대로 유지됨. 정책의 구체적 내용에 있어서 부분적 대체나 완만한 변동은 있을 수 있음

(3)정책승계: 현존하는 정책의 기본적 성격을 바꾸는 것으로 정책의 근본적인 수정 또는 정책을 없애고 완전히 새로운 저책으로 대체하는 경우를 포함. 정책목표는 변동되지 않고 정책 또는 정책수단(조직·예산)을 근본적으로 수정 또는 대체하는 것

*정책승계의 유형: 정책대체(선형적 승계), 복합적 정책승계, 부분종결, 정책통합, 정책분할, 파생적 승계

(4)정책종결: 정책목표가 완전히 달성되어 문제가 소멸하였거나 달성 불가능한 경우 정책을 완전히 소멸시키는 것.

Ⅱ.정책종결

1.의의

①문제의 고갈 및 정통성의 상실

②환경의 엔트로피: 뒷받침해주는 환경능력저하로 조직을 현행수준으로 유지할 수 없을 때

③조직의 위축이나 취약성 ④정책종결에 대한 저항의 약화

2.정책종결에 대한 저항원인

①매몰비용 ②정치적 연합 ③법적 제약: 법령의 폐지절차 필요

④동태적 보수주의: 목표의 승계에 의한 조직 존속 본능 등

3.정책종결 전략

①시험적인 관측기구나 예고제의 배격 ②정책종결 지지세력의 확장

③종결대상인 정책의 해독 폭로 ④관련집단과의 타협 배격 ⑤종결담당자에 외부인사 기용

*정책환류

(1)적극적 환류: 목표나 기준의 수정

(2)소극적 환류: 오차나 오류의 수정

제7절 정책평가와 환류

1. 정책평가의 단계 : 목표의 확인→평가성 사정→기준의 설정→인과모형의 설정→연구설계(평가설계)의 개발→자료의 수집→자료의 분석·해석 및 결과의 제시

2. 정책평가의 기준(Nakamura&Smallwood) 암 : 효능만대유

1) 효과성 : 비용고려 못함. 고전적 기술자형이나 지시적 위임가형에 적합

2) 능률성 : 비용의 최소화. 지시적 위임가형에 적합

3) 주민만족도 : 주민(선거구민)이나 정책지지 및 관련집단의 정치적 지지를 이끌어내고, 타협·조정했는가 하는 정도, 협상자형에 적합

4) 수익자 대응성 : 소비자나 고객 등 정책수혜집단의 만족도를 중시. 재량적 실험가형에 적합

5) 체제유지도 : 체제유지에 어느 정도 기여하였는지를 기준으로 평가. 관료적 기업가형이 적합

<정책평가의 기준>

구분		기준	특징
내용적 측면의 기준	정책목표에 대한 평가기준	적합성(appropriate)	목표가 사회 전체적으로 보아 바람직한가?
		적정성(adequacy)	목표달성 수준의 충분성
	정책수단에 대한 평가기준	효과성	정책목표의 달성도
		능률성	투입과 산출의 비율
	정책대상에 대한 평가기준	형평성	정책효과 분배의 공평성
		대응성	특정집단의 선호·여망을 만족시켰는가?
	정책환경에 대한 평가기준	일관성	정책의 예측가능성 확보
		실현가능성	법적, 도의적, 윤리적 실현가능성 등
절차적 측면의 기준		분석적 합리성	정책과정활동이 지적 측면에서 합리적인가?
		민주성	문제,목표선택 등 정책과정이 민주적인가?

3. 평가목적에 따른 정책평가의 유형

1) 과정평가

① 협의의 과정평가(인과관계의 경로평가)

ㄱ. 총괄평가 완성을 위한 보완적 수단

ㄴ. 정책효과 발생의 인과경로를 평가하여 총괄평가를 보완하고 실패의 중요한 원인 중의 하나인 인과경로의 잘못을 밝힌다.

② 집행분석 또는 집행과정평가(협의의 형성평가) : 정책이 의도대로 집행되었는지를 확인·점검

ㄱ. 집행절차와 자원 투입의 적절성 여부, 정책대상자에의 서비스 전달, 정책의 대상영역, 법규나 일정 준수 여부 등을 계획과 대비하여 점검하는 것으로 프로그램의 문제점을 발견·시정

ㄴ. 성공적 집행을 위한 보다 효율적인 집행전략을 수립하거나 정책내용을 수정·변경하는데 도움을 줌

ㄷ. 형성평가의 핵심

③ 형성평가 : 주요한 수단은 사업감시(monitoring)

ㄱ. 프로그램이론(프로그램이 어떤 매개과정을 통하여 특정결과에 이르게 되는지의 과정을 기술)을 개발하고 관찰된 결과가 이들 이론과 일치하는지를 검증하는 활동까지 포함

2) 총괄평가 : 효과성평가, 정책영향평가, 능률성 평가, 공평성 평가

① 집행완료 후 정책이 사회에 미친 영향이나 충격 등 그 효과를 평가하는 것

② 정책수단과 정책효과간의 인과관계를 추정.

* 정책의 인과경로를 평가하는 것은 협의의 과정평가, 정책수단과 효과 간의 인과관계 유무를 추정하는 것은 총괄평가에 해당

3) 평가성 검토 : W.Dunn이 주장. 프로그램 설계에 대한 하나의 예비평가. 평가를 위한 평가

① 프로그램이 의도하는 결과를 가져오도록 관리할 수 있는 준비가 되어 있는가(평가의 가능성)

② 평가가 프로그램의 성과를 향상시키는데 공헌할 수 있는가(평가의 소망성)

4) 메타평가 : 평가에 대한 평가, 평가결산.

①주로 상급자나 제3의 독립된 외부전문가들에 의해 이루어짐. 평가자 자신도 가능

5) 결정단계 평가 : 정책대안이 가져올 영향(교통영향이나 환경영향)을 사전에 예측·분석하여 정책으로 인한 악영향을 방지하려는 평가로서 사전적 영향평가

6) 착수직전분석 : 새로운 프로그램의 평가를 기획하기 위하여 착수하기 직전에 수행하는 평가작업

4. 정무업무평가기본법의 주요내용

1) 주관기관 : 국무총리는 정부업무평가기본계획을 수립하고, 최소한 3년마다 계획을 수정·보완해야 한다. - 국무총리 소속하에 정부업무평가위원회를 둔다. 2) 평가대상기관 : 중앙행정기관, 자치단체, 중앙행정기관 또는 지방자치단체의 소속기관, 공공기관 3) 통합적 정부업무평가제도의 구축 - 개별적이고 중복된 각종 평가를 통합·체계화 4) 정부업무평가기본계획의 수립 - 정부업무평가위원회의 심의·의결을 거쳐 국무총리가 수립. 3년마다 수정·보완 5) 성과관리전략계획의 수립 - 중앙행정기관장이 당해기관의 임무나 전략목표 등 성과관리와 연계하여 수립. 매3년마다 수정·보완 6) 중앙행정기관장은 국무총리가 정한 매년도 ‘정부업무평가 시행계획’을 토대로 자체평가계획을 수립하고, ‘자체평가위원회’를 구성하여 평가를 실시하는 등 자체평가를 시행하고 있다. 7) 정부업무평가위원회의 설치 - 정부업무평가에 관한 주요사항을 심의·의결. 주요부처의 기관장인 장관중심(민간전문가X)으로 구성. 실질적인 평가보다는 주로 평가와 관련된 기본적인 계획을 수립하고 평가를 총괄하는 측면에서 평가를 주도. 국무총리 소속 8) 중앙행정기관 평가 : 정부업무평가의 근간으로서의 자체평가제도 내실화 - 중앙행정기관은 자체평가계획을 수립·시행하고, 필요시 국무총리가 재평가. 연2회 실시(상반기 과정중심, 하반기 성과중심) 9) 지방자치단체 평가 : 지방자치단체의 장은 자체평가를 실시 - 행정안전부장관은 자치단체를 지원할 수 있다. - 국가위임사무 등에 대해 필요한 경우 행정안전부장관은 관계중앙행정기관의 장과 합동으로 평가를 실시할 수 있다. 10) 통합적 국정관리를 위한 특정평가제도 - 여러 기관이 협조하여야 하는 정책 등 국정을 통합적으로 운영할 필요가 있는 경우 국무총리가 평가 11) 공공기관에 대한 평가 - 공공기관의 특수성·전문성을 고려하여 외부기관이 평가

1) 국무총리는 매년 각종 평가결과보고서를 종합하여 국무회의에 보고 또는 평가보고회를 개최하여야 한다.

2) 중앙행정기관의 장은 ┬ 전년도 자체평가결과를 지체없이 국회 소관 상임위원회에 보고하여야 한다.

├ 평가결과에 따라 정책 등의 문제점이 발견될 시에는 지체없이 자체 시정조치를

│ 하거나, 이에 대해 자체감사를 실시하여야 한다.

└ 평가결과를 조직·예산·인사 및 보수체계에 연계·반영해야 한다.

3) 전자통합평가체제 구축·운영

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

5. 정책평가의 요소 중 변수

1) 제3의 변수

① 허위변수 : 허위변수를 제거하면 결과변수가 사라진다

② 혼란변수 : 혼란변수를 제거할 경우 결과변수는 그 크기가 변화할지언정 사라지지는 않는다.

③ 억제변수 : 두 변수가 서로 상관관계가 있는데도 없는 것으로 나타나게 하는 제3의 변수. 억제변수는 독립변수와 종속변수간의 사실적인 인과관계를 약화시키거나 아예 소멸시켜 버리게 된다.

④ 왜곡변수 : 두 변수간의 사실상의 관계를 정반대의 관계로 나타나게 하는 제3의 변수

6. 타당도 : 측정이나 절차가 정확하게 이루어진 정도. 구성조 타당도, 통계적 결론의 타당도, 내적·외적 타당도

1) 통계적 결론의 타당도 : 연구설계가 강력하게 이루어진 정도. 제1종 및 제2종 오류가 발생하지 않은 정도

7. 신뢰도 : 측정도구의 일관성에 관한 것. 재검사법, 평행양식법(복수양식법), 반분법, 내적 일관성 분석

1) 재검사법이 종적일관성 검증방법이라면 평행양식법과 반분법은 횡적일관성 검증방법에 속한다.

2) 반분법은 하나의 측정도구에서 반으로 나누어 검사하여 비교하는 방법이고 내적 일관성 분석은 반분신뢰도이 평균값을 구한 것이다.

8. 외적타당도 저해요인

1) 호오돈 효과

2) 다수적 처리에 의한 간섭

3) 표본의 대표성 부족

4) 실험조작과 측정의 상호작용 : 실험 전 측정과 피조사자의 실험조작의 상호작용으로 실험결과가 나타남.

5) 크리밍효과

8. 정책평가를 위하여 고찰된 모든 실험적·통계적 방법들은 내적타당성을 제고하는 것을 주요 목적으로 한다.

9. 실험유형별 설계방법

진실험설계		무작위 배정에 의한 동질적 통제집단
준실험설계	축조된 통제	① 비동질적 통제집단 설계(사전테스트비교집단설계) ② 사후테스트 비교집단 설계 ③ 회귀불연속 설계
	재귀적 통제	① 단절적 시계열분석에 의한 평가 ② 단절적 시계열 비교집단 설계에 의한 평가
비실험설계		① 대표적 비실험 : 정책실시전후비교방법, 사후적 비교집단 선정방법 ② 통계적 통제 : 통계적 방법으로 외생변수 추정·제거 ③ 포괄적 통제 : 사회적 표준과 비교 ④ 잠재적 통제 : 전문가의 판단과 비교

* 사회테스트 비교집단 설계와 정책실시전후 비교설계를 준실험, 비실험으로 볼 지에 대한 견해다툼이 있다.

11. 준실험과 진실험의 단점

1) 준실험

① 실행가능성과 외적타당도 : 외적타당도와 실행가능성은 비교적 높지만, 크리밍효과로 인한 외적 타당성의 문제는 존재한다.

② 내적타당도 : 성숙효과, 선정효과, 사건효과 등이 발생 -> 비실험(대표적 비실험)에서도 발생. / 선발과 성숙의 상호작용 발생

2) 진실험

① 내적타당도 : 체제의 변화로 인한 영향, 불균등한 상실, 모방효과, 정책내용의 누출(이전효과), 부자연스런 반응

② 내적타당도는 비교적 높지만, 외적 타당도와 실행가능성은 낮다.

11. 사회지표의 요건 중 규범성 : 사회지표는 1차적으로 서술성을 띠나, 종국적으로는 규범성을 띰.

12. 사회지표의 유형 중 체제적 관점의 지표

1) 서술적 지표 : 사회변화와 여건에 관한 일반적인 측정

2) 산출적 지표 : 최종 성과에 관한 측정으로서 정책결정에 직접 이용되는 지표. 여기서 산출은 질적인 성과 및 순기능, 역기능 등 정책효과를 모두 포함.

13. 분배의 불평등 지표

1) 5분위 배율 : 상위 20%의 소득 / 하위 20%의 소득. 값이 낮을수록 평등

2) 10분위 분배율 : 하위 40%의 소득 / 상위 20%의 소득. 값이 높을수록 평등

3) 로렌츠곡선 : 곡선과 대각선 사이의 면적이 클수록 불평등. 특정지역에 대한 특성만을 중요시한다는 한계점이 있다. 불평등정도를 서수적으로만 나타내 줄 뿐 어느정도 불평등한지를 기수적으로 알려주지 못하며, 둘 이상의 로렌츠곡선이 교차하는 경우 비교할 수 없다.

4) 지니계수 : 값이 0에 가까울수록 소득분배가 평등. 대각선 아래의 면적으로 대각선과 로렌츠곡선 사이의 면적을 나눈 값.

5) 앳킨슨지수 : 값이 0에 가까울수록 소득분배가 평등

14. 정책변동의 유형

1) 정책혁신 : 無에서 새로운 정책을 만드는 것

2) 정책유지 : 정책의 기본적 특성을 그대로 존속. 큰 폭의 변화없이 모두 그대로 유지(소폭변경)

3) 정책승계 : 현존하는 정책의 기본적 성격을 바꾸는 것. 정책의 근본적인 수정 또는 정책을 없애고 완전히 새로운 정책으로 대체하는 경우를 포함. 정책목표는 변동되지 않음

4) 정책종결 : 정책을 완전히 소멸시키는 것

<오답정리> 1. 보건복지가족부 산하 A연구소에 근무하는 X연구원은 ‘소득수준’과 ‘소외’의 관계를 분석하였다. 그 결과 의미 있는 상관관계가 없는 것으로 분석되었다. 그런데 이 분석의 결과를 검증하기 위하여 교육수준을 검증변수로 도입하고, ‘교육수준’을 국졸, 중졸, 고졸 및 대졸 네 개의 범주 로 구성시켜 교육수준의 각 범주별 ‘월수입’과 ‘소외’의 관계를 다시 분석하였더니 이때 교육수 준의 모든 범주에서 ‘소득수준’과 ‘소외’간에 관계가 의미 있는 것으로 나왔다. 위 사례에서 ‘교육수준’은 당초분석에서 제3의 변수 중 무슨 변수에 해당하는가? ① 허위변수 ② 왜곡변수 ③ 혼란변수 ④ 억압변수 (답) ④ 당초관계가 의미 없는 관계로 밝혀졌는데, 검증변수를 도입하여 두 변수 간의 관계를 다시 분석해 보았을 때 의미있는 관계로 밝혀질 경우 이때의 검증변수를 억압변수라고 한다. 다시 말하면 두 변수가 본질적으로는 의미 있는 관계가 있는 데도 불구하고 억압변수 때문에 그 관계가 표면에 나타나지 않았다가 억압변수를 통제하니 그 본질적 관계가 밝혀진 것이다. 교육수준의 차이를 고려(통제)하지 않았을 때에는 소득수준이 달라도 학력수준이 다르므로 소외감을 느끼지 않았지만, 같은 교육수준임에도 소득수준이 다르다면 소외감을 느끼게 된다. 당초 실험은 교육수준이라는 제3의 변수를 고려하지 않은 결과이고 따라서 소득과 소외간 인과관계가 있음에도 불구하고 교육수준이라는 제3의 변수가 소득과 소외간 인과관계를 제거한 경우에 해당하므로 이 경우 교육수준은 억제변수가 된다. 2. 호오돈 효과 : 인위적인 실험환경에서 얻은 정책평가결과는 실제 사회 현실에의 적용가능성에 다소 의문이 있을 수 있다 3. 내적타당도 저해요인에는 내재적 요소와 외재적 요소가 있는데, 외재적 요소는 선발요소(선정요인)을 가리키고 나머지 요인은 내재적 요소에 해당한다. 4. 정책종결의 원인과 저항요인 정책종결 원인 정책종결에 대한 저항요인 ·정통성 상실 ·조직의 위축 및 취약 ·환경의 엔트로피 ·문제의 고갈 ·정책종결에 대한 저항의 약화 · 매몰비용 · 정치적 연합 · 법적 제약 · 동태적 보수주의   5. 내적 타당도 저해요인 1) 내재적 요인 : 정책을 집행하는 동안 평가과정에 스며들어 나타나는 변화. 역사적요소, 성숙효과, 선발과 성숙의 상호작용,상실요소, 처치와 상실의 상호작용, 측정(검사)요소, 측정도구의 변화, 통계적 회귀요소 2) 외재적 요인 : 실험집단과 통제집단을 구성할 때 두 집단에 서로 다른 개인을 할당함으로써 발생하게 되는 편견. 선발요인 6. 선정효과, 성숙효과, 사건효과 등은 혼란변수 뿐아니라 허위변수로도 작용할 수 있다. 7. 정책평가는 비정치적 전문활동이다. 8. 내부평가는 지속적이고 장기간에 걸친 평가가 가능하다는 장점이 있다.

 

 

 

 

 

 

 

 

 

 

 

제