정책론 6 평가와 환류 및 기획>>형성평가 타당도 정부업무평가 정책변동

<정책론 제7절 정책평가와 환류> :: 공시기출 자료모음소

<정책론 제6절 기획> :: 공시기출 자료모음소

============================================================================

<정책평가 일반>

2017 9급 사복직(서울시) 행정학 문제 정답 및 해설/ :: 공시기출 자료모음소

07. 일반적인 정책평가의 절차를 순서대로 연결한 것은?

ㄱ. 인과모형의 설정 ㄴ. 자료 수집 및 분석 ㄷ. 정책목표의 확인 ㄹ. 정책평가 대상 및 기준의 확정 ㅁ. 평가 결과의 환류

① ㄱ → ㄴ → ㄷ → ㄹ → ㅁ

② ㄴ → ㄷ → ㄱ → ㄹ → ㅁ

③ ㄷ → ㄹ → ㄱ → ㄴ → ㅁ

④ ㄹ → ㄱ → ㄴ → ㄷ → ㅁ

 

[답] ③ 정책평가의 단계는 목표의 확인, 기준의 설정, 인과모평의 설정, 연구설계(평가설계), 자료의 수집, 자료의 분석·해석 및 결과의 제시, 평가결과의 환류 및 활용으로 이루어진다.

정책평가 기준// 효과성 능률성 등>>

연계>>  총론 5 가치 :: 공시기출 자료모음소

2015 9급 지방교행 행정학 문제 정답 및 해설// :: 공시기출 자료모음소

16. 정책효과의 유형은 산출(output), 성과(outcome) ,영향(impact) 으로 구분될 수 있다. <보기> 는 시립도서관 운영의 성과를 나타내는 지표들이다. 각 유형과 <보기> 의 지표가 올바르게 짝지어진 것은?

ㄱ. 시립도서관 이용자 수

ㄴ. 시 정부에 대한 신뢰도

ㄷ. 시립도서관 이용자 만족도

 

    ㄱ       ㄴ       ㄷ

① 산출     영향     성과

② 산출     성과     영향

③ 성과     산출     영향

④ 영향     산출     성과

답] ① ①이 옳다. 

 ㄱ. 산출

   ㄴ. 영향

   ㄷ. 성과(결과) 

2014 9급 서울시 행정학 문제 정답 및 해설/ :: 공시기출 자료모음소

4. 성과의 측정은 투입(input)지표, 산출(output)지표, 성과(outcome)지표, 영향(impact)지표 등을 통하여 이루어진다. 아래의 사례에서 성과지표에 해당하는 것은?

고용노동부에서는 2013년도에 10억 원의 예산을 투입하여 강사 50명을 채용하고, 200명의 교육생에게 연 300시간의 직업교육을 실시하였다. 교육 이수 후 200명 중에서 50명이 취업하였으며, 이를 통하여 국가경쟁력이 3% 제고되었다.

①10억 원의 예산         ②200명의 교육생

③연 300시간의 교육     ④50명의 취업

⑤3%의 국가경쟁력 제고

[해설] ④(옳음). 10억 원의 예산은 투입(input)지표, 200명의 교육생은 산출(output)지표, 50명의 취업은 성과(outcome)지표, 국가경쟁력 3% 제고는 영향(impact)지표이다.

[정답] ④

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

<정책평가의 유형>>>>

2017 9급 국가직(하반기) 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

05. 정책평가의 방법을 논리모형(논리 매트릭스)과 목표모형으로 구분할 경우, 논리모형에 대한 설명으로 옳지 않은 것은?

 

① 정책 프로그램이 특정 성과를 산출하기 위해 어떤 논리적 인과구조를 가지고 있는지를 명시적으로 보여준다.

② 프로그램이 해결하려는 정책문제 및 정책의 결과물이 무엇인지를 명확히 해주기 때문에 정책형성과정의 인과관계에 대한 가정의 오류와 정책집행의 실패를 구분할 수 있도록 한다.

③ 정책이 달성하려는 장기목표와 중단기목표들을 잘 달성했는지에 초점을 맞춘 평가모형이다.

④ 프로그램 논리의 분석 및 정리과정이 이해관게자의 정책프로그램에 대한 이해를 높인다.

 

[답] ③ 정책이 달성하려는 목표들이 잘 달성되었는지에 초점을 맞춘 평가모형은 프로그램 논리모형이 아니라 프로그램 목표모형에 해당한다. 목표모형이 정책의 목표달성도(효과성)에 초점을 맞춘 총괄평가에 해당한다면, 논리모형은 프로그램의 인과경로를 잘 구축하여 프로그램의 핵심적 목표와 연계된 평가이슈, 평가지표를 인식하고, 이론실패와 실행실패를 구분할 수 있게 함으로써 평가의 타당성을 제고시켜 주는 형성평가모형에 해당한다.

 

[행정학/1 자료] - <==정책론 제3절 정책분석과 미래예측>

● 정책평가의 프로그램 논리모형과 목표모형

	논리모형	목표모형
개념	프로그램의 논리적 인과경로 설정	정책목표의 달성도 평가
특징	형성(과정)평가의 일종	총괄(효과성)평가의 일종
시기	집행도중에 평가	집행완료 후 평가

 

 

2018 9급 서울시 행정학 문제 정답 및 해설/ :: 공시기출 자료모음소

3. 정책평가에 대한 설명으로 가장 옳지 않은 것은?

① 총괄평가(summative evaluation)는 정책이 종료된 후에 그 정책이 당초 의도했던 효과를가져왔는지의 여부를 판단하는 활동이다.

② 메타평가(meta evaluation)는 평가자체를 대상으로 하며, 평가활동과 평가체제를 평가해 정책평가의 질을 높이고 결과활용을 증진하기 위한 목적으로 활용된다.

③ 평가성 사정(evaluability assessment)은 영향평가 또는 총괄평가를 실시한 후에 평가의 유용성,평가의 성과증진 효과 등을 평가하는 활동이다.

④ 형성평가(formative evaluation)란 프로그램이 집행과정에 있으며 여전히 유동적일 때 프로그램의개선을 위해서 실시하는 평가이다.

<답 3>

<해설> ③ 평가성 사정은 일종의 예비평가로서 사전적인 평가이다.

2013 9급 국회직 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

15. 정책평가에 대한 설명으로 옳은 것은? 

① 총괄적 평가는 사업계획을 개발하는 단계에서 이루어지는 평가로 진행평가라고도 한다.

② 형성적 평가는 과정평가와 영향평가를 모두 포함하는 평가로 정책결정자에게 정책의 성패를 판단하는 중요한 정보를 제공한다.

③ 실험집단과 통제집단을 구성할 때 두 집단에 서로 다른 개인들이 할당되면서 발생하는 편의(bias)는 구성적 타당도를 저해한다.

④ 진실험적 방법을 사용할 경우 내적 타당도는 확보할 수 있지만 외적타당성의 문제가 심각하게 발생할 수 있다.

⑤ 준실험적 방법은 현실적으로 어렵지만 실험집단과 통제집단을 서로 동질적인 것으로 구성하여 정책을 평가하는 방법이다. 

[답] ④ ④만 옳다. 

☑ ① 총괄적 평가는 집행이 완료된 후에 정책효과나 영향을 평가하는 사후평가이다.

② 형성적 평가는 과정평가와 연관되며 집행도중에 프로그램의 문제점을 발견하여 시정하기 위한 도중평가이다.

③ 실험집단과 통제집단을 구성할 때 두 집단에 서로 다른 개인들이 할당되면서 발생하는 편의(bias)는 두 집단간 선발상 차이로서 내적 타당도를 저해한다.

⑤ 준실험이 아니라 진실험에 대한 설명이다.

============================================================================

우리나라의 정부업무평가// 정부업무평가 기본법>>>>>>>>>>>>>>>>>>>>.

2018 9급 지방직 행정학 문제 정답 및 해설/ :: 공시기출 자료모음소

9. 정부에서 실시하고 있는 분석 및 평가제도에 대한 설명으로 옳은 것만을 모두 고르면? 

ㄱ. 규제영향분석 -「행정규제기본법」상 규제를 신설·강화할 때, 규제를 받는 집단과 국민이 부담해야 할비용과 편익도 비교·분석해야 한다.

ㄴ. 지방공기업평가 -「지방공기업법」에 근거를 두고 있으며, 원칙적으로 지방자치단체장이 실시하되 필요시 행정안전부장관이 실시할 수 있다.

ㄷ. 정부업무평가 -「정부업무평가 기본법」상 국무총리는 중앙행정기관의 자체평가 결과에 대해 필요 시정부업무평가위원회의 심의·의결을 거쳐 재평가를 할 수 있다.

ㄹ. 환경영향평가 – 2003년「환경영향평가법」에 처음으로 근거가 명시된 후 발전해 온 평가제도이다.

① ㄱ, ㄷ ② ㄱ, ㄹ

③ ㄴ, ㄷ ④ ㄴ, ㄹ

[해설] ㄴ.(틀림) 행정안전부장관은 경영 기본원칙을 고려하여 지방공기업에 대한 경영평가를 실시하고, 그 결과에 따라 필요한 조치를 하여야 한다. 다만 행정안전부장관이 필요하다고 인정하는 경우에는 지방자치단체의 장으로 하여금 경영평가를 하게 할 수 있다.

ㄹ.(틀림) 환경영향평가(환경부, 1977년 도입)는 사업자가 평가서를 작성하여 관련 전문기관의 검토를 거친 후 협의기관장이 협의 내용을 승인기관에 통보해 사업자가 협의 내용을 준수하도록 강제하는 형태로 환류된다.

[정답] ① ☞ 참고 : 2018 7·9급 알파행정학, pp.80, 402, 315-317.

2017 9급 지방직 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

5.「정부업무평가 기본법」상 정부업무평가의 종류가 아닌 것은?

 

① 지방자치단체의 자체평가

② 환경영향평가

③ 공공기관에 대한 평가

④ 중앙행정기관의 자체평가

 

 

해설 환경영향평가는 정부업무평가에 해당하지 아니한다. 

정부업무평가란 중앙행정기관·지방자치단체·공공기관 등의 통합적인 성과관리체제의 구축과 자율적인 평가역량의 강화를 통하여 국정운영의 능률성·효과성 및 책임성을 향상시키는 것을 목적으로 하는 평가제도이다.

 5. 정답 ②

● 우리나라 정부업무평가의 유형

중앙행정기관 평가	자체평가, 필요시 재평가(총리)
지방자치단체 평가	자체평가, 필요시 평가지원(행자부장관), 합동평가
특정평가	국정의 통합적 관리가 필요한 정책평가(총리)
공공기관 평가	외부평가(자체평가 불인정)

✐ 2017 9급 선행정학 p.234

 

2017 9급 국가직 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

5.「정부업무평가 기본법」에 의한 정부업무 평가제도에 대한 설명으로 옳지 않은 것은?

① 김포시와 도로교통공단은 평가대상에 포함된다.

② 관세청장은 자체평가위원회를 운영한다.

③ 행정자치부장관은 지방자치단체합동평가위원회의 당연직 위원장이다.

④ 기획재정부장관은 정부업무평가위원회의 위원이다.

[정답] ③ 지방자치단체합동평가위원회의 위원장은 민간위원 중에서 행정자치부장관이 지명한다.

정부업무평가 기본법

제21조(국가위임사무등에 대한 평가) ①지방자치단체 또는 그 장이 위임받아 처리하는 국가사무, 국고보조사업 그 밖에 대통령령이 정하는 국가의 주요시책 등에 대하여 국정의 효율적인 수행을 위하여 평가가 필요한 경우에는 행정자치부장관이 관계중앙행정기관의 장과 합동으로 평가를 실시할 수 있다.

②행정자치부장관은 지방자치단체를 합동평가하고자 하는 경우에는 위원회의 심의·의결을 거쳐야 한다.

③행정자치부장관은 지방자치단체에 대한 합동평가를 실시한 경우에는 그 결과를 지체없이 위원회에 보고하여야 한다.

④행정자치부장관은 지방자치단체에 대한 합동평가를 효율적으로 추진하기 위하여 행정자치부장관 소속하에 지방자치단체합동평가위원회를 설치·운영할 수 있다.

정부업무평가 기본법 시행령

제18조(지방자치단체합동평가위원회의 구성ㆍ운영 등) ①지방자치단체합동평가위원회는 위원장 1인을 포함한 20인 이하의 위원으로 구성하되, 평가의 객관성 및 공정성을 확보하기 위하여 위원의 3분의 2이상은 평가에 관한 전문적인 지식과 경험이 풍부한 민간전문가로 구성하여야 한다.

②지방자치단체합동평가위원회의 위원장은 제3항의 민간위원 중에서 행정자치부장관이 지명한다.

③지방자치단체합동평가위원회의 위원은 다음 각 호의 자가 된다.

1. 행정자치부장관이 소속 공무원 또는 평가에 관한 전문적인 지식과 경험이 풍부한 자 중에서 지명 또는 위촉하는 자

2. 합동평가에 참여하는 관계중앙행정기관의 장이 소속 공무원 또는 평가에 관한 전문적인 지식과 경험이 풍부한 자 중에서 추천하고 행정자치부장관이 지명 또는 위촉하는 자 한다.

2017 9급 지방직/서울시(하반기) 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

17. 「정부업무평가 기본법」상 정부업무평가제도에 대한 설명으로 옳은 것은?

 

① 정부업무평가의 평가대상기관에 지방자치단체의 소속기관은 포함되지 않는다.

② 자체평가는 국무총리가 중앙행정기관을 대상으로 국정을 통합적으로 관리하기 위하여 필요한 정책 등을 평가하는 것이다.

③ 정부업무평가의 실시와 평가기반의 구축을 체계적·효율적으로 추진하기 위하여 국무총리 소속하에 정부업무평가위원회를 둔다.

④ 특정평가는 중앙행정기관 또는 지방자치단체가 소관 정책 등을 스스로 평가하는 것이다.

 

[답] ③ 정부업무평가의 실시와 평가기반의 구축을 체계적·효율적으로 추진하기 위하여 국무총리 소속하에 15인 이내의 정부업무평가위원회를 둔다.

 

☑ ① [X] 자치단체의 소속기관도 평가대상에 포함된다.

② [X] 자체평가가 아니라 특정평가에 대한 설명이다.

④ [X] 특정평가가 아니라 자체평가에 대한 설명이다.

 

[행정학/1 자료] - <정책론 제7절 정책평가와 환류>

● 정부업무평가의 종류 [중 지 특 공]

중앙행정기관평가	자체평가, 필요시 재평가(총리)
지방자치단체평가	자체평가, 필요시 평가 지원(행안부장관)
특정평가	국정의 통합적 관리가 필요한 정책 평가(총리)
공공기관 평가	외부평가(자체평가 불인정)

 

2017 9급 사복직(서울시) 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

04.「정부업무평가 기본법」에 따른 정부업무평가의 종류가 아닌 것은?

 

① 중앙행정기관의 자체평가

② 지방자치단체의 자체평가

③ 중앙행정기관에 대한 합동평가

④ 공공기관에 대한 평가

 

[답] ③ 정부업무평가기본법에 따르면 행정자치부장관은 지방자치단체의 국고보조사업 등 국가위임사무 등에 대해 관계중앙행정기관의 장과 합동으로 평가를 실시할 수 있다. 따라서 합동평가는 자치단체에 대하여 하는 것이지 중앙행정기관에 대한 합동평가는 없다.

 

● 정부업무평가의 종류

중앙행정기관평가	자체평가, 필요시 재평가(총리)
지방자치단체평가	자체평가, 필요시 평가 지원(행안부장관)
특정평가	국정의 통합적 관리가 필요한 정책 평가(총리)
공공기관 평가	외부평가(자체평가 불인정)

 

 

✐ 2017 9급 선행정학 p. 234

 

2016 9급 서울시 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

 10. 정부업무평가 제도에 대한 설명으로 가장 옳지 않은 것은?

① ｢정부업무평가 기본법｣에 의한 정부업무평가 대상은 중앙행정기관과 지방자치단체를 포함하며, 공공기관은 제외된다.

② 지방자치단체 합동평가위원회는 행정자치부 소속 위원회로 ｢정부업무평가 기본법｣에 설치근거를 둔다.

③ 정부업무평가 중 특정평가는 국무총리가 중앙행정기관을 대상으로 정책을 평가하는 것을 의미한다.

④ 중앙행정기관의 장은 그 소속 기관의 정책 등을 포함하여 자체평가를 실시하여야 한다.

[답] ① ｢정부업무평가 기본법｣에 의한 정부업무평가 대상은 중앙행정기관과 지방자치단체 뿐 아니라 공공기관도 포함된다.

2015 9급 사복직 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

05. ｢정부업무평가 기본법｣ 상 정부업무 평가제도에 대한 설명으로 옳지 않은 것은?

① 중앙행정기관의 장은 그 소속기관의 정책 등을 포함하여 자체평가를 실시하여야 한다.

② 지방자치단체의 자체평가위원회는 공정성과 객관성을 담보하기 위하여 2분의 1 이상의 민간위원으로 구성되어야 한다.

③ 지방자치단체가 위임받은 국가사무에 대해 행정자치부장관이관계중앙행정기관의 장과 합동평가를 실시할 수 있다.

④ 공공기관의 경우 기관의 특수성과 전문성을 고려하고 평가의 객관성 및 공정성을 확보하기 위하여 공공기관 외부의 기관이 평가하여야 한다.

해설 ②

② 지방자치단체의 장은 자체평가조직 및 자체평가위원회를 구성·운영하여야 한다. 이 경우 평가의 공정성과 객관성을 담보하기 위하여 자체평가위원의 3분의 2이상은 민간위원으로 하여야 한다(정부업무평가기본법 제18조 제2항).

기타 연관 문제>>>>>>>>>>>>>>>>>>>>>>>

2012 9급 국가직 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

정책평가 수행을 위해 설립된 기구와 법적 근거가 바르지 않게 연결된 것은?

①복권위원회 - 복권 및 복권기금법

②공기업·준정부기관 경영평가단 - 공공기관의 운영에 관한 법률

③보조사업평가단 - 지방공기업법

④지방자치단체합동평가위원회 - 정부업무평가 기본법

[해설] ③ 틀림. 보조사업평가단은 「보조금 관리에 관한 법률」에 근거하여 설립된 기구이다. 기획재정부장관은 보조사업을 평가하고 존속 여부를 결정하기 위하여 보조사업평가단을 구성·운영할 수 있다(「보조금 관리에 관한 법률」제15조 제2항).

① 옳음. 복권의 발행·관리·판매, 복권수익금의 배분·사용 등에 관한 업무를 수행하게 하기 위하여 기획재정부장관 소속으로 복권위원회를 둔다(「복권 및 복권기금법」제13조 제1항).

② 옳음. 기획재정부장관은 경영실적 평가의 효율적인 수행과 경영실적 평가에 관한 전문적·기술적인 연구 또는 자문을 위하여 공기업·준정부기관 경영평가단을 구성·운영할 수 있다(「공공기관의 운영에 관한 법률」제48조 제6항).

④ 옳음. 행정안전부장관은 지방자치단체에 대한 합동평가를 효율적으로 추진하기 위하여 행정안전부장관 소속하에 지방자치단체합동평가위원회를 설치·운영할 수 있다(「정부업무평가 기본법」제21조 제4항).

[정답] ③ ☞ 참고 : 2012 9급 알파행정학개론, pp.557-558, 720.

󰊴정책평가의 요소-인과관계·변수 및 타당성

변수>>>

2016 9급 지방직 행정학 문제 정답 및 해설/ :: 공시기출 자료모음소

문 14. 다음 제시문의 ㉠, ㉡에 들어갈 용어가 바르게 연결된 것은?

( ㉠ )는 독립변수인 정책수단과 함께 종속변수인 정책효과를 가져오는 요인으로 정책수단과 정책효과 사이의 인과관계를 과대 또는 과소평가하며, ( ㉡ )는 독립변수인 정책수단의 효과가 전혀 없을 때, 숨어서 정책효과를 가져오는 변수로 정책수단과 정책효과 사이의 인과관계를 완전히 왜곡하는 요인이다.

   

          ㉠                                        ㉡

① 허위변수(spurious variable)          매개변수(mediating variable)

② 혼란변수(confounding variable)    허위변수(spurious variable)

③ 혼란변수(confounding variable)    매개변수(mediating variable)

④ 허위변수(spurious variable)          혼란변수(confounding variable)

정답:②

해설:② 혼란변수(confounding variable)와 허위변수(spurious variable)가 가장 올바르다.

준실험 진실험 타당조 저해요인>>>

2017 9급 국가직(하반기) 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

08. 정책평가에 있어서 조건이 양호한 집단을 대상으로 정책수단을 실시한 후 그 결과가 좋게 나타난 정책수단을 다른 상황에 적용하려고 하는 경우에 나타나는 외적 타당성의 문제는?

 

① 크리밍효과(creaming effect)

② 성숙효과(maturation effect)

③ 허위상관(spurious correlation)

④ 호손효과(Hawthorne effect)

 

[답] ① 제시문은 정책평가의 외적타당성을 저해하는 요인 중 하나인 크리밍효과에 해당한다. 크리밍효과는 정책효과가 크게 나타날 우수한 집단을 실험집단으로 하여 정책효과를 부풀릴 경우 그 효과를 다른 상황에 일반화시킬 수 없는 요인이다.

 

● 정책평가의 타당도 저해요인

내적 타당도	선발요소(선정요인), 선정효과, 역사적 요소, 성숙효과,선발과 성숙의 상호작용, 상실요소, 처치와 상실의 상호작용, 측정(검사)요소, 측정도구의 변화(신뢰도), 회귀인공요소, 오염효과
외적 타당도	호돈 효과,  다수적 처리에 의한 간섭,  표본의 대표성 부족,  크리밍 효과,  실험조작과 측정의 상호작용

 

● 정책평가의 외적타당도 저해요인   [대 호 크 다]

저해요인	개념
호돈 효과(Hawthorne Effect)	실험집단 구성원이 실험의 대상이라는 사실로 인하여 평소와는 다른 특별한 심리적 행동을 보이는 현상으로 외적타당도를 저해하는 대표적 요인. 실험조작의 반응효과라고도 하며 1927년 호돈 실험결과로 발견됨
다수적 처리에 의한 간섭	동일 집단에 여러 번의 실험적 처리를 실시하는 경우 실험조작에 익숙해짐으로 인한 영향이 발생. 그 결과를 처치를 받지 않은 집단에게 일반화 시키기가 곤란함
표본의 대표성 부족	두 집단 간 동질성이 있더라도 사회적 대표성이 없으면 일반화가 곤란
실험조작과 측정의 상호작용	실험 전 측정(측정요소)과 피조사자의 실험조작(호돈효과)의 상호작용으로 실험결과가 나타난 경우 이를 일반화시키기 곤란
크리밍효과(creaming effect)	효과가 크게 나타날 사람만 의도적으로(크림만)  실험집단에 배정한 경우 그 결과를 일반화하는것은 곤란함. 상이한 실험집단과 통제집단의 선택(선발)과 실험조작(호돈효과)의 상호작용이라고도 함

 

2018 9급 지방교행 행정학 문제 정답 및 해설/ :: 공시기출 자료모음소

8. (가)~(다)의 공무원 선발시험의 타당성 유형과 <보기>의 타당성 검증방법을 바르게 연결한 것은?

(가) 이론적으로 추정한 능력요소를 얼마나 정확하게 측정할 수 있는가에 관한 것이다.

(나) 직무수행능력의 예측이 얼마나 정확한가에 관한 것이다.

(다) 특정한 직위의 의무와 책임에 직결되는 요소들을 선발시험이 어느 정도나 측정할 수 있는가에 관한 것이다.

<보기>

ㄱ. 추상성을 측정할 지표개발과 고도의 계량분석기법 및 행태과학적 조사

ㄴ. 직무수행에 필요한 능력요소와 선발시험요소에 대한 전문가의 부합도 평가

ㄷ. 선발시험성적과 업무수행실적의 상관계수 측정

    (가) (나) (다)       (가) (나) (다)

① ㄱ   ㄴ   ㄷ     ② ㄱ   ㄷ   ㄴ

③ ㄴ   ㄷ   ㄱ     ④ ㄷ   ㄱ   ㄴ

청구제한기간

∙ 취임한 날부터 1년이 경과하지 아니한 때

∙ 잔여 임기가 1년 미만인 때

∙ 해당 선출직 공직자에 대한 주민소환투표를 실시한 날부터 1년 이내인 때

<답 2>

<해설> 가, 구성적 타당성 나. 기준타당도 다, 내용타당도

2014 9급 서울시 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

3. Cook과 Cambell이 분류한 정책타당도에 대한 설명으로 옳지 않은 것은?

①내적 타당도는 정책수단과 정책효과 사이의 인과관계를 파악할 수 있게 한다.

②외적 타당도는 정책이 다른 상황에서도 실험에서 발견된 효과들이 그대로 나타날 수 있는 가이다.

③구성타당도(개념적 타당도)란 처리, 결과, 상황 등에 대한 이론적 구성요소들이 성공적으로 조작화된 정도를 말한다.

④결론타당도(통계적 타당도)란 정책실시와 영향의 관계에서 정확도를 의미한다.

⑤크리밍(creaming)효과, 호오손(Hawthorne)효과는 내적 타당도를 저해하는 요인이다.

[해설] ⑤(틀림). 크리밍(creaming)효과와 호오손(Hawthorne)효과는 외적 타당도를 저해하는 요인이다. 다만 크리밍(creaming)효과는 내적 타당도를 저해하는 요인이기도 하다.

[정답] ⑤

2016 9급 국가직 행정학 문제 정답 및 해설/ :: 공시기출 자료모음소

15. 다음 내용에서 정책평가의 내적 타당성을 위협하는 요인은?

정부는 혼잡통행료제도의 효과를 측정하기 위해 혼잡통행료 실시 이전과 실시 후의 도심의 교통 흐름도를측정·비교하였다. 그런데 두 측정 시점 사이에 유류가격이 급등하는 상황이 발생하였다. 

① 상실요인(mortality) ② 회귀요인(regression)

③ 역사요인(history) ④ 검사요인(testing)

[해설] ③(옳음). 제시문은 역사요인(history)에 대한 내용이다. 역사요인(history)은 평가실험을 수행하는 기간 동안에 실험자의 의도와 관계없이 발생하는 사건으로서, 실험 기간이 길수록 역사적 사건이 나타나게 될 확률은 높아지게 된다.

<내적 타당성의 저해(위협)요인>

⑴ 외재적 요인

실험집단과 통제집단을 구성할 때 두 집단에 서로 다른 개인들을 선발하여 할당함으로써 오게 될지도 모르는 편견이다. 이를 선발요소(선정요인)라고 부른다.

⑵ 내재적 요인

㉠ 역사적 요소(history)：평가실험을 수행하는 기간 동안에 실험자의 의도와 관계없이 발생하는 사건으로서, 실험기간이 길수록 역사적 사건이 나타나게 될 확률은 높아지게 된다. 수질개선장치 설치, 홍수 발생, 오염물질의 해소

㉡ 성숙효과(maturation)：실험 대상 집단이 시간이 변화함에 따라 자연히 변화(스스로 성장)함으로써 발생한다. 관찰기간이 길수록 성숙효과가 나타날 가능성이 높다. 우유급식, 청소년의 자연적인 성숙, 체중의 증가

㉢ 선발과 성숙의 상호작용(selection-maturation interaction)：실험집단과 통제집단의 동등화가 이루어지지 않았을 뿐만 아니라, 그들 두 집단의 성숙의 비율이 다를 수도 있는데, 이는 정책효과를 왜곡하는 편견의 원천이 될 수 있다.

㉣ 상실요소(피실험자 상실, experimental mortality)：정책 실시 중에 실험집단의 몇몇 구성원이 탈락하는 경우를 말하며, 실험집단과 통제집단에서 서로 다른 성격과 비율로 탈락한다면 이들 두 집단의 구성이 처음과 달라지게 됨으로써 결과에 대한 잠재적 편견의 원천이 될 수 있다.

빈곤자 대책, 주식폭등으로 빈곤을 벗어나 실험집단에서 제외되는 경우

㉤ 처치와 상실의 상호작용：실험집단과 통제집단에 무작위 배정이 이루어진 경우라 할지라도, 이들 집단들 간에 서로 다른 처치로 인해서 처치 기간 동안에 두 집단으로부터 서로 다른 성질의 구성원들이 상실됨으로 인해 결과에 왜곡을 가져다주는 경우를 말한다.

㉥ 테스트와 측정요소：테스트와 측정 절차가 연구되고 있는 현상을 변화시킬 수도 있다. 예를 들면 인지적 기술을 향상시키는 훈련프로그램에서 실제로는 그 프로그램의 효과가 없는 경우에도 만일 동일하거나 유사한 테스트 문제들이 프로그램 전과 후에 사용되었다고 한다면 개인들이 이들 문제들을 기억하거나 혹은 프로그램 집행 후의 테스트에 앞서 이 문제들을 토의함으로써 테스트 점수가 높아지게 되어 프로그램의 효과가 있었던 것같이 보고될 수도있다[노화준(2009), ｢정책학원론｣, pp.531∼532].

㉦ 측정(검사)도구의 변화(instrumentation)：정책실시 전과 후에 사용하는 효과 측정의 방법이나 도구가 변화한경우를 말한다.

㉧ 회귀인공요소(통계적 회귀요소, regression artifact)：실험 직전의 측정 결과를 토대로 집단을 구성할 때, 평소와는 달리 유별나게 좋거나 나쁜 결과를 받은 사람(극단적인 점수를 받은 사람)이 선발되는 수가 있다. 이런 사람들은 실험이 진행되는 동안에 자신의 원래 위치로 돌아가게 되는데, 그렇게 되면 측정 결과에 대한 해석이 제대로 될 수 없다.

[정답] ③ ☞참고 : 2016 7급 알파행정학 / 2016 위계점 행정학개론, pp.306-307

2014 9급 지방직 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

1. 정책평가의 내적 타당성을 저해하는 요인들 중 외재적 요인은?

① 선발요인 ② 역사요인

③ 측정요인 ④ 도구요인

->내적 타당도 위협요인 외적 타당도 위협요인

외재적 요인 ㉠ 선발(선정)요인

2012 9급 국회직 행정학 문제 정답 및 해설/ :: 공시기출 자료모음소

5. A 지방자치단체는 알코올 중독자들을 위한 6개월 단주 교실을 운영하였다. 처음에는 50명의 수강자들로 시작하였는데, 중도에 탈락되어 20명만이 수료하였고, 그 중 15명이 단주에 성공하였다. A 지방자치단체는 단주교실 운영의 효과를 75%(수료자 20명 가운데 15명)가 단주에 성공했다고 평가하는 오류를 범하였다. 이는 평가의 내적 타당성을 위협하는 요인 중 어느 요인의 오류를 범한 것인가? 

 ① 역사적(history) 요인

 ② 선발(selection) 요인

 ③ 회귀(regression) 요인

 ④ 상실(mortality) 요인

 ⑤ 성숙(maturation) 요인

[답] ④ 제시문은 상실요인(이탈효과)에 해당한다. 상실요인이란 실험집단 및 통제집단 구성원이 집단에서 이탈하는 등 집단구성상 변화로 인한 오류를 말한다.   

2012 9급 지방직 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

다음에서 검증하고자 하는 선발시험의 효용성 기준은?

행정안전부는 2010년도 국가직 9급 공개경쟁채용시험을 통해 채용된 직원들의 시험 성적을 이들의 채용 이후 1년 동안의 근무성적 결과와 비교하려고 한다.

① 타당성(validity) ② 능률성(efficiency)

③ 실용성(practicability) ④ 신뢰성(reliability)

[해설] 타당도(기준타당도)는 직무수행 능력의 예측이 얼마나 정확한가에 관한 타당성이다. 시험이 직무수행에 필요한 능력을 얼마나 정확하게 측정하느냐에 관한 기준이라고 말할 수 있다. 기준타당도를 분석할 때 기본적인 것은 시험성적과 업무실적을 비교하여 양자의 상관계수를 확인하는 것이다.

[정답] ① ☞ 참고 : 2012 9급 알파행정학개론, p.929

2012 9급 국가직 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

정책평가에 대한 설명으로 옳지 않은 것은?

①정책평가의 외적 타당도란 특정한 상황에서 얻은 정책평가의 결과를 일반화할 수 있는 정도를 말한다.

②정책평가의 내적 타당도란 관찰된 결과가 다른 경쟁적 요인들보다는 해당 정책에 기인하는 것이라고 판단할 수 있는 정도를 의미한다.

③A라는 정책이 집행된 이후에 그 정책의 목표 B가 달성된 것을 발견한 경우, 정책평가자는 A와 B 사이에 인과관계가 존재한다고 결론을 내릴 수 있다.

④신뢰도는 동일한 측정도구를 반복하여 사용했을 때 동일한 결과를 얻을 확률을 의미한다.

[해설] ③틀림. A라는 정책이 집행된 이후에 그 정책의 목표 B가 달성된 것을 발견한 경우라 하더라도 A와 B 사이에 항상 인과관계가 존재한다고 단정할 수는 없다. 정책이 아닌 다른 요인 때문에 정책목표가 달성될 수도 있기 때문이다.

<보충> 인과관계의 성립 조건

⑴ 원인변수의 시간적 선행성(temporal precedence)：원인이 되는 사건이나 현상은 결과보다도 시간적으로 먼저 발생하여야 한다.

⑵ 규칙적 동양성(同樣性) 또는 상시연결성(constant conjunction)：원인이 되는 현상이 변화하면 결과적인 현상도 항상 같이 변화해야 한다.

⑶ 경쟁가설(rival hypothesis)의 배제원칙 또는 비허위적 관계：결과변수의 변화가 추정된 원인이 아닌 제3의 변수 또는 외재적 변수에 의해 설명될 가능성이 없어야 한다는 것이다.

[정답] ③ ☞ 참고 : 2012 9급 알파행정학개론, pp.541. 543-544.

2011 9급 서울시 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

20. 다음에 설명하는 개념과 가장 관련이 높은 것은?

“학생들의 수학능력 평가를 수능시험으로 측정해 산출한다면, 측정대상의 의미, 즉 수학

  능력을 포괄적으로 측정했다고 설명하기 어렵다. 학생들의 수학능력 평가는 수능은 물론, 학생부, 자기소개서, 면접 등을 포함해 포괄적으로 이루어져야 한다.”

 ① 구성타당성      ② 내용타당성

 ③ 신뢰성          ④ 액면타당성(Face Validity)

  ⑤ 예측타당성

[답] ② (잠정) 보는 관점에 따라 논란이 될 수 있는 문제이다. 다만, 위 제시문의 상황은 종합적으로 볼 때 내용타당성을 갖추지 못한 경우로 보는 것이 가장 합당할 것으로 보인다. 먼저 학생들의 수학능력은 수능성적 뿐 아니라 평소 학업태도, 학생부 기록, 자기소개서, 면접 등으로 구성되는데 수능성적만으로 능력을 평가하는 것은 수능성적이 수학능력의 전반적인 능력요소를 반영하지 못한 것이므로 1차적으로 내용타당도가 결여된 것이라고 할 수 있다. 

     ⑤의 경우 예측타당성은 기준타당도를 검증하는 방법으로 만약 위 상황에서 수능성적이 좋은 학생이 대학에 입학하여 학업성적이 좋지 않았다면 이는 기준타당도를 결여한 것이 될 것이다. 그러나 위 상황과는 연관이 없어 보인다. 

     ④의 액면타당도(Face Validity)의 경우 이를 내용타당도와 동일시하는 견해도 일부 있지만 이와 달리 외견상 타당성이 있는 것처럼 보이면서도 실제로는 타당성이 없는 경우를 의미한다는 견해가 일반적이므로 이 문제에서는 내용타당도와는 다른 개념으로 접근하는 것이 옳을 것 같다. 

     ①의 경우 구성타당도도 보는 관점에 따라서는 연관성이 있다고 주장할 수 있다. 구성타당도란 정책평가에 있어서 정책처리, 결과, 모집단 및 상황들에 대한 이론적 구성요소들이 성공적으로 조작화된 정도를 말하는 것으로 구성변수가 개입되지 말아야 구성타당도가 높아진다고 볼 수 있는데, 구성변수란 포괄적 개념의 하위변수를 말한다. 예컨대 사회계층이 포괄적 개념이라면, 교육수준, 수입, 직업, 가족적 배경 등은 이를 구성하는‘하위변수’에 해당한다. 위 상황에서 학생들의 수학능력이 포괄적 개념이라면 수능성적 및 학생부, 자기소개서, 면접 등은 각각 하위변수에 해당한다고 볼 수 있다. 따라서 수능성적은 수학능력을 포괄적으로 나타내주지 못하는 하위변수이며 이 경우 구성적 타당도가 결여된다고 볼 수도 있겠다. 

     ③의 신뢰성은 측정도구의 일관성을 의미하는 것이므로 위 상황과는 관련이 없다.

==================================================================

󰊵정책평가의 방법-실험

2014 9급 지방직 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

8. 정책평가 방법에 대한 설명으로 옳지 않은 것은?

① 진실험설계는 정책을 집행하는 실험집단과 집행하지 않는 통제집단을 구성하되, 두 집단이 동질적인 집단이 되도록 한다.

② 정책의 실험 과정에서 실험 대상자와 통제 대상자들이 서로 접촉하는 경우에는 모방효과가 나타날 수 있다.

③ 준실험설계는 짝짓기(matching) 방법으로 실험집단과 통제집단을 구성하여 정책영향을 평가하거나, 시계열적인 방법으로 정책영향을 평가한다.

④ 준실험설계는 자연과학 실험과 같이 대상자들을 격리시켜 실험하기 때문에 호손효과(Hawthorne effects)를 강화시킨다.

 ->지문은 진실험설계에 대한 설명이다. 진실험설계는 엄격한 실험실에서 실험이 실시된다. 즉, 인위적 상황하에서 실험이 실시되기 때문에 실험 대상자들은 자신이 실험의 대상이라는 사실을 알게 된다. 이와 같은 경우 실험 대상자들이 평소와는 다른 행동을 할 가능성이 높아지기 때문에 실험 외의 상황으로 일반화시키기 곤란하다. 이를 호손효과(Hawthorne effects)라고 한다.

정책의 변동과 환류>

2014 9급 사복직 행정학 문제 정답 및 해설/ :: 공시기출 자료모음소

02. 정책변동의 유형 중 정책평가로부터 얻은 정보가 정책채택 단계에서 다시 활용되는 경우로 정책목표는 유지하면서 정책수단을 새로운 수단으로 대체하는 것은?

① 정책유지

② 정책혁신

③ 정책종결

④ 정책승계

[답] ④ 설문은 Peters & Hogwood의 정책변동유형 중 정책승계에 해당한다.

=============================================================================

<평가관련 포괄>

2017 9급 교행 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

10. 정책평가방법과 관련된 설명으로 옳은 것은?

 

① 정책평가의 신뢰성이 높으면 그 평가의 타당성이 높을 수밖에 없다.

② 맥락평가, 투입평가, 과정평가, 산출평가로 구성된 CIPP모형은 정책의 사전 형성평가와 사후 총괄평가에 적용할 수 없다.

③ 진실험설계에 의한 정책영향평가과정에서 연구대상의 무작위 배정은 실험 집단과 통제 집단의 동질성을 확보함으로써 내적 타당성을 높일 수 있다.

④ 외적 타당성이 높은 정책평가는 허위·교란변수를 통제함으로써 어떤 정책과 효과 간에 실제로 높은 수준의 인과관계가 존재함을 입증한 평가를 의미한다.

 

[답] ③ 진실험은 부작위배정으로 실험집단과 통제집단간 동질성을 확보하여 내적타당성을 높이고자 하는 실험이다.

 

☑ ① [X] 신뢰성은 타당도의 필요조건이지 충분조건은 아니다.

② [X] CIPP모형은 정책의 사전 형성평가와 사후 총괄평가 모두에 적용할 수 있다. CIPP모형이란 스터플빔(Stufflbeam)이 의사결정에 필요한 정보를 설계, 획득, 제공하려는 목적으로 구상한 평가모형으로. 상황(맥락)평가(context evaluation), 투입평가(input evaluation), 과정평가(process evaluation), 산출평가(product evaluation)를 의미한다.

④ [X] 내적타당도가 높은 평가에 대한 설명이다.

 

● CIPP모형(Stufflbeam)

① 상황(맥락: Context) 평가단계 : 조직의 요구, 문제, 상태 분석을 통해 목표설정에 대한 정보를 수집하고 분석 ② 투입(Input) 평가단계 : 목표를 달성하는데 필요한 전략, 자원을 수집 ③ 과정(Process) 평가단계 : 프로그램이 계획대로 실행되고 있는지를 정기적으로 점검 ⇨ 형성평가 또는 과정평가 ④ 산출(Product) 평가단계 : 프로그램이 종료된 후 성과를 측정⋅해석⋅판단하고 장기적인 효과를 확인 ⇨ 총괄평가

위 4단계활동이 순환적 의사결정 및 정책평가를 하는데 도움을 주게 된다.

✐ 2017 9급 선행정학 p.241

2013 9급 국회직 행정학 문제 정답 및 해설 :: 공시기출 자료모음소

15. 정책평가에 대한 설명으로 옳은 것은? 

① 총괄적 평가는 사업계획을 개발하는 단계에서 이루어지는 평가로 진행평가라고도 한다.

② 형성적 평가는 과정평가와 영향평가를 모두 포함하는 평가로 정책결정자에게 정책의 성패를 판단하는 중요한 정보를 제공한다.

③ 실험집단과 통제집단을 구성할 때 두 집단에 서로 다른 개인들이 할당되면서 발생하는 편의(bias)는 구성적 타당도를 저해한다.

④ 진실험적 방법을 사용할 경우 내적 타당도는 확보할 수 있지만 외적타당성의 문제가 심각하게 발생할 수 있다.

⑤ 준실험적 방법은 현실적으로 어렵지만 실험집단과 통제집단을 서로 동질적인 것으로 구성하여 정책을 평가하는 방법이다. 

[답] ④ ④만 옳다. 

☑ ① 총괄적 평가는 집행이 완료된 후에 정책효과나 영향을 평가하는 사후평가이다.

② 형성적 평가는 과정평가와 연관되며 집행도중에 프로그램의 문제점을 발견하여 시정하기 위한 도중평가이다.

③ 실험집단과 통제집단을 구성할 때 두 집단에 서로 다른 개인들이 할당되면서 발생하는 편의(bias)는 두 집단간 선발상 차이로서 내적 타당도를 저해한다.

⑤ 준실험이 아니라 진실험에 대한 설명이다.

============================================================================

기획>>>>>>

2012 9급 서울시 행정학 문제 정답 및 해설/ :: 공시기출 자료모음소

2. 다음 중 기획이 시장질서를 교란시키고 국민의 자유권을 침해하며 자유민주주의에 위배된다고 주장한 학자는?

 ① 하이에크(F. A. Hayek)

 ② 파이너(H. Finer)

 ③ 오스트롬(V. Ostrom)

 ④ 사이몬(H. Simon)

 ⑤ 테일러(F. Taylor)

[답] ① 제시문은 노예에로의 길을 통해 기획을 반대한 하이에크(Hayek)의 주장이다.   

✐ 2012 9급 선행정학개론 p.