커버스토리 - 여론조사에 기댄 국정운영
전문가 "응답률보다 조사방법 문제"
표본만 정확하다면 편향은 안 생겨
대통령 지지율 전화면접으론 높고 ARS 조사에선 다소 낮게 나와
오차 완전제거 불가능…참고만 해야
[ 유승호/배정철 기자 ]
여론조사 홍수시대다. 중앙선거관리위원회 중앙선거여론조사심의위원회 홈페이지엔 8월 한 달 동안에만 여론조사 결과가 30건 등록됐다. 문재인 대통령 국정 수행 평가에 관한 여론조사만 25건이다. 각종 매체에선 이를 인용한 보도가 넘쳐난다. “여론조사는 전 국민적 오락”이라는 말까지 나온다. 여론조사가 늘어나면서 신뢰도에 대한 의문도 많이 제기되고 있다.
문 대통령 국정 수행에 대한 긍정 평가율은 비슷한 시기에 이뤄진 조사 간에도 많게는 20%포인트 가까이 차이가 난다. 야당 정치인들은 70~80%를 오르내리는 문 대통령 지지율에 대해 “여론조사 회사가 여론을 조작한다”고까지 말한다.
야당과 지지층을 중심으로 많이 거론되는 여론조사의 문제점 중 하나는 낮은 응답률이다. 한국갤럽은 지난달 29~31일 문 대통령 국정 수행 평가 여론조사를 하면서 2만8398회 전화를 걸었다. 이 중 6366회는 팩스, 결번 등이었고 1만6612회는 통화에 실패했다. 전화 연결이 된 것은 5420명뿐이었다. 이 중에서도 4417명은 응답을 거절했고 1003명만이 조사에 응했다. 응답률 18.5%다.
100명 통화하면 10명만 응답
그나마 한국갤럽 조사는 응답률이 높은 편에 속한다. 리서치뷰가 지난달 27~31일 벌인 조사의 응답률은 3.6%에 불과했다. 지난달 중앙선거여론조사심의위원회 홈페이지에 등록된 30개 여론조사의 평균 응답률(단순평균)은 10.0%였다. 일부에선 보수 성향 유권자는 대부분 응답을 거부하고 진보 성향 유권자만 적극적으로 응답하고 있다는 얘기도 나온다. 다수 의견과 다른 생각을 가진 사람은 자신의 의사를 드러내지 않는 ‘침묵의 나선’ 현상이 나타나고 있다는 것이다.
하지만 전문가들은 응답률은 여론조사 정확도와 직접적인 관련이 없다고 설명한다. 이들은 응답률보다 중요한 것은 표본의 대표성이라고 강조한다. 응답을 거부하는 사람이 많아도 성별, 지역별, 연령별 인구 비율만 맞춰서 조사하면 이론적으로 편향이 생기지 않는다는 얘기다. 배종찬 리서치앤리서치 본부장은 “보수 정치권에 실망한 보수층이 여론조사에 적극적으로 참여하지 않는다고 볼 수 있지만 응답률만 갖고 신뢰성을 판단하기는 어렵다”고 말했다.
한국갤럽 장덕현 기획조사부장과 홍영택 선임연구원, 이계오 자문교수는 2014년 ‘RDD(무작위 전화걸기) 전화여론조사의 무응답 편향 보정 방법’ 논문에서 “여론조사 응답률은 지지 정당보다 정치 관심도와 연령 차이를 반영한다”고 분석했다.
조사 방법에 따라 결과 큰 차이
응답률보다는 여론조사 방법이 결과에 더 큰 영향을 미친다고 전문가들은 설명한다. 최근 문 대통령 지지율은 전화면접조사에서 높게 나오고, 자동응답시스템(ARS)에선 다소 낮게 나오는 경향이 있다. 한국사회여론연구소(KSOI)가 지난달 18~19일 전화면접 100%로 벌인 조사에서 문 대통령 지지율은 85.3%였다. 역시 전화면접 100%였던 한국갤럽의 지난달 29~31일 조사에서 문 대통령 지지율은 76%였다.
이에 비해 ARS 100%였던 데이터앤리서치의 지난달 28~29일 조사에선 문 대통령 지지율이 66.3%로 KSOI 조사보다 19%포인트나 낮았다. ARS 90%였던 리얼미터의 지난달 28~30일 조사에서도 73.4%로 비교적 낮았다.
전문가들은 면접원과 직접 통화해야 하는 전화면접과 음성 안내에 따르기만 하면 되는 ARS의 차이로 설명한다. 권순정 리얼미터 조사분석실장은 “전화면접에선 소수 의견을 가진 사람은 응답을 꺼릴 가능성이 있다”며 “ARS 조사에선 부담을 덜 느끼고 의사 표현을 할 수 있다”고 말했다. 그러나 ARS는 전화면접보다 응답률이 낮아 오히려 정확도가 떨어진다는 견해도 있다.
오차 완벽 제거는 불가능
유·무선 전화 비율에 따라서도 여론조사 결과가 다르게 나오는 경향이 있다. 정치권에선 무선전화 조사는 진보 성향 정당에, 유선전화 조사는 보수 성향 정당에 유리하다고 보고 있다. 유선전화 응답자는 노년층과 주부 등 보수 지지 성향이 강한 유권자가 많고, 무선전화 응답자는 20~30대와 사무직 등 진보 지지 성향이 강한 유권자가 많다고 보는 것이다.
이런 분석대로라면 무선전화 비율이 높은 조사에서 문 대통령 지지율이 높아야 한다. 하지만 최근 조사에선 반드시 그런 결과가 나타나고 있지는 않다. 칸타코리아가 지난달 14~15일 한 조사에선 무선전화 비율이 58.3%로 8월 여론조사 중 가장 낮았지만 문 대통령 지지율은 81.6%로 높은 편이었다.
표본 구성의 한계를 지적하는 의견도 있다. 여론조사 회사들은 성별, 지역별, 연령별 인구 비율에 따라 여론조사 표본을 추출한다. 성, 지역, 연령이 정치적 성향에 영향을 미치는 주요 요인이기는 하지만 같은 지역이나 연령 내의 소득 격차 등은 반영하지 못한다.
표본을 정확하게 추출해도 오차를 완전히 제거할 수는 없다. 응답자가 자신의 의사를 솔직하게 드러내지 않을 가능성도 염두에 둬야 한다. 홍형식 한길리서치 소장은 “질문 내용과 순서를 어떻게 하느냐에 따라서도 결과가 달라진다”며 “여론조사를 절대시하거나 맹신해선 안 된다”고 지적했다.
유승호/배정철 기자 usho@hankyung.com
전문가 "응답률보다 조사방법 문제"
표본만 정확하다면 편향은 안 생겨
대통령 지지율 전화면접으론 높고 ARS 조사에선 다소 낮게 나와
오차 완전제거 불가능…참고만 해야
[ 유승호/배정철 기자 ]
여론조사 홍수시대다. 중앙선거관리위원회 중앙선거여론조사심의위원회 홈페이지엔 8월 한 달 동안에만 여론조사 결과가 30건 등록됐다. 문재인 대통령 국정 수행 평가에 관한 여론조사만 25건이다. 각종 매체에선 이를 인용한 보도가 넘쳐난다. “여론조사는 전 국민적 오락”이라는 말까지 나온다. 여론조사가 늘어나면서 신뢰도에 대한 의문도 많이 제기되고 있다.문 대통령 국정 수행에 대한 긍정 평가율은 비슷한 시기에 이뤄진 조사 간에도 많게는 20%포인트 가까이 차이가 난다. 야당 정치인들은 70~80%를 오르내리는 문 대통령 지지율에 대해 “여론조사 회사가 여론을 조작한다”고까지 말한다.
야당과 지지층을 중심으로 많이 거론되는 여론조사의 문제점 중 하나는 낮은 응답률이다. 한국갤럽은 지난달 29~31일 문 대통령 국정 수행 평가 여론조사를 하면서 2만8398회 전화를 걸었다. 이 중 6366회는 팩스, 결번 등이었고 1만6612회는 통화에 실패했다. 전화 연결이 된 것은 5420명뿐이었다. 이 중에서도 4417명은 응답을 거절했고 1003명만이 조사에 응했다. 응답률 18.5%다.
100명 통화하면 10명만 응답
그나마 한국갤럽 조사는 응답률이 높은 편에 속한다. 리서치뷰가 지난달 27~31일 벌인 조사의 응답률은 3.6%에 불과했다. 지난달 중앙선거여론조사심의위원회 홈페이지에 등록된 30개 여론조사의 평균 응답률(단순평균)은 10.0%였다. 일부에선 보수 성향 유권자는 대부분 응답을 거부하고 진보 성향 유권자만 적극적으로 응답하고 있다는 얘기도 나온다. 다수 의견과 다른 생각을 가진 사람은 자신의 의사를 드러내지 않는 ‘침묵의 나선’ 현상이 나타나고 있다는 것이다.
하지만 전문가들은 응답률은 여론조사 정확도와 직접적인 관련이 없다고 설명한다. 이들은 응답률보다 중요한 것은 표본의 대표성이라고 강조한다. 응답을 거부하는 사람이 많아도 성별, 지역별, 연령별 인구 비율만 맞춰서 조사하면 이론적으로 편향이 생기지 않는다는 얘기다. 배종찬 리서치앤리서치 본부장은 “보수 정치권에 실망한 보수층이 여론조사에 적극적으로 참여하지 않는다고 볼 수 있지만 응답률만 갖고 신뢰성을 판단하기는 어렵다”고 말했다.
한국갤럽 장덕현 기획조사부장과 홍영택 선임연구원, 이계오 자문교수는 2014년 ‘RDD(무작위 전화걸기) 전화여론조사의 무응답 편향 보정 방법’ 논문에서 “여론조사 응답률은 지지 정당보다 정치 관심도와 연령 차이를 반영한다”고 분석했다.
조사 방법에 따라 결과 큰 차이
응답률보다는 여론조사 방법이 결과에 더 큰 영향을 미친다고 전문가들은 설명한다. 최근 문 대통령 지지율은 전화면접조사에서 높게 나오고, 자동응답시스템(ARS)에선 다소 낮게 나오는 경향이 있다. 한국사회여론연구소(KSOI)가 지난달 18~19일 전화면접 100%로 벌인 조사에서 문 대통령 지지율은 85.3%였다. 역시 전화면접 100%였던 한국갤럽의 지난달 29~31일 조사에서 문 대통령 지지율은 76%였다.
이에 비해 ARS 100%였던 데이터앤리서치의 지난달 28~29일 조사에선 문 대통령 지지율이 66.3%로 KSOI 조사보다 19%포인트나 낮았다. ARS 90%였던 리얼미터의 지난달 28~30일 조사에서도 73.4%로 비교적 낮았다.
전문가들은 면접원과 직접 통화해야 하는 전화면접과 음성 안내에 따르기만 하면 되는 ARS의 차이로 설명한다. 권순정 리얼미터 조사분석실장은 “전화면접에선 소수 의견을 가진 사람은 응답을 꺼릴 가능성이 있다”며 “ARS 조사에선 부담을 덜 느끼고 의사 표현을 할 수 있다”고 말했다. 그러나 ARS는 전화면접보다 응답률이 낮아 오히려 정확도가 떨어진다는 견해도 있다.
오차 완벽 제거는 불가능
유·무선 전화 비율에 따라서도 여론조사 결과가 다르게 나오는 경향이 있다. 정치권에선 무선전화 조사는 진보 성향 정당에, 유선전화 조사는 보수 성향 정당에 유리하다고 보고 있다. 유선전화 응답자는 노년층과 주부 등 보수 지지 성향이 강한 유권자가 많고, 무선전화 응답자는 20~30대와 사무직 등 진보 지지 성향이 강한 유권자가 많다고 보는 것이다.
이런 분석대로라면 무선전화 비율이 높은 조사에서 문 대통령 지지율이 높아야 한다. 하지만 최근 조사에선 반드시 그런 결과가 나타나고 있지는 않다. 칸타코리아가 지난달 14~15일 한 조사에선 무선전화 비율이 58.3%로 8월 여론조사 중 가장 낮았지만 문 대통령 지지율은 81.6%로 높은 편이었다.
표본 구성의 한계를 지적하는 의견도 있다. 여론조사 회사들은 성별, 지역별, 연령별 인구 비율에 따라 여론조사 표본을 추출한다. 성, 지역, 연령이 정치적 성향에 영향을 미치는 주요 요인이기는 하지만 같은 지역이나 연령 내의 소득 격차 등은 반영하지 못한다.
표본을 정확하게 추출해도 오차를 완전히 제거할 수는 없다. 응답자가 자신의 의사를 솔직하게 드러내지 않을 가능성도 염두에 둬야 한다. 홍형식 한길리서치 소장은 “질문 내용과 순서를 어떻게 하느냐에 따라서도 결과가 달라진다”며 “여론조사를 절대시하거나 맹신해선 안 된다”고 지적했다.
유승호/배정철 기자 usho@hankyung.com
관련뉴스
