최근 인천 계양을 총선 여론조사 결과를 두고 일부 언론에서 여러 주장을 내놓는다. 이재명 더불어민주당 후보와 원희룡 국민의힘 후보 지지도 간 격차가 조사마다 달라서 문제라는 것이다. 필자가 소속된 메타보이스(주)의 조사도 포함돼 있어서 설명을 해야 할 것 같다.

계양을 조사마다 결과 달라 혼동
 

큰사진보기
▲  더불어민주당 이재명 대표가 19일 오전 강원 춘천시 중앙시장을 방문해 시민 및 지지자들에게 인사하고 있다.
ⓒ 연합뉴스	관련사진보기

 
JTBC가 의뢰해 메타보이스가 3월 10~11일, 100% 무선 가상번호 전화면접 방식으로 진행한 조사에서는 이재명 더불어민주당 대표 51% - 원희룡 전 국토교통부 장관 34%로 격차가 17%p였는데, 비슷한 시기인 3월 9~10일 YTN이 의뢰해 엠브레인퍼블릭이 동일 방식인 전화면접 방식으로 진행한 조사에선 이재명 42% - 원희룡 39%로 3%p 격차로 오차범위 내에서 격돌하는 것으로 나타났다.

이 결과를 두고 언론은 여론조사 결과가 다른 경우 해석하는 요령을 소개하기도 하고, 심지어 어떤 언론은 메타보이스 비상근 인원 중에 과거 민주당 의원실 등에 소속돼 있었던 인물이 있어서 문제라는 식의 의혹까지 제기했다. 

결과가 다른 여론조사가 있다면, 어떻게 조사해 결과를 생산하는지를 자세히 들여다 봐야 한다. 의혹을 갖고 과거를 들추는 방식으로는 아무것도 이해할 수 없게 된다. 그건 정치적 공격일 뿐이다.

인천 계양을의 다른 여론조사 결과도 보자. KBS가 의뢰해 한국리서치가 비슷한 시기인 3월 8~10일 조사한 무선 전화면접조사 결과, 이재명 48% - 원희룡 36%로 12%p 격차다.

중앙일보가 의뢰해 한국갤럽이 14일 무선 전화면접 방식으로 조사한 결과에선 이재명 48% - 원희룡 40%로 8%p 격차다. 가장 최근 MBC가 의뢰해 코리아리서치인터내셔널이 3월 15~16일 무선 전화면접 방식으로 조사한 결과에서는 이재명 50%-원희룡 39%로 11%p 격차다. 정리하면 아래와 같다.
 

KBS-한국리서치: 이재명 48% 원희룡 36% - 12%p 격차
YTN-엠브레인퍼블릭: 이재명 42% 원희룡 39% - 3%p 격차
JTBC-메타보이스: 이재명 51% 원희룡 34% - 17%p 격차
중앙일보-한국갤럽: 이재명 48% 원희룡 40% - 8%p 격차
MBC-KRI: 이재명 50% 원희룡 39% - 11%p 격차

두 자릿수 격차가 나는 조사 결과가 3개다. 격차의 평균값은 10.2%p로 역시 두 자릿수다.

왜 다른 결과가 나타나는가
 

큰사진보기
▲  국민의힘 원희룡 공동선대위원장이 17일 오전 서울 여의도 중앙당사에서 열린 중앙선거대책위원장 회의에서 발언하고 있다. 2024.3.17
ⓒ 연합뉴스	관련사진보기

이같이 결과가 다른 여론조사를 어떻게 해석해야 하는지에 대해 설명하거나 혹은 의혹을 제기하는 언론 기사의 주요 내용을 정리하자면 이렇다.

① ARS보다는 전화면접이 좋다.
② 큰 조사회사의 결과가 좋다.
③ 극단치는 제외하고 보는 게 좋다.
④ 비상근 자문 인력의 과거 경력에 의원실이나 정당 경력이 포함돼 문제다.

사실 ①~③은 여론조사의 결과를 이해하는 일반적인 주장이라서 최근 경향이나 또 다른 의견을 더하고 빼는 등 논의가 가능할 것 같다. ④는 트집잡기 정도에 지나지 않아서 논의할 대상이 아닌 것으로 보인다.

언론 기사에서는 다루지 않았지만, 필자가 보기에 중요한 이유를 소개하고자 한다. 그건 '문항 순서효과에 의한 응답 경향'이다. 즉, 지지하는 후보 문항의 결과만 딱 잘라서 봐도 이해하기 어려울 때에는 설문지 전체 구조를 보라는 제안을 하고 싶다. 아래는 위에서 소개한 5개 조사의 설문 구조다. 이해하기 쉽게 격차가 큰 순서대로 보여드린다(아래 설명 중 SQ는 선정문항, DQ는 배경문항을 뜻함).

[메타보이스 - 17%p 격차]
SQ - 연령, 성별, 거주지
문. 지지하는 후보 - "누구를 지지"
문. 당선 후보 전망
문. 비례대표 선거 투표 정당
문. 공감하는 총선 프레임
문. 투표 의향
DQ - 이념 성향, 지난 대선 투표 후보

[한국리서치 - 12%p 격차]
SQ - 주소, 성별, 연령
문. 투표 의향
문. 지지하는 후보 - "누구에게 투표"
문. 투표 시 고려 요인: 정당 vs. 인물
문. 당선 후보 전망
문. 공감하는 총선 프레임
문. 지지하는 정당
DQ - 직업, 경제 계층, 이념 성향

[KRI(코리아리서치인터네셔널) - 11%p 격차]
SQ - 주소, 성별, 연령
문. 투표 의향
문. 지지하는 후보 - "누구에게 투표"
문. 계속 지지 의향
문. 당선 후보 전망
문. 비례대표 선거 투표 정당
문. 공감하는 총선 프레임
DQ - 직업

[한국갤럽 - 8%p 격차]
SQ - 주소, 연령, 성별
문. 투표 의향
문. 지지하는 후보 - "가장 좋다고 생각"
문. 비례대표 선거 투표 정당
문. 전체 선거 결과 예상
문. 지지하는 정당
DQ - 직업, 정치 성향

[엠브레인퍼블릭 - 3%p 격차]
SQ - 주소, 성별, 연령
문. 지지하는 정당
문. 투표 의향
문. 투표 시 고려 요인: 정당 vs. 인물
문. 지지하는 후보 - "가장 지지"
문. 당선 후보 전망
문. 공감하는 총선 프레임
DQ - 이념 성향

필자가 밑줄 친 '지지하는 후보'를 묻는 문항이 핵심이다. 혹시 이미 눈치를 챈 독자가 있을지 모르겠는데, 위 5개 설문 구조에서 엠브레인퍼블릭 설문지에서만 지지하는 후보를 묻는 문항이 나중에 나온다. 지지하는 정당, 투표 의향, 투표 시 고려 요인 등을 묻고 나서 지지하는 후보를 묻는다.

다른 조사기관의 설문지에서는 지지 정당보다 지지하는 후보를 묻는 문항이 앞에 위치한다. 메타보이스는 투표 의향 문항보다도 지지하는 후보를 먼저 묻고 있다. 후보 지지도 격차와 문항의 순서가 묘한 관련이 있는 것처럼 보인다.

정당과 인물, 어디에 투표하는가

필자는 위같은 설문 구조 비교를 통해, 응답자가 설문에 응하면서 먼저 접하는 질문에 의해 환기되는 기억이 무엇인지에 따라 이어지는 질문에 대한 응답이 달라질 수 있다는 사실을 '문항 순서효과'라고 제기한다.

위의 5개 설문 구조에 대해서는, 지지하는 정당을 먼저 응답하게 되면 최근 정당에 대한 정보와 기억을 환기하고, 그 프레임에 맞게 일관된 응답을 하는 경향이 나타날 수가 있다는 것이다. 지지하는 후보를 묻는 말에 응답 요청을 받게 되는 설문 결과와는 당연히 다를 것으로 보인다. 

유권자가 투표소에서 투표하는 과정을 생각하면, 후보의 소속 정당을 보고 투표를 하는 경우도 있을 수 있고, 인물을 먼저 보고 투표하는 경우도 많겠다. 인물에 대한 정보가 거의 없는 경우에는 일체감을 느끼는 정당만을 보고 투표하는 비율이 상당히 높다는 연구도 있고, 인물의 호감도가 높은 경우에는 정당 요인은 크게 고려하지 않기도 한다.

이번 인천 계양을 지역구를 보자. 두 후보 모두 대권주자로 중량감이 상당하다. 더군다나 이재명은 최대 정당을 이끄는 수장이고, 원희룡은 전직 장관과 제주도지사를 지냈다. 인지도를 논해야 하는 인물들이 아니다. 이런 후보군이라면, 지지 후보를 먼저 묻는 경우에 호감도가 바로 응답으로 나타날 수 있다.

지지하는 정당을 먼저 물으면 인물도 인물이지만, 최근 두 정당의 공천 잡음, 정책과 공약 등 다양한 요소가 떠오른다. 그래서 정당 일체감에 의한 선택 경향이 지지하는 후보 문항에 반영될 수 있다. 어느 게 맞고 틀린 문제가 아니다. 다른 결과를 이해하는 하나의 요령이다.

한 걸음 더 나간다면, 위의 설문에서 질문하는 문구, 즉 '지지하는 후보'를 묻는지, '투표할 후보'인지, 혹은 '좋은 후보'인지에 따라 다른 경향이 나타날 텐데 이번 기사에서는 생략한다.

'선택지 순서 효과'는 없는가
 

큰사진보기
▲  제22대 국회의원선거를 한달 앞둔 11일 오전 경기도 과천시 중앙선거관리워윈회 제22대 국회의원선거 선거종합상황실에 예비후보자 등록현황이 표시돼 있다.
ⓒ 연합뉴스	관련사진보기

 
순서 효과가 등장했으니 필자는 여기에서 한 가지 더 소개하고자 한다. 선택지를 제시하는 순서에 따른 효과다. 가장 먼저 제시하는 선택지를 더 많이 선택하는 경향은 초두효과, 가장 나중에 제시하는 선택지를 더 많이 선택한다면 말미효과다. 이런 효과에 의한 편향을 방지하기 위해 중앙선거여론조사심의위원회는 선택지를 '로테이션'(순환)할 것을 요구하기도 한다.

그런데, '로테이션'은 '순차 방식'도 있고, '무작위 방식'도 있다. 전화면접조사를 진행하는 CATI라는 프로그램에서 지원하는 방식인데 둘은 사실 다르다. A, B, C 후보를 로테이션 해보자.

순차적인 방식으로는 A-B-C, B-C-A, C-A-B로 제시하게 된다. 무작위는 앞의 3개에 더해 A-C-B, B-A-C, C-B-A가 섞인다. 즉, 무작위 방식은 완전히 섞이게 된다. 순차적인 방식의 로테이션에서 C후보는 B후보 뒤에 위치하는 경우가 많다. 중간에 A가 들어와야 B보다 앞에 위치할 수 있다. 민감한 경선 조사에서는 무작위하게 섞을 것을 요구하기도 한다.

그렇다면 정당을 제시하는 순서는 어떻게 돼야 할까? 보통은 의석수 순으로 나열한 후에 로테이션을 준다. 조사기관마다 순차적 혹은 무작위적으로 로테이션하는데, 어떤 방식으로 하라고 여심위가 규제하지는 않는 것 같다.

그런데, 위의 엠브레인퍼블릭 조사에서만 국민의힘이 더불어민주당보다 앞에 위치한 상태에서 로테이션이 걸려 있다. 다른 조사기관의 설문지에는 의석수를 반영해 국민의힘보다 더불어민주당이 앞에 놓인 상태에서 로테이션이 걸려 있다.

'비표본오차'를 고려해야 한다

필자는 오랫동안 여야 정당 내 경선 여론조사, 정당간 후보 단일화 조사를 진행해왔다. 업계에서는 가장 민감하고 까다롭다는 조사 유형이다. 그 과정에서 정말 사소한 비표본오차가 조사결과에 어떤 영향을 미치는지 절감해왔다. 여론조사 결과를 소비하는 측에서는 도저히 알 수 없는 내용이 많다.

가령, 지지하는 후보를 묻는 문항에서 응답자가 '첫째 후보요'라거나 '그 이씨요', '원씨요'라고 하면 그 응답이 유효할까? 전화면접원은 '아, OO당 말씀이시죠?'라고 되묻는 게 가능할까? 정당 명칭을 과거 정당 명칭으로 응답, 가령 '새누리당이요'라고 하면 어떻게 해야 할까? 더불어민주당을 '민주당'이라고 응답하면 유효한 응답이 될까?

하나하나 다 언급할 수 없는 전화면접조사의 면접원 준수사항이라는 게 있다. 자칫 준수사항을 따르지 않으면 그 지역에서 평생을 노력해온 정치인에게도, 지역 유권자에게도 큰 폐를 끼치게 되니 조심하고 또 조심해야 한다.

여론조사 업계에는 여러 정당, 의원실, 대통령실 근무 경력자가 대표나 임원으로 상근하는 경우가 있다. 의혹을 제기하는 수준이 고작 설문지 문구 한 번 볼 수 없는 비상근 인력의 과거 경력을 들춰내는 수준이라면, 제기하는 측이 참으로 딱하다는 생각도 든다. 여러 여론조사 결과가 달라서 혼동된다면, 전문가에게 물어봐야 한다.