확률 표집 위기와 비확률 표집 설계(커뮤니케이션이해총서)

확률 표집 이후의 세계, 조사는 어떻게 신뢰를 설계하는가

응답률 5%의 시대, 통계적 '이상'을 넘어 현실적 '진실'을 찾는다
비확률 표집을 과학적이고 정교하게 설계하려는 조사 방법론 가이드북

조사 방법론의 교과서적 이상과 현장의 냉혹한 현실 사이에서, 오늘날 조사가 무엇을 선택해야 하는지를 묻는다. 확률 표집은 모든 구성원이 표본으로 뽑힐 기회를 가진다는 원리 위에서 과학성과 민주주의를 동시에 지탱해 왔다. 무작위 전화 걸기와 같은 방법은 오차 범위와 신뢰 수준을 계산 가능한 것으로 만들며 여론을 정밀하게 추론할 수 있게 했다. 그러나 스팸과 피싱이 일상이 된 환경, 급락한 응답률, 폭증한 조사 비용은 그 이상을 지속하기 어렵게 만들었다. 특히 주소 기반 표집틀이 부재한 한국의 현실에서 전화번호 중심의 확률 표집은 모집단을 대표하지 못하는 '기울어진 운동장'이 되었다.
이 책은 확률 표집의 황금기가 왜 끝났는지를 무응답 편향과 포함 오류라는 구조적 문제를 통해 설명한다. 응답하는 소수는 더 이상 침묵하는 다수를 대표하지 못하고, 휴대전화 중심 사회는 기존 표집틀의 전제를 무너뜨렸다. 이러한 변화는 단지 기술의 문제가 아니라 신뢰의 문제다. 2016년 미국 대선과 브렉시트 예측 실패는 확률 표집이 더 이상 자동으로 정확성을 보장하지 않는다는 사실을 드러냈다.
저자는 여기서 비확률 표집을 단순한 차선이나 편법으로 다루지 않는다. 미국과 한국의 서로 다른 역사적 경로를 비교하며, 한국 조사 시장에서 할당 조사가 관행으로 굳어진 이유를 구조적으로 분석한다. 이는 과학적 신념의 결핍이 아니라, 제약 속에서 최선을 찾으려는 실용적 선택의 결과였음을 짚는다. 문제는 비확률 표집 그 자체가 아니라, 선택 편향을 어떻게 인식하고 통제하느냐다.
비확률 표집을 '불완전한 재료'로 인정한 뒤, 그 재료로 가장 튼튼한 다리를 놓는 방법을 단계적으로 제시한다. 목표 모집단 정의와 할당 변수 설계, 현장 관리와 온라인 패널 운용, 선택 편향의 심리적 기원과 통계적 보정 기법까지 실무와 이론을 아우른다. 동시에 사후 보정이 만능이 아님을 경고하며, 조사 품질의 평가와 한계의 투명한 보고라는 연구 윤리를 강조한다. 나아가 인공지능과 빅데이터 시대에 표본 설계가 나아갈 책임 있는 방향까지 조망한다.
'최선이 아닌 차선'을 선택해야 하는 시대에, 그 차선을 얼마나 정직하고 엄격하게 설계할 수 있는지를 묻는 책이다. 조사 연구자뿐 아니라 언론인, 정책 결정자, 데이터 소비자 모두에게 필요한 공통의 언어를 제안한다.

확률 표집의 이상과 비확률 표집의 현실

01 왜 비확률 표집인가?
02 비확률 표집이란 무엇인가
03 할당 표집 설계의 첫걸음
04 할당 표집의 실행과 통제
05 온라인 패널과 결합 할당
06 선택 편향의 이해
07 편향을 줄이는 설계 전략
08 가중치를 이용한 사후 보정
09 비확률 표본의 품질 평가와 보고
10 비확률 표집의 미래

오승호 20여 년간 조사 회사에서 '서베이 컨설턴트'로 일하고 있다. 한국외국어대학교 러시아어과에서 학사학위를, 서강대학교 정치외교학과에서 석사학위를 받았다. 대학 2학년 시절 정치학방법론 강의에서 설문지 작성에 대한 강의에 큰 흥미를 느꼈고, 이후 관련 일을 소위 업으로 삼고자 사회 조사분석사 2급(2002.11.11)을 취득했다. 연구 논문으로는 "웹기반?선거여론 조사의 쟁점과 신뢰성 제고 방안 연구"(조성겸·오승호. 2021), "Web Survey Sampling Methods that Minimize Political Bias: PPS with Benchmarking Weight as a Size Variable"(Park Seunghwan·Oh Seungho, 2024 WAPOR CONFERENCE) 등이 있다. 서베이 방법론에 전반적으로 관심이 많으며, 특히 웹서베이에 대한 열정은 '덕후' 수준이라는 주위의 평가를 듣곤 한다. 서베이 방법론과 관련해 개인 블로그(https://method-survey.blogspot.com/)도 운영하고 있다.