설문지 작성법(커뮤니케이션이해총서)

질문 하나가 데이터의 진실을 결정한다

생각을 측정하는 과학, 설문 설계의 모든 것
데이터의 철학·설계의 과학·연구의 윤리까지, 진실을 비추는 거울을 만드는 완벽한 로드맵

우리는 질문을 통해 타인의 생각을 이해하고 사회의 방향을 가늠하며 스스로를 성찰한다. 기업은 질문으로 시장을 읽고, 정부는 질문으로 정책의 정당성을 묻고, 개인은 질문을 통해 자신의 상태를 점검한다. 이처럼 설문은 세상을 이해하는 가장 보편적인 도구이지만, 동시에 가장 쉽게 오용되는 도구이기도 하다. 같은 사안을 두고 조사 기관마다 전혀 다른 결과가 나오는 이유는 무엇일까. 그 원인은 대부분 질문 그 자체에 있다. 질문의 표현, 보기의 구성, 문항의 배열 방식에 따라 응답은 극적으로 달라지며, 잘못 설계된 질문은 현실을 비추는 거울이 아니라 왜곡된 요술 거울이 된다. 이 책은 바로 그 지점에서 출발한다. 우리가 얻고 있는 설문 데이터는 과연 진실을 반영하고 있는가라는 근본적인 물음이다.
저자는 설문을 단순한 문항 작성 기술이 아니라 인간의 인지 과정과 측정 이론이 결합된 과학적 설계 행위로 정의한다. 좋은 질문은 문장이 매끄럽다고 완성되지 않는다. 응답자가 질문을 어떻게 이해하고, 기억에서 정보를 어떻게 인출하며, 어떤 판단을 거쳐 답을 선택하는지를 고려해야 한다. 설문 응답이 '이해·인출·판단·응답'이라는 네 단계의 인지 과업을 거친다는 점을 밝히고, 각 단계에서 발생할 수 있는 오류를 체계적으로 설명한다. 이를 통해 설문지가 왜 사소한 표현 하나로도 신뢰성을 잃을 수 있는지를 논리적으로 보여 준다.
이 책은 총 10장에 걸쳐 좋은 질문이 탄생하기까지의 과정을 네 단계로 안내한다. 먼저 측정의 철학과 기본 원칙을 통해 좋은 질문의 기준을 세운다. 질문은 명확해야 하고, 응답 가능해야 하며, 솔직한 응답을 이끌어낼 수 있어야 한다. 이어 개방형 질문과 폐쇄형 질문의 전략적 선택, 객관식 보기의 포괄성과 상호 배타성, 양극형·단극형 척도의 구분, 효과적인 평가 척도 설계 등 실무자가 반드시 알아야 할 핵심 기술을 다룬다. 나쁜 질문의 전형, 유도 질문과 이중 질문의 위험성, 민감한 질문에 대한 응답률을 높이는 방법, 문항 순서에 따른 맥락 효과 역시 구체적으로 분석한다.
마지막으로 설문지가 과학으로 인정받기 위한 검증과 윤리의 문제를 강조한다. 사전조사, 인지 면접, 전문가 검토를 통해 질문의 허점을 사전에 점검하고, 응답자의 권리를 존중하는 윤리 원칙을 설문의 핵심 요소로 다룬다. 질문은 중립적인 도구가 아니라 응답자의 시간과 생각을 요구하는 힘이라는 점을 분명히 한다. 좋은 질문이란 정확한 설계와 함께 응답자를 향한 존중이 결합될 때 완성된다. 신뢰할 수 있는 데이터를 만들고자 하는 모든 연구자와 실무자를 위한 가장 기본적이면서도 가장 깊이 있는 안내서다.

생각을 측정하는 도구의 진화

01 좋은 질문의 목표와 기본 원칙
02 질문에 답하는 4단계 인지 과정
03 개방형 질문과 폐쇄형 질문
04 객관식 보기의 원칙
05 효과적인 평가 척도 설계하기
06 나쁜 질문 피하기
07 민감한 주제에 대한 응답률 높이기
08 문항 순서의 마법
09 질문지 검증과 실패 예방, 사전조사
10 질문의 윤리

오승호 20여 년간 조사회사에서 '서베이 컨설턴트'로 일하고 있다. 한국외국어대학교 러시아어과에서 학사학위를, 서강대학교 정치외교학과에서 석사학위를 받았다. 대학 2학년 시절 정치학방법론 강의에서 설문지 작성에 대한 강의에 큰 흥미를 느꼈고, 이후 관련 일을 업으로 삼고자 사회 조사분석사 2급(2002.11.11)을 취득했다. 연구 논문으로는 "웹기반?선거여론조사의 쟁점과 신뢰성 제고방안 연구"(조성겸·오승호. 2021), "Web Survey Sampling Methods that Minimize Political Bias: PPS with Benchmarking Weight as a Size Variable"(Park Seunghwan·Oh Seungho, 2024 WAPOR CONFERENCE) 등이 있다. 서베이 방법론에 전반적으로 관심이 많으며, 특히 웹서베이에 대한 열정은 '덕후' 수준이라는 주위의 평가를 듣곤 한다. 서베이 방법론과 관련해 개인 블로그(https://method-survey.blogspot.com/)도 운영하고 있다.