설문조사는 정량조사 기법으로 UX 리서처가 가장 많이 사용하는 방법입니다. 설문조사는 사용자가 가진 생각과 태도를 알아보기 위한 방법 중 짧은 시간만 들이면 되기 때문에 동일한 기간 동안 모집단에 속한 응답자를 많이 확보할 수 있다는 것이 강점이죠. 많은 경우 설문은 응답자가 스마트폰으로 5분 이내에 완료할 수 있는 문항수와 난이도를 고려해서 만들고 있습니다. 시간이 더 길어지면 중간에 다른 작업으로 이탈할 수 있고, 피로도가 높아지면서 문항을 읽지 않고 응답을 하는 탓에 오류가 발생할 수 있기 때문이죠.
설문을 설계할 때는 UX 리서처는 잠재적인 편향을 고려해야 합니다. 특히 설문은 리서처가 아니라 마케팅, 서비스 운영 조직에서도 널리 사용하는 조사방법이기 때문에 일상에서 접하는 많은 설문에서 여러 오류를 쉽게 발견하곤 합니다. 특히, 1932년 심리학자 렌시스 리커트에 의해 알려진 '리커트 척도'를 사용한 문항에서 많은 오류가 나타나는데요. 태도를 측정하는 방법으로서 '가장 간단하게 물을 수 있다'라는 장점을 가진 '리커트 척도'를 사용할 때에는 UX 리서처가 반드시 주의해야 하는 편향이 있습니다. 이 기법에서는 응답자에게 일련의 척도를 홀수로 제시하며, 응답자는 보통 5점 척도 중 하나를 선택하여 각 문항에 대해 자신이 동의하는지, 또는 동의하지 않는지 여부를 응답합니다.
많은 DIY 온라인 설문 조사에서 우리가 자주 접하는 문항 유형이 바로 리커트 척도인데요. Typeform, Survey Monkey, MS Forms, Google Survey 등 온라인 설문조사 도구에서 모두 지원할 뿐만 아니라 라디오 버튼이나 슬라이더 눈금, 별점 표시 등으로 쉽게 응답을 받을 수 있다는 것이 강점입니다. 사용자에게 익숙한 방법으로 조사를 한다는 것은 유효한 응답을 더 많이 받기 위해 효과적인 방법이죠. 문제는 리커트 척도에 대한 해석입니다. 리커트 척도 응답 결과를 '전반적인 태도'로 해석하는 경우가 많지만, 엄밀히 따지면 리커트 척도는 응답자의 전반적인 태도가 아니라 특정 주제와 관련된 태도에 대해서만 제한적으로 해석하는 것이 적절합니다.
리커트 척도를 활용한 설문을 설계할 때 주의할 점
1️⃣ 한 가지 주제에 초점을 맞춰 일련의 질문을 할 때 그룹으로 묶어서 질문할 것 (식사 만족도, 전채요리, 메인요리, 디저트 vs. 예약 시스템에 대한 만족도 분리)
2️⃣ 문항에서 묻는 질문이 모호하지 않고 정확할 것 (음식 양에 대한 것인지, 맛에 대한 것인지)
3️⃣ 해석에 따라 응답이 달라질 수 있는 형용사 사용을 지양할 것 ('상당한' 보다는 '매우'를 척도로 제시)4️⃣ 태도에 대해서 서술형 보다는 의문형으로 사용할 것 (의문형이 더 정중하게 느껴지므로)
온라인 인터뷰뿐만 아니라 오프라인 인터뷰나 전화 인터뷰에서도 리커트 척도를 사용할 수 있습니다. 리서처는 각 문항(태도를 설명하는 문장)을 차례로 제시한 후 사용자 응답에 기초해 응답 결과를 카드에 기록할 수 있습니다. 리커트 척도를 사용하는 반응 조사에는 각 문장에 대해 일반적으로 1에서 5까지, 부정에서 긍정으로 또는 -2에서 +2까지 점수를 일정하게 부여할 수 있습니다. 보기는 모두 구간 데이터이므로 각 문항에 대해서 평균 및 표준 편차를 계산할 수 있습니다. 소그룹 별로 수치화할 수 있다는 점은 리커트 척도를 여전히 널리 사용하는 이유 중 하나입니다.
리커트 척도는 아래와 같은 목적으로 리서치를 할 때 활용할 수 있습니다.
- A서비스 사용자가 어떤 방식으로 쇼핑을 하는지 알아보고 싶을 때
- 사용자가 신제품 B에 대해 어떻게 생각하는지 알아보고 싶을 때
- 조직 내에서 최근 벌어진 C 상황에 대해 팀원들이 어떻게 생각하는지 알아보고 싶을 때
- 사용자가 D라는 기능에 대해 어떻게 생가하는지 알아보고 싶을 때
- 사용자가 최근 참여한 UT(인터뷰)에 대해 얼마나 만족스러워 했는지 알아보고 싶을 때
리커트 척도는 설문 설계에 따라 그 결과를 전체적으로 또는 부분적으로 해석할 수 있습니다. 먼저 전체적으로 해석할 경우, 각 응답자가 기록한 점수를 합산하여 전반적인 태도 점수를 나타낼 수도 있습니다. 리커트가 이 척도를 제시할 때 가진 의도는 동일한 태도에도 다른 측면이 있다는 것을 나타낼 수 있다는 것이었죠. 하지만 응답자의 전체 합산 점수는 지금까지 상업적인 연구(Albaum, 1997)에서 거의 계산되지 않았습니다. 상대적으로 개별 진술에 대한 응답자 반응이나 주제 별 세트 문항에 대한 합산 점수는 시장에서 소비자 행동이나 선택을 결정하는 태도의 세부적인 특성을 분석하는데 활용되곤 했습니다. 이런 수치는 태도 질문에 대해 유사한 응답 패턴을 보이는 집단을 식별하고 내재되어 있는 근본적인 태도 관점을 분석할 수 있도록 주요 구성요소나 요인 분석에 활용되는 경향이 있습니다. 각 응답자의 근본적인 태도 관점에 대한 요인 점수를 따로 만들어 소수의 개별 점수로 줄여서 요인 분석을 할 수도 있습니다.
리커트 척도를 사용할 때 UX 리서처가 주의해야 할 4가지 인지편향
1️⃣ 순서 효과(order effect)
2️⃣ 동조 효과(acquiescence)
3️⃣ 중앙 집중 경향(central tendency)
4️⃣ 패턴 응답 효과(pattern answering)
1️⃣ 순서 효과(order effect)
순서 효과는 응답이 사용자에게 제시되는 순서로부터 발생합니다. 수평으로 제시된 자체 리커트 척도의 왼쪽에 치우침이 나타날 수 있습니다. 많이 알려진 편향 중 초두효과와 최신 효과가 있습니다. 먼저 제시된 정보가 나중에 들어온 정보보다 전반적인 인상형성에 강력한 영향을 미치는 현상을 '초두효과', 반대로 처음보다 마지막에 듣거나 본 정보가 인상형성에 더 강력한 영향을 미치는 경우를 '최신 효과'라고 합니다. 오디션 프로그램을 생각해보면 두 가지 효과에 대해서 쉽게 이해할 수 있습니다. 많은 후보자들의 경연을 보고 순위를 정해야 하는 상황에서 많은 정보를 기억하고 처리할 때 두 가지 효과가 영향을 미칠 수 있습니다. 순위 결정 프로그램에서 강력한 우승 후보를 많은 오디션 프로그램에서 뒷 순서에 배치하는 것이 일반적입니다. 영국 웨스트민스터 대박 비즈니스 스쿨의 페이지 교수 연구진은 실시간 TV 경연 프로그램을 분석해 뒷번호로 갈수록 높은 전화 득표수와 심사위원 점수를 받는 경향을 밝혀낸 바 있습니다. 미국 유명 경연 프로그램 <아메리칸 아이돌>과 이 포맷을 따른 영국, 호주, 네덜란드 등 8개국 경연 프로그램의 2003년부터 2007년까지의 데이터를 분석한 결과였습니다. 연구진은 맨 앞번호와 뒷번호 경연자가 높은 점수를 받는 경향이 크다는 점을 확인했습니다. 제작자의 인위적 배치에 따른 효과를 제거한 다음 통계 검증을 해도 동일한 결과가 나타났는데 효과 강도는 조금 달랐습니다. 맨 처음보다는 뒷번호로 갈수록 높은 점수를 얻는 효과가 강하게 나타났죠. 분포를 그리면 J 형태의 그래프가 나타났고 2, 3번 정도의 순서가 가장 손해를 보는 것으로 나타났습니다. 리커트 척도에서는 5개 또는 7개 보기를 제시하기 때문에 가장 처음에 제시되는 보기, 마지막에 제시되는 보기를 가장 많이 선택할 수도 있습니다.
2️⃣ 동조 효과(acquiescence)
동조 효과는 묵종 반응 편향이라고도 부르는데, 응답자가 질문에 대해서 '아니오'라고 답하기보다는 '예'라고 대답하거나 진술에 대체적으로 동의하는 경향을 말합니다(Kalton and Schuman, 1982). 'yea saying'이라고도 알려져 있는데요. 위에서 그림을 보면 리커트 척도에서 부정적인 태도 중 가장 강한 태도는 가장 왼쪽에 위치하기 때문에 왼쪽에서 오른쪽으로 글씨를 쓰는 문화권이라면 응답자가 가장 먼저 읽습니다. 이때 동조 효과 때문에 응답자는 '아니오'라기보다는 '예'라고 대답하려고 할 수 있는데, 위에서 소개한 순서 효과로 인해서 가장 먼저 본 응답을 고르려고 할 수도 있습니다. 즉, 1️⃣ 순서 효과와 2️⃣ 동조 효과는 상호 간섭하면서 응답자가 보기를 택하는 과정에 개입하여 복잡한 결과를 만들 수 있습니다. 가장 먼저 제시된 보기에 대한 '불합치' 반응으로, 두 가지 편향이 서로를 상쇄하는 방향으로 갈 가능성도 있습니다. UX리서처가 주의해야 할 점은 동조 효과는 응답자 개인 특성으로 일관되게 나타나는 경향이 있다는 점입니다. 각 응답자에 대한 편향을 평가할 수 있는 조치를 발견할 수 있다면, 이를 보정할 수 있는 거죠. 물론 이는 복잡하고 시간이 많이 걸리는 작업입니다(Weijter et al, 2020).
3️⃣ 중앙 집중 경향 (central tendency)
중앙 집중 경향 또는 극단적인 반응 편향은 응답자들이 극단적인 위치(가장 좌측이나 우측 보기) 선택을 꺼리는 것을 말합니다. Greenleaf(1992)는 2️⃣ 동조 효과와 마찬가지로 중앙 집중 경향이 응답자의 답변 결과에서 일관되게 나타난다는 것을 증명했습니다. 또한 이런 응답자의 경향이 나이, 소득, 교육과 관련이 있지만 성별과는 관련이 없다는 것도 보여주었죠. 이후 중앙 집중 효과를 상쇄하는 방법으로서 2단계 질문이 더 효과적이라는 것도 밝혔습니다(Albaum, 1997). Albaum의 연구는 다음과 같은 2단계 질문을 사용했습니다.
아래 2가지 연속된 질문이 있습니다. 첫 번째 질문은 고객 님이 동의하는지, 동의하지 않는지를 나타내고 두 번째 질문은 동의/비동의에 대해 얼마나 강하게 느끼는지를 나타냅니다.
Q1. '제품의 가격은 보통 제품의 품질 수준을 반영합니다.'
🔘 동의 - 🔘 동의하지도 비동의하지도 않음 - 🔘 동의하지 않음
Q2. 위 답변에 대해 얼마나 많이 동의 / 비동의하시나요?
🔘 매우 강하게 - 🔘 보통
물론, 위와 같은 2단계 질의 방법이 응답자 태도를 더 정확하게 측정하는 것인지, 아니면 극단적 태도에 대한 자체적인 편향을 오히려 만드는 것인지에 대해서 의문을 가질 수 있습니다. Albaum과 연구진(2007)은 자선 기부와 관련한 실제 행동과 응답 결과를 비교해서 무엇이 더 정확하게 태도를 증명해낼 수 있는지에 대해 탐구했습니다. 그 결과는 결정적이지라고 할 수는 없었지만 2단계 접근법이 응답자 태도를 현실에 더 가깝게 나타낸다는 것을 보여주었습니다.
설문을 설계하는 UX 리서처 입장에서는 평가해야 할 항목이 많기 때문에 2단계 접근법은 문항 숫자를 2배로 늘리고 응답자 입장에서는 너무 많은 시간을 들여야 할 수 있지만 적어도 이런 접근법이 제공할 수 있는 다양한 응답 패턴을 이해할 필요가 있습니다. 이 접근법은 완전한 척도를 보여줄 수 없는 전화 인터뷰에서 효과적으로 활용할 수 있겠죠.
4️⃣ 패턴 응답 효과 (pattern answering)
패턴 응답은 응답자가 패턴에서 응답을 누르면서 일정한 모양을 만드는 루틴에 빠졌을 때 발생할 수 있습니다. 객관식 시험을 보는데 전혀 공부를 하지 않아서 OMR카드에 답을 찍는 경우를 생각해보세요! 패턴은 설문지 바로 아래 또는 대각선으로 응답이 기록되는 방식으로 나타날 수 있습니다. 설문은 사실 정답이 있는 것이 아니기 때문에 시험에서 답을 줄 세우는 것과는 다릅니다. 그런데 왜 설문에서 패턴이 나타날까요? 응답자가 피곤하거나 지루해하기 때문입니다. 설문이 너무 길거나 문항이 어렵거나, 너무 당연한 것을 묻는다고 느끼거나, 대충 답을 해도 별로 상관이 없을 것 같다고 느낄 때 응답자는 패턴을 그릴 수 있죠. 이유는 다양한데, 패턴 응답 효과를 줄이는 가장 좋은 방법은 응답자가 설문이나 인터뷰에서 흥미를 느끼도록 유지하는 겁니다. 가장 간단한 방법은 긍정형 문장과 부정형 문장을 모두 포함시키는 겁니다. 이 경우 응답자는 긍정문인지, 부정문인지를 이해하고 일관된 대답을 하기 위해서 문항을 정확히 읽거나 질문을 주의 깊게 들어야만 합니다. 응답 결과를 분석할 때에는 일관성을 확인할 수 있습니다. UX 리서처는 동일한 응답자의 상반된 답변을 통해 패턴 응답 효과가 발생한 위치를 식별할 수 있습니다. 일부 온라인 설문조사 도구 플랫폼은 문항을 완료하는 데 걸리는 시간을 페이지 별로 제공하기도 하는데요. 특히 많은 수의 문항을 포함하는 경우, 평균적으로 응답을 완료하는 데 30초 이상이 걸리는데 10초 이내로 응답이 제출된 경우 패턴 효과가 개입된 것이 아닌지 합리적으로 의심해볼 수 있습니다.
Saris와 연구진(2005)은 동의/반대를 묻는 리커트 척도가 위에서 언급한 4가지 편향 문제 이외에도 응답자에게 특정 문제에 대해서 직접 묻는 단순한 질문보다 인지 과정이 더 복잡하고 부담스러울 수 있기 때문에 결함이 있다고 주장하기도 했습니다. 그냥 좋고, 싫은지 정도만 생각하며 살아가는 사용자에게 얼마나 좋고, 얼마나 싫은지 묻는다는 것은 스스로에게 "내가 이걸 얼마나 좋아하는 거지?"라고 묻게 만들기 때문에 충분히 따져볼 수 있는 문제제기입니다. 게다가 리커트 척도를 사용하는 대신 구체적인 질문으로 묻는 경우 2️⃣ 동조 효과에서 더 자유롭기 때문에 더 신뢰할 수 있는 응답을 얻을 수 있다는 사실도 발견했습니다. 이것은 지금은 Kantar Public Network가 된 TNS BMRB의 미발표 연구에서도 이런 사실이 뒷받침되었죠. TNS BMRB는 구체적인 생각을 나타내는 척도를 제시했을 때 응답 결과가 리커트 척도에 비해 훨씬 더 일관성이 있고 편향성이 없는 것으로 나타난 다수의 구성을 조사한 바 있습니다.
European Social Survey에서는 (이런 문제점 때문에) 더 이상 새로운 질문에 리커트 척도를 사용하지 않는다고 밝혔습니다. 그럼에도 불구하고, 동의/반대에 대한 태도를 묻는 리커트 척도는 설문에서 활용하기에 간단한 방법이고 사용자가 부담을 덜 느끼기 때문에 여전히 널리 사용되고 있습니다.
Source: IAN BRACE 『QUESTIONNAIRE DESIGN』, SURVEYMONKEY, Kantat, ESS