작은 자료일수록 한두 건이 비율을 크게 흔듭니다
몇 건의 응답이나 일부 사례에서 뚜렷한 차이가 보이면 그 차이를 전체의 특성처럼 설명하고 싶어집니다. 하지만 표본이 적을 때에는 응답이 한두 건만 달라져도 비율이 크게 움직입니다. 그래서 퍼센트만 제시하면 자료가 실제로 얼마나 많은 사람의 이야기인지 가늠하기 어렵습니다.
자료가 어떤 질문에 답할 수 있는지 판단하려면 비율보다 앞에 응답 수와 선정 방식을 함께 적어야 합니다. 이 두 가지를 먼저 보여 주면 읽는 사람이 결과를 얼마나 무겁게 받아들일지 스스로 조절할 수 있습니다.
비율에는 실제 건수와 기간을 붙입니다
다섯 명 가운데 네 명이 같은 답을 했다는 사실은 80퍼센트라는 숫자로 표시하면 훨씬 큰 규모처럼 보입니다. 이런 오해를 막으려면 실제 인원과 조사 기간을 같은 줄에 적습니다. 비율을 계산할 때 분모가 무엇인지도 밝혀 둡니다.
또한 누가 응답했는지 확인합니다. 자발적으로 참여한 사람만 포함되었는지, 특정 채널이나 지역에서만 모았는지에 따라 의미가 달라집니다. 응답하지 않은 사람의 생각을 이미 조사한 것처럼 추정해서는 안 됩니다.
비교하는 집단의 조건을 맞춰 봅니다
두 집단의 차이를 말하려면 두 집단이 비슷한 조건이었는지 살펴야 합니다. 한쪽은 최근에 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면 차이는 방식의 효과가 아니라 집단의 성격 때문일 수 있습니다.
질문 문구가 바뀌었거나 설문을 보여 주는 위치가 달라졌다면 같은 비율이라도 시간 순서로 이어서 해석하기 어렵습니다. 그런 경우에는 이어 붙인 추세처럼 표현하지 말고, 조건이 달라졌다는 사실을 표 아래에 적습니다.
그래프는 과장되지 않게 그립니다
숫자가 작을 때 그래프의 축 범위를 좁게 잡으면 두 건과 세 건의 차이가 매우 커 보입니다. 시각적인 인상이 결론처럼 전달되지 않도록 축의 시작점과 단위를 확인합니다. 분모가 다른 비율을 나란히 놓을 때에는 각 집단의 실제 건수를 함께 표시합니다.
누락된 응답을 제외했는지, 한 사람이 여러 항목을 선택할 수 있었는지처럼 해석에 영향을 주는 처리 방식도 표 아래에 한두 줄로 설명하면 읽는 사람의 오해를 줄일 수 있습니다.
결론에는 자료가 말하는 범위를 다시 적습니다
이번에 확인한 사례에서는 이런 경향이 보였다고 말할 수는 있어도, 모든 이용자가 그렇다고 단정할 근거는 부족할 수 있습니다. 결론 문단에서 자료의 범위를 다시 한 번 적으면 보고서를 받은 사람이 의사결정에 쓸 때 과도하게 일반화하지 않게 됩니다.
추가 조사를 계획한다면 어떤 집단과 기간을 보완할지 구체적으로 적습니다. 막연히 더 조사하겠다고 쓰는 것보다 다음에 채울 빈칸이 분명해집니다.
보고서에 넣는 문장을 이렇게 바꿔 봅니다
해석을 문장으로 옮길 때에는 표현의 확신 정도를 자료의 크기에 맞춥니다. 고객은 대체로 이런 반응을 보인다고 쓰기보다 이번 조사에 응한 일부 응답에서는 이런 반응이 더 많이 확인되었다고 쓰는 편이 정확합니다. 읽는 사람이 후속 조치를 정할 때 어디까지 근거가 있는지 알 수 있기 때문입니다.
원인을 설명하는 문장도 조심합니다. 두 항목이 함께 움직였다고 해서 한쪽이 다른 쪽의 원인이라고 말할 수는 없습니다. 가능한 설명을 여러 가지 적고 추가로 확인할 항목을 덧붙이면 보고서의 신뢰가 오히려 높아집니다.
적은 응답에서 나온 경향은 결론이 아니라 가설로 다루면 쓸모가 큽니다. 어떤 가설인지 한 문장으로 적고, 이를 확인하려면 어떤 집단에서 얼마나 더 자료를 모아야 하는지 정리합니다. 이렇게 하면 다음 조사가 막연한 반복이 아니라 앞선 결과를 검증하는 작업이 됩니다.
수집 방법을 기록하면 다음 조사와 비교할 수 있습니다
질문지와 응답자 포함 기준, 조사 기간을 보관해 두면 다음 조사에서 같은 조건을 적용할 수 있습니다. 그러면 달라진 결과가 실제 변화 때문인지 조사 방법의 차이 때문인지 나누어 볼 수 있습니다.
표본이 작다는 이유만으로 자료를 버릴 필요는 없습니다. 현장에서 어떤 질문이 나오는지 발견하는 데에는 충분히 쓸모가 있습니다. 다만 자료가 말하지 않은 부분까지 확정적인 사실로 바꾸지 않아야 다음 판단에도 도움이 됩니다. 실제 해석 기준은 조사 목적과 규모에 따라 달라지므로 내부 검토를 거쳐 정하시기 바랍니다.