Null Model

내가 처음으로 만들었던 심리검사는 어느 교육관련 기업체로부터 수주받아 제작한 어린이용 지능검사였다. 지능이나 심리검사나 엄밀히 말하면 내 전공은 아니고 남들보다 조금 더 잘 아는 정도였지만 그 업체에서 요구하는 것도 WISC, ABC, LEITER 같은 전문적인 지능검사는 아니었기 때문에 큰 부담은 갖지 않고 만들었다. 그런데 나중에 타당도(심리검사가 측정하려는 심리적 속성을 정확히 측정하는 정도)를 평가해보니 의외로 높아서 깜짝 놀랐다. 지도교수에게 그 얘기를 했더니 "원래 심리검사는 만드는 사람도 반신반의하다가 나중에 결과를 보면 이상하게 잘맞아서 놀란다"며 웃으셨다.

그런데 업체 측에는 만드는 과정 내내 검사가 정확해보이지 않는다며 불만을 나타냈다. 타당도에는 여러 가지가 있는데 그 업체처럼 그냥 비전문가가 보기에 타당해보이는 것은 안면타당도라고 한다. 안면타당도는 검사제작에서 중요하게 고려해야하긴 하지만 어디까지나 겉보기에 그럴듯해 보인다는 것 뿐 실제 타당도와는 별 상관이 없다.

심리적 속성은 직접적으로 측정할 수가 없기 때문에 여러 가지 행동들을 바탕으로 심리적 속성을 추론한다. 많은 심리검사가 편의성 때문에 종이와 연필을 주고 문제를 풀게 하거나 질문에 답변을 하게 하는 데 어쨌든 이런 것도 다 행동이다. 이런 행동과 심리적 속성 사이에 존재하는 관계를 이론적으로 가정한 다음에, 관찰된 행동 자료를 바탕으로 이 가정을 확인한다. 그런데 이렇게 가정된 관계는 상당히 복잡하기 때문에 이것을 확인하기 위해서는 역시 수학적, 통계적으로 복잡한 방법들이 필요하다.

그래서 검사 제작이 중반을 넘어가게 되면 문제 자체가 어떻게 생겼는지는 별로 고려할 요소가 되질 않는다. 아무리 봐도 잘 만들어진 문제인데 심리적 속성을 측정하는 데 별로 중요하지 않은 경우도 있고, 심지어 잘못 만들어진 문제가 스크리닝 과정에서 안 걸러지고 들어갔는 데 엉뚱하게도 심리적 속성을 측정하는 데 중요한 역할을 하는 경우가 있다.

업체와 연구진들 사이의 갈등은 여기에서 비롯되었다. 업체는 겉보기에 이상하니 검사에서 빼라고 하고, 연구진들은 분석 결과 이 문제들이 이론적 가정 안에서 중요한 역할을 하는 문제로 드러나 뺄 수가 없다고 버텼다. 결국엔 업체가 돈자루를 쥐었으니 그쪽 마음대로 다 빠졌는 데 자기 돈 들여서 자기 제품의 질을 떨어트리는 우스운 꼬락서니가 됐다.

물론 업체 담당자들의 주관적인 판단이 맞을 수도 있다. 이론적 가정에 결함이 있어서 좋은 문제가 빠지고 나쁜 문제가 들어갈 수도 있다. 그런데 이론적 가정에 대한 평가는 문제 하나 하나를 두고 하는 게 아니라 검사 전체를 통해서 하는 것이다. 만약 이론적 가정이 잘못되었으면 검사 전체를 갈아 엎어야 한다. 반대로 이론적 가정이 어느 정도 결함에도 불구하고 전반적으로 옳다면 정말로 잘못된 문제가 들어가더라도 불가피하다. 이론적 가정은 검사를 구성하는 틀이기 때문에 문제 하나 하나에 대해 좋다/나쁘다라는 판단은 이론적 가정 아래서만 가능하기 때문이다. 업체 측에서는 이런 이해가 없기 때문에 이론적 가정과 무관하게 문제 하나 하나를 보고 좋은 문제인지 나쁜 문제인지 알 수 있다고 생각했지만, 그것 역시 업체 측 담당자들이 암묵적으로 가지고 있는 나름의 '이론적 가정'에 바탕을 둔 것일 뿐이다. 그것은 문제를 통해 심리적 속성이 직접적으로 측정될 수 있다는 아주 잘못된 '이론적 가정'이다.

업체 담당자들이 생각하는 방식과 인터넷에 돌아다니는 '심리 테스트' 사이에는 묘한 일관성이 있다. 심리 테스트들을 보면 "당신의 눈 앞에 바다가 있습니다. 그 상태가 어떻습니까?"라는 식으로 질문을 던진 다음에 그 답변을 그대로 심리적 속성이라고 간주한다. 예를 들면 바다가 잔잔하면 마음도 평온한 것이고, 바다에 파도가 치면 마음이 불안하다는 것이다. 물론 사람들의 연상은 경험이나 심리적 상태에 영향을 받으니까 전혀 틀린 것이라고는 할 수 없지만 이런 식으로 나타날리는 없다. 바다에서 서핑을 즐기고 돌아온 사람이라면 거친 파도가 치는 바다를 떠올릴텐데 이 사람이 불안하다고 할 수는 없다.

그런데도 사람들이 이런 엉터리 심리테스트를 덜컥 믿는다. 심리테스트의 논리에 있는 허점을 지적하면 "그냥 재미로 하는 거지"라고 대답하는 데 자신과 아무 상관이 없는 결과가 재밌을리가 없다. 어느 정도는 맞는다고 생각하기 때문에 재밌는 것이다. 보통 바넘 효과(누구에게나 해당되는 속성이 자신에게만 있다고 믿는 특성. 별자리 같은 걸 물어본 다음에 누구에게나 해당되는 말들을 늘어놓으면 자기에 꼭 맞는다고 생각한다) 때문이라고 보기는 하지만 앞에서 말한 바다-연상 심리테스트 같은 경우는 바넘 효과만으로는 볼 수 없다.

사회심리학의 자기지각이론에 따르면 사람들은 자기 마음을 직접적으로 알지 못하고 다른 사람의 마음을 추론하는 것과 같은 방식으로 추론한다. 다시 말해 남들이 웃으면 기분이 좋은 걸 알듯이 자기가 웃으면 자기가 기분 좋다고 생각한다는 것이다. 이것을 심리테스트에 적용해보자면, 심리테스트를 하는 사람들은 심리테스트로 사람의 마음을 알 수 있다고 믿기 때문에 자신의 마음에 대해서도 심리테스트에서 나온 결과도 믿을 수 밖에 없다. 다시 말해 심리테스트를 하기 전에 자신의 심리상태(A라고 하자)를 이미 알고 있고, 심리테스트에서 나온 결과(B라고 하자)를 본 다음에 A와 B를 비교해서 둘이 비슷하다고 생각하는 게 아니라, A없이 B만 본다음에 A의 내용을 B의 내용으로 채워넣는 것일 수 있다. 이런 식이면 당연히 심리테스트 결과가 이상하게도 잘 맞을 수 밖에 없다. 다시 말해 심리테스트가 잘 맞추기 때문에 심리테스트를 믿는 게 아니고, 심리테스트를 믿기 때문에 심리테스트가 잘 맞는 것이다.

심리검사를 구성하는 이론적 가정은 그냥 연구자가 마음대로 하는 게 아니다. 심리학에서 말하는 심리는 어디까지나 행동에 미치는 영향이 있는 심리다. 따라서 심리 검사는 1차적으로는 심리적 속성을 측정하기 위한 것이지만 최종적으로는 행동을 예측하기 위한 것이다. 수 많은 이론 중에 행동을 정확히 예측하는 이론만이 살아남고, 새로운 심리 검사는 이런 이론을 바탕에 두고 만들어진다. 이렇게 오랜 기간에 걸쳐 살아남아온 이론들은 일상적인 직관과 다른 경우가 많다.

여기에서 묘한 역설이 생겨나게 된다. 제대로 만들어진 심리검사는 바탕에 깔고 있는 이론이 사람들의 직관에 반하기 때문에 안면타당도에 있어 썩 높을 수가 없기 때문에 그 결과를 사람들이 좀처럼 믿지 않게 된다. 반면에 통념에 바탕을 둔 심리테스트는 사람들의 직관에 부합하기 때문에 쉽게 믿음을 얻는다. '재미'로 심리테스트를 하고 사주카페를 찾아가는 대학생들 중에 학교에서 무료나 아니면 저가로 받을 수 있는 심리검사를 받는 사람들이 얼마나 있을까? 자기 심리상태나 성격을 더 정확히 알면 더 재밌을텐데 말이다.

물론 심리검사에는 한계가 있다. 지능의 갯수만 가지고도 스피어만 이후로 100년이 넘게 연구가 이뤄졌지만 아직도 2개인지, 3개인지 아니면 그보다 많은지조차 학자들 사이에 합의를 이루지 못하고 있다. 당연히 이론에 따라 다른 지능검사가 만들어지고 사람에 따라서는 검사마다 지능이 다르게 측정될 수 있다. 그런데 이 한계는 이미 알고 있는 것이기 때문에 의사결정을 내릴 때 충분히 고려할 수 있다.

미국의 경우엔 SAT 1은 지능검사인데 읽기, 쓰기, 수학만 시험을 본다. 이것은 지능이 언어적인 부분과 수리적인 부분으로 이뤄져있다는 이론적 가정 위에 있는 것이다. 대학원 입학시험인 GRE도 기본 시험은 언어와 수리 두 가지만 있고 과목별 시험은 선택이다. 하지만 잘 알려져있다시피 미국 대학은 SAT나 GRE만으로 학생을 뽑지 않는다. 어떤 것이 한계가 있다는 게 중요한 게 아니고 그 한계를 정확히 파악하고 있느냐가 중요한 것이다. 한계를 파악한다는 것은 "안 맞을 수도 있지 뭐" 이런 게 아니고 맞으면 얼마나 맞고 안맞으면 얼마나 안맞는지, 안맞는 부분은 어떤 정보가 더 필요한지를 알고 있다는 걸 말한다.

심리테스트가 별 것 아니고 그냥 재미삼아 한다고 하지만 얼마간이라도 의사결정에 영향을 미칠 것이다. 하다못해 혈액형별 학습법 이런 것만 해도 잘못된 학습법을 따르면 그만큼 학생 손해다. 어디서 이상한 거 먹으면 몸에 좋다고 함부로 먹지말고 인터넷에 떠도는 출처불명의 심리테스트 같은 거 재미로라도 하지말자. 다 자기 몸이고 자기 인생이다.