측정의 함정

지표는 성과를 재기 시작하는 순간, 애초의 의도에서 조금씩 벗어납니다. 가장 쉬운 예는 한국을 비롯한 여러 나라의 대학 입학시험입니다. 학생에게 필요한 학업 능력이 있는지 보고 선발하려고 만든 시험일 겁니다. 하지만 학업 능력과 시험 점수가 같은 건 아니라는 사실을 모두 압니다. 시험 자체가 목표가 되고 나면 측정하려던 능력보다 시험을 잘 치르는 능력이 중요해집니다.

개발 조직에서 쓰는 코드 줄 수나 스토리 포인트도 마찬가지입니다. 코드 줄 수를 목표로 삼으면 짧고 명료한 코드가 손해를 봅니다. 스토리 포인트를 성과로 삼으면 추정치가 실적표로 바뀝니다. 원래는 계획을 위한 언어입니다. 결국 평가는 사람이 공을 들여 맥락을 읽어야 하는 정성적인 작업입니다. 주관을 걷어 내면 공정해질 것 같지만, 맥락까지 걷어 내면 오히려 평가가 틀어집니다.

주식시장에서는 펀드를 알파로 평가합니다. 시장 지수보다 수익률이 얼마나 높았는지를 나타내는 숫자입니다. 하지만 이 숫자 안에도 감춰진 게 많습니다. 얼마나 큰 위험을 감수했는지, 성과에서 운이 차지한 몫은 얼마인지, 단기적인 알파를 얻으려고 장기적인 이익을 희생하지는 않았는지까지 봐야 합니다. 숫자는 결과를 요약할 뿐 과정을 전부 설명하지는 못합니다.

사람을 평가할 때도 다르지 않습니다. 상사가 언제나 평가에 진심인 건 아닙니다. 그래도 여기서는 모두를 최대한 공정하게 평가하고 싶어 한다고 해 봅시다. 딜레마는 남습니다. 어떤 측정 방식도 개인의 정성적인 기여를 온전히 담기 어렵기 때문입니다.

가령 아트워크에 특별한 강점이 있는 디자이너가 있다고 해 봅시다. 뛰어난 작업으로 랜딩 페이지 전환율을 3%나 올려 역대 최고의 성과를 냈습니다. 그런데 평가표는 디자이너에게 필요한 여러 역량을 단계별 점수로 나눕니다. 이런 표에서는 한 가지 강점만 뾰족한 사람이 불리합니다. 모든 항목에서 무난해야 더 높은 점수를 받기 쉽습니다.

정성적인 항목으로 넘어가면 더 복잡해집니다. 이 디자이너는 좋은 결과물을 만들려고 의견을 강하게 밀어붙이고 때로는 갈등도 감수합니다. 언제나 그런 것은 아니어도 대개 좋은 결과로 이어졌습니다. 긍정적이고 열정적으로 일하지만 아이가 있어서 사무실에 늦게까지 남지는 못합니다. 집에서도 일을 더하지만 그 모습은 사무실에서 보이지 않습니다. 열정 점수는 갓 졸업한 신입보다 낮습니다.

결국 디자이너는 B-, 신입은 A를 받습니다. 전환율이 오른 데에도 운이 섞였을 수 있습니다. 한 번의 결과만으로 모든 기여를 설명하기도 어렵습니다. 그렇더라도 문제는 남습니다. 어떤 지표를 골라도 한 사람의 기여 전체를 담기는 어렵습니다. 관리자의 편견이 크면 정성적인 평가는 더 불공정해지겠죠. 그렇다고 평가표만 믿으면 편견이 사라질까요. 편견은 점수와 계수 뒤로 숨을 뿐입니다.

모두를 공정하게 평가하고 싶다면 점수를 합산하고 계수를 조정하기보다, 구체적인 기여와 맥락을 놓고 충분히 이야기해야 합니다. 평가는 숫자가 대신 책임져 줄 수 있는 일이 아닙니다. 사람의 기여는 사람이 맥락을 읽고 평가해야 합니다.