중국 대학이 세계1위라는 지표의 허상

미국이 긁혔다. 아니 더 정확하게는 하버드대학교의 한 컴퓨터과학과 교수님이 긁혔다. 최근에 발표된 세계 대학의 과학적 기여도를 평가하는 통칭 ‘라이덴 랭킹’에서 하버드대학교가 3위로 떨어졌기 때문이다. 총 논문 수, 상위 10% 인용 논문의 비율, 국제 공동연구 비율, 산업 협력 논문 비율 등의 수치를 두루 계량화해 반영하는 이 랭킹은 대학의 연구 능력 척도로 꽤나 신뢰받는 편이다. 역전의 주인공은 베이징대학교도 칭화대학교도 아니다. 1위는 중국의 저장대학교, 2위는 중국의 상하이교통대학이다. 하버드는 3위. 그전까지는 늘 1등이었다. 하버드대학교 소속인 에이리얼 프로카치아는 ‘중국 대학들이 상위권에 있는 대학 순위는 믿지 마세요’라는 글을 〈뉴욕 타임스〉에 기고했다. 속사정을 좀 살펴보면 이상하다는 것이 프로카치아 교수님의 주장. 중국은 꽤 오랜 시간 동안 연구원들이 국제 학술지에 논문을 게재하는 비중을 높이기 위해 국가 재원으로 현상금을 걸어왔다는 것. 밝혀진 한 연구에 의하면 2016년 〈네이처〉 또는 〈사이언스지〉 등 학계 최상위급의 학술지에 논문이 게재되었을 때 연구자들이 받은 현상금은 평균 4만3000달러(약 6200만 원)였다고 한다. 한 대학의 연구원들은 〈네이처〉와 〈사이언스〉 모두에 논문이 게재되어 자그마치 16만5000달러(2억4000만 원)를 받기도 했다. 미국뿐 아니라 대부분의 국가에서는 학술지 게재를 조건으로 보상금을 지급하는 것이 암묵적 금기다. 학술지에 실리기 위해 데이터를 드라마틱하게 조작해 있지도 않은 상관성을 만들어낼 연구 조작의 위험성이 있기 때문이다. 비록 2020년 중국의 학술지 게재 보상 제도가 중단됐지만, 그 압력은 아직 존재한다. 각 대학이 학술지에 게재될 논문을 찍어내라고 연구자들을 달달 볶고 있다. 결국 논문 공장이 판을 치고, 표절이 횡행하며 저자 표시를 사고파는 암시장이 생긴다. 프로카치아 교수님은 이를 두고 중국의 대학 평가에는 “굿하트의 법칙”이 작용하고 있다고 말한다. 굿하트의 법칙은 1975년 영국 의회에서 찰스 굿하트가 한 말에서 나왔다. 그는 당시 특정 통화량을 엄격히 통제하기 위해 특정 통화 지표를 정책 목표로 설정한 정부에 이렇게 말했다. “어떤 통계적 지표가 정책의 목표가 되는 순간 이 지표는 붕괴한다.” 예를 들어 정부에서 통화량을 낮추기 위해 M3 통화량을 특정 수치 이하로 낮추는 걸 목표로 삼게 되면, 말단 은행에서 정부의 정책에 따르기 위해 M3에 해당하는 상품들을 M2나 M1에 해당하는 금융상품으로 돌려 수치만 맞춘다는 것이다. 결국 정책이 목표로 하는 실질적 통화 감축의 효과는 사라진다. 좀 더 명확하게 바꾸면 이렇다. “특정한 지표가 목표가 되는 순간, 그 지표는 더는 제대로 된 지표가 아니다.” 좋은 대학을 측정하기 위해 논문의 수를 지표로 삼는 순간, 그 지표로는 좋은 대학을 측정할 수 없게 되어버린다는 역설을 지금 중국이 보여주고 있다. 굿하트의 역설은 우리 주위에도 있다. 대표적인 것이 바로 대부분의 기업이 평가에 사용하는 정량성과지표(KPI)가 아닐까? 계약 건수를 채우기 위해 발주를 쪼개고, 실적을 위해 단기 할인을 남발하는 일은 늘 반복되니까.