MyMiscFu005

[wiki:MyMisc 위로]

(TableOfContents)

평가는 객관적이어서는 안된다.

좋은 성적을 얻는 것은

전에 읽은 SF 가운데 주인공이 다른 별에서 온 사람에게 이런 것을 이야기하는 장면이 있었다.

두 그룹이 있어서 같은 일을 시킨다. 첫째 그룹에게는, 이 일은 전원의 힘을 합하여 얼마만큼의 일을 할 수 있는가, 그것만이 중요하고, 개개인의 성적은 아무래도 좋다, 라고 전한다. 둘째 그룹에게는, 이것은 이 그룹 가운데서 누가 가장 좋은 성적을 올리는가의 경쟁이다, 라고 전한다. 그런데 어떤 그룹이(전원 합해서) 좋은 성과를 올리게 될까?

다른 별에서 온 사람은 그런 것은 생각해본 적도 없다고 대답한다.

주인공에 따르면, 이것은 이미 실험되어 있어서 결과가 확실히 나와 있다. 둘째 그룹의 성적이 훨씬 좋다.

이 실험이, 작가가 머리 속에서 생각한 것인지, 아니면 정말 행한 것인지는 모른다. 그러나, 만일 정말로 이 실험이 행하여졌다면, 아마도 주인공이 말한 바와 같은 결과가 나올 것이다. 그런 일은 의심하지 않으며, 이야기가 여기서 끝나는 한 어떠한 이의도 없다.

그러나, 여기서 무비판적으로 생각하면 다음 결론이 나올 것이다. “그러니까 좋은 성과를 올리려면 경쟁을 도입하여 크게 경쟁시키지 않으면 안 된다.”

이 “그러니까”에는 큰 이의가 있다.

우선 반성하지 않으면 안 된다. 두 그룹에 어떠한 과제를 냈는가, 이 그룹의 어느 쪽이 좋은 성과를 냈는가를 어떻게 측정했는가?

실험을 하는 테크닉으로는 결과가 명확히 나오는 쪽으로 가지 않으면 안 된다. 가능하면, 성과가 수치화 되는 것이 바람직할 것이다. 이에는 과제를 바르게 선정한 필요가 있다. 예를 들면, 세일즈를 주고서 그 매상을 경쟁시키는 등이 적당할 것이다.

실험을 하는 테크닉으로는 이 것이 옳다. 그러나, 그러한 선택 방법을 쓰면, 사실은 알게 모르게 실험의 목표를 빗나가게 할 위험이 있다.

어느 해의 공통일차시험(입학시험:역주)의 문제에 관하여, “이와 같은 시험을 치른다고 하는 전제 아래서는, 적절한 문제이다” 라고 하는 평을 들은 적이 있다. 대단히 신중하고 잘된 표현이다. 이 전제를 떠나서는 어떻게 되는가, 말할 것도 없다.

연구업적의 평가를 수치화 한다

대학도 자기규율의 일환으로 스스로에 대한 평가를 하지 않으면 안 된다고 한다. 과연 그렇다고 생각하고(FootNote(대학 등의 연구기관에 대하여 자기평가를 바라는 것은 연구기관도 인간이 만든 것이므로 부정 부패가 있을 수 있고, 그것을 방지한다고 하는 것이 가장 큰 이유일 것이다. 그것을 위한 평가로 머무는 한 자기평가를 한다는 것은 필요한 것이고, 많이 행하여져야 마땅할 것이다.)), 물론 평가는 공평하지 않으면 안 된다. 공평하기 위해서는 객관적인 숫자를 이라는 것이 다음에 온다. (숫자의 공평함이라고 하는 것은, 그래야 마땅한 쪽에서는 의연하게 믿어지고 있는 것 같다.)

연구업적의 평가를 수치화 하는데는 우선 “무엇보다도” 논문수가 쓰인다.

개개의 연구자를 평가하는 방법으로써, 이것을 쓰는 것은 꽤 옛날부터 행하여지고 있지만, 폐해로서는 논문을 함부로 쓴다던가, 수를 늘리기 위하여 하나의 논문으로 가능한 것을 일부러 두개로 만드는 사람이 나오는 등의 일이 지적되고 있다. 그러면 논문의 질도 생각해보지 않으면 안 된다라는 논의가 당연히 나오게 된다.

그렇다고 해서 끄집어낸 것이 피인용수(그 논문이 다른 논문에 어느 정도 인용되었는가)였다. 이것에도 문제는 많다. 예를 들면, 몇몇 분야에서는 대립하는 연구 그룹이 몇 개가 있어서, 서로 극력 인용하지 않는다. (피인용수를 중시하면, 이 좋지 못한 경향을 조장하는 결과가 될 것이다) 또, 몇몇 분야에서는 현재 별로 흥미 깊은 진전은 없는데도 불구하고 옛 자취의 전문가는 많다. 그들이 서로 인용하여 합하니까 별로 이렇다할 논문이 아니더라도 피인용수는 늘어난다.

이러한 논의는 아직 별로 많이 들리지 않지만, 머지않아 나올 것이다. 그러면 아마 무언가 다른 지표가 제안될 것이다.

이것을 되풀이해도 공평하고 객관적인 기준이라고 말하는 한 언제나 문제가 따라다닌다.

(FootNote)

창조성을 평가하려면

평가한다고 하는 것은 그처럼 단순한 것일까. 필자는 바른 연구를 평가한다고 하는 것은 공동체로서의 연구집단(예를 들면 수학자 전체)이 이루어내고 있는 가장 중요한 기능이라고 생각한다. 개개의 발견은 개인 또는 몇 사람의 공동연구자에 의하여 이루어지며, 예를 들면 수학자 전체의 집단이 문제가 될 것은 없다. 공동체의 기능이 드러나는 것은 발견이 받아들여져서, 우수한 것인가 어떤가 비판되고 정착되어지는 과정이다. 한 사람 한 사람이 창조성을 가진 개인으로서 발견에 접하고, 그 가운데 있는 새로운 독창성을 이해해나간다. 그러한 노력이 계속 쌓여서, 또 서로 영향을 미쳐서 전체의 평가를 만들어 나간다. 그 과정을 통해서만이 발견에 포함된 독창성은 바르게 평가되어진다.

스포츠와 연구의 차이

연구의 가치는, 그곳에 얼마만큼의 새로운 것이 포함되어 있는가 만으로 결정된다고 하면, 그것을 평가하는 것은 그 스스로 창조적 행위가 되지 않으면 안 된다는 것은 당연하다.

(스포츠에 관한) 참된 올림픽이 문자 그대로 세계제일을 결정하는 대회임에 대하여, 가령 수학 올림픽이 어른들 사이에서 수학의 세계제일을 결정하는 대회가 되는 것은 불가능하며, 아이들 사이의 친선대회 밖에 되지 못하는 것은 그런 까닭이다. 스포츠의 정의가, 일정한 룰에 바탕을 두고 공평한 (즉, 스포츠 밖의 세계가 관여하지 않고, 그 가운데서 닫힌) 경쟁이라고 하면, 연구는 그 어느 것도 만족시키지 못한다. 룰을 바꾸어 만드는 것이야말로 가장 가치가 있다.

공통일차시험에서 우선 비판받지 않으면 안 되는 것은 저와 같은 형태의 (선다형으로 완전히 객관적인 채점이 가능한) 시험을 치른다는 것으로부터, 시험치를 만한 내용에 치우치게 되는 것이다. 연구에 대해서도 “객관적 평가”를 가져오면, 평가되기 쉬운 것과 그렇지 않은 것의 밸런스가 무너질 가능성이 높을 것이다. 예를 들면, 필즈상 수상자의 선발은 수치화된 객관적 평가 같은 것과는 어느 정도 먼 방법으로 이루어지지만, 그래도 새로운 개념과 문제의식의 제출보다, 유명한 문제의 해결이 높은 평가를 받기 쉬운 것이 결점이라고 말한다. 아마 필즈상 정도까지 포함하여, 확실히 흑백이 가려지게 비교하면, 경쟁의식을 계기로 한 쪽이 결과가 좋다는 것은 사실일 것이다.

그러나, 반드시 무언가를 잃고 있다.

잃어가고 있는 것

작년에 버클리에 갔을 때의 일. 우연히 그 곳에 와 있는 X씨에게, 최근 Z씨와 삼차원 이상의 켈러 다양체의 자기동형군의 컴팩트성에 대하여 연구하고 있다고 하던데요(FootNote(X씨를 비판하는 것은 목적에 어긋나는 것으로, 누군지 모르도록 전문용어를 여기와 그 후의 어느 곳에 몇 개 바꾸어 넣었다. 여기에 쓴 것대로라면, 수학적으로 의미가 없다.))라고 물어보았다. 대답은 이러했다. 확실히 그것은 연구하고 있다. 그러나 아직 그 결과는 논문으로 쓰지 않았으니까 지금은 무엇도 말할 수 없다. 필자는 이것과 평행하게 나아가는 접촉다양체 사이의 코보디즘에 관하여 어떤 아이디어를 갖고 있고, 자기동형군의 컴팩트성에 관하여 그들의 아이디어를 알 수 있으면, 그것과 평행하게 나아가는 논의와도 병합하여 재미있는 결과가 되리라고 생각했었다. 논의를 시작하려고 하는 마당에 냉수를 뒤집어쓴 것 같은 기분이 든다. 버클리에서는 여러 가지로 재미있는 일이 있었지만 이것은 제일 유감스러운 추억거리다. 그렇다고는 하지만 이것은 X씨가 나쁘다는 것은 아니다. 유감스럽지만 수학의 세계에서도, 남의 아이디어를 다돼 가는 곳에서 빼앗아서 자기의 업적으로 삼으려는 무리가 있는 것은 틀림없고, 그런 부정한 일은 생각하지 않더라도 어떤 아이디어를 생각해냈을 때, 그것을 남에게 말해버리면 자기가 할 수 있을지도 모르는 응용을 먼저 그 사람에게 시켜버릴지도 모른다.

그런 것을 생각하는 것은 매우 피곤하다.

그러니까, 다른 별에서 온 사람이 되어 이렇게 물어보기로 하자 :

“어느 그룹의 사람들이 더 즐거운 모양을 하고 있었습니까?”

그런 것은 생각해본 적이 없다고 지구인은 대답할 것인가?

(FootNote)