맞는 시험 대 틀린 시험

필자가 대학원에 다니던 시절에 봤던 시험 문제는 거의 다 근 몇 년 동안 돌아다니던 워킹 페이퍼(Working Paper), 즉 아직 유명 저널에 실리지는 않았지만, 연구자들 사이에서 거론되던 논문을 압축 요약한 것들이었다.

다른 분야는 어떨지 모르겠지만 필자의 분야에서는 논문의 개요(Draft)가 나오고 난 뒤 실제로 출판(Publish)되기까지 몇 년이 걸리는 경우가 상당히 많다. 이 기간에 논문 출판을 기다리는 이들은 이런저런 대학, 연구소를 찾아다니며 자신의 논문을 발표하며 논문을 ‘홍보’한다. 이런저런 저널에 논문을 투고했다가 보완해 오라는 속 쓰린 답변을 6개월, 1년 만에 한 번씩 받으면서 훌륭한 동료 연구자들의 조언을 통해 자신의 논문을 수정하고 보완하는 시간을 갖는 것이다.

바로 이 단계의, 유명 저널에 아직 실리지는 않았지만 연구자들 사이에서 거론되는 논문을 압축 요약한 것을 워킹 페이퍼(Working Paper)라고 한다. 필자가 대학원에 다니던 시절 봤던 시험 문제는 거의 다 근 몇 년 동안 돌아다니던 워킹 페이퍼에 기반해 만들어졌다. 사실상 시험 시간 중에 요약 정리한 논문, 그것도 실력파 교수가 몇 년 동안 괴롭게 다시 쓰고 있는 논문을 써야 했던 셈이다.

필자 역시 운영하는 학교에서 이런 방식으로 시험 문제를 출제하려고 노력하고 있다. 단 학부 수준에서 굳이 최신 연구를 가져올 필요는 없을 테니, 재미있는 현실 주제와 연결하는 형태로 난이도를 조절하고 있다.

재밌는 현실 주제와 연결하는 이야기

아래는 변리사로 일하는 MBA 학생이 쓴 시험 후기이다.

2nd term이 지나면서 눈이 많이 뜨였습니다.

데이터 사이언스는,

무엇이 어떻게 정보가 되는 지,
알고 있는 정보를 취합하면 논리적으로 어떤 결론이 나오는 지,
제한된/오염된 정보에서 유용한 정보를 어떻게 쥐어 짜내는 지,
새로운 정보가 주어질 때, 그 정보를 어떻게 활용하여 기존 결과에 반영할 것인지 등등을 수학/통계를 “활용하여” 고민하는 학문

이구나 하는 관점을 가지게 되었습니다.

그리고, 수학으로 쓰여진 것을 스토리로 풀어내는 작업 그 자체가 저에게 엄청나게 도움이 됩니다.
제가 직업상 하는 일이 “기술을 법률이라는 체에 걸러서 언어로 풀어내는” 작업이거든요.
“이걸 이렇게 풀어낼 수도 있구나” 하는 순간들이 많습니다.

그리고, SIAI 스타일의 시험문제, 예상문제 풀이 훈련을 쭉 겪으면서 드는 생각은,

“대표님이 진짜 회사에서 겪음직한 현실 문제들을 어떻게 추상화해서 “시험문제화”할 것인 지 고민 많이 하셨구나”

싶습니다.

정보파악(및 업데이트) > 적절한 모델 선정 > 비교검증 > 멍청이들을 어떻게 설득할 것인가?

구조의 반복이더라구요.
(물론 학생 수준 감안해주셔서.. 문제를 심하게 단순화시켰고, 모범답안까지 친절하게 던져주셨구요)

논문 쓰는 훈련까지 무사히 마치고 나면, 적어도 클라이언트가 “어떤 정보를 어떤 모델을 활용해서 어떤 문제를 풀어내려고 했나” 수준에서 이해하고,
“여기서 보호 가치가 있는 아이디어는 무엇인가”에 대해 분석할 수 있는 토대가 마련될 것 같습니다.

이 학생은 굉장히 수준 높은 학교에서 공학 학사와 석사 학위를 취득했는데, 평소에도 ML이란 ‘요술 방망이’만 휘두르면 특허를 따는 건 문제없다고 말하는 고객을 상대하느라 업무가 쉽지 않다는 말을 몇 번이나 했었다. 수학을 잘 몰라도, 최소한 번역된 결과물이라도 최대한 이해할 수 있었으면 좋겠다는 생각으로 MBA 과정에 등록했다는데, 능력이 있다 보니 2학기, 즉 4개월 만에 “문제 만든 사람의 머리 꼭대기에 올라간 듯한” 후기를 가져왔다.

그런데 그 문제가 만약 논문을 잘 요약해서 만든 문제였다면?

논문 쓴 사람의 머리 꼭대기에 올라간 듯

실력자가 되지 않을까?

그 학생이 3학기부터 5학기까지 경험할 미래이다.

시험 문제가 매우 잘 요약 정리된 논문

이런 식의 교육을 받고 나면 시험 문제를 현실을 굉장히 잘 요약한 ‘사례집’의 고급 해석본으로 생각하게 된다. 이것이 발전해 대학원 수준이 되면 시험 문제는 굉장히 잘 요약 정리된 논문이라는 견해를 갖게 되는데, 이런 학생은 단순 암기형 문제가 나오면 문제의 질이 낮다는 반응을 보인다. 문제의 질은 둘째치고 그 학교 교육의 수준 자체를 의심하게 된다. 그래서 우리나라 대학을 졸업한 사람이 전공에 무관하게 비전공자와 다름없다는 평을 받는 것이다.

학교의 수준은 신문사에서 정하는 순위에도 영향을 받겠지만, 학계에서는 연구 역량, 교육 역량으로 평가되는 부분도 크다.

어느 대학 무슨 전공은 XXX, YYY 분야에서 엄청 강하다

같은 표현을 우리나라는 몰라도 해외 대학 평가를 보면 종종 찾게 될 텐데, 이런 학교는 유명 신문사가 낸 순위에서 그렇게 높은 위치를 차지하지 못하는 경우가 많다. 이런 평가는 그 학교의 교수 몇몇이 펴낸 특정 분야의 논문과 그 논문에 기반한 수업을 듣는 대학원생들이 만드는 새로운 연구 결과물 덕분에 나오는 것이다.

학부 저학년 수준에서는 지식의 양 자체가 워낙 부족하니 논문은커녕 현실 사례 적용을 흉내내는 것조차 어렵겠지만 고학년이 되면 자신이 배우는 내용이 현실에서 어떻게 응용되는지 깨닫는 경험을 조금이라도 시켜줘야 직장 생활에서 어떻게 해야 현실의 주제를 전공에서 배운 방법론으로 풀어낼 수 있는지 깨닫게 되지 않을까? 이론과 현실을 잘 엮는, 대학 다닌 ‘티’가 나는 학생이 되는 것이다.

관련해서 (어쩌면 필자에게만) 재미있는 이야기가 있다. 필자는 백발머리 노교수 한 분이 매일 아침에 시험 문제 하나를 풀며 하루를 시작한다는 이야기를 들은 적이 있다. 문제를 풀고 나면 머리가 상쾌해지고, 그러면서 논문 아이디어가 우르르 쏟아진다는 것이다. 아마 이분이 푼다는 문제들은 필자가 대학원에서 흔히 접했던 것처럼 굉장히 좋은 논문을 잘 추상화하고 요약 정리한 문제일 것이다. 이는 달리 말하면 그 논문의 저자, 그리고 시험 문제의 출제자와 ‘학술적인 대화’를 하며 하루를 시작한다는 뜻이다. 필자의 대학원에서는 시험 문제가 이렇게 만들어져야 학생들이나 다른 주변 교수의 비난을 받지 않았다.

이런 훈련, 아니 사고방식 주입 과정을 거치면 시험 문제 풀이는 단순히 점수를 잘 받기 위해 암기한 내용을 쏟아내는 것이 아닌, 자신이 배운 방법론을 현실에 적용하는 방법을 고민하는 시간이 된다. 앞서 말했듯이 시험 문제는

남들이 해 놓은 고민을 (좋은 논문을)
추상화 요약까지 해 놓은 (시험 문제로 변경한)

고급 컨텐츠임을 깨닫는다는 의미이다. 여기서 시험 문제를 잘 푸는 사람은 단순히 암기력이 좋은 사람이 아니라 정말로 문제 해결력이 뛰어난 사람이다.

필자 학교의 MBA AI/BigData 학생 한 명이 경영사례(Business Case) 수업 과제의 문제를 풀고 나서

1. 그냥 하라고 하면 아예 손도 못 대는 걸 10개 작은 문제들이 하나하나 가이드 해 줬다는 느낌인데, 중간에 하나 못 넘어가면 결국 다 막히는 문제여서 괴롭다

의 문제를 풀고 나서

라는 평을 남긴 적이 있다. 사실 이런 말은 우리나라의 명문대 대학원에 다녔던 다른 학생들에게서도 자주 듣는다.

2. 수학 들어가는 시험 시간에 재미있어하고 열심히 풀면서 engagement를 느낀 것, 이게 ‘내 것’ 이라고 느낀 것이 정말 중학교 졸업한 이후 처음이라는 것입니다. 교육의 목적이라는 게 지식을 전달하고 능력을 키우는 것도 있겠지만, 지식에 대한 태도를 바꾸고 나아가 인생을 바꾸는 효과도 정말 중요한 것이라고 생각합니다.

3. 단순히 외운 거 답지에다 드랍하는 시험이 아닌 나의 언어로 논리를 한 줄 한 줄 쌓아나가야 한다는 부분이 이전 교육에서는 배운 적 없는 일종의 신선한 충격이었습니다. 그리고 문제가 촘촘히 구성되어 있고 1번부터 10번까지 논리가 연결되어 있어, 한 문제라도 풀이가 엉성해지면 그 다음 문제도 풀기 어려운 느낌이었습니다. 마치 논문에서 논리 전개하는 것처럼요!

(모 대학의 게임이론 시험 문제, 음식점 이야기지만 기업 전략부터 다양한 곳에 응용할 수 있다)

시험문제가 읽기 자료? 읽기 자료가 시험문제 아니고?

몇 년 전 가깝게 지내는 학부 친구가 7개의 작은 문제로 이루어진 게임이론 문제 하나를 가져와서 풀 수 있냐고 물어본 적이 있다. 그 친구의 회사에 어떤 프로세스를 도입하는데 외국의 어떤 컨설팅 회사에서 관련 자료라면서 논문을 하나 보내줬고, 그 논문을 읽기 힘들면 참고하라고 같이 보냈던 자료 중에 그 시험 문제가 있었다고 한다. (위 사진과 비슷하지만 좀 더 간략한 형태였다.)

전형적인 정보 비대칭(Information Asymmetry) 분야의 시험 문제던데, 어떤 맥락에서 작은 문제가 나온 건지 설명한 뒤 원래 논문이 어떤 내용의 각 단계에 어떤 변수를 어떻게 추가하면서 현실을 설명하는 사례를 추가하는 방식으로 전개됐으니 그 친구의 회사에서 이야기한 상황에 적합한 논문과 시험 문제라고 생각해서 보내준 듯하다고 간략히 답변해 줬다. 그러면서 자세히는 모르겠지만, 이 내용을 우리나라의 기업 문화에 적용하려면 이런저런 제약 조건을 넣어야 저 모델이 정상 작동할 것 같다는 생각이 얼핏 들기도 했다.

지금 생각해 보면 그 컨설팅 회사 직원은 아마 필자처럼 시험 문제가 논문의 요약임을 배우는 교육을 받았기 때문에 그런 자료를 보냈을 것이다. 우리나라의 교육 사정을 잘 모르니, 최소한 그 친구가 어떤 교육을 받았는지를 모르니 그 친구가 자신의 의도를 이해하리라는 기대, 그러면서 자기 회사의 컨설팅 결과물이 어떤 지식에 기반했는지 이해하리라는 기대를 했겠지만 그런 교육을 받지 않은 친구에게 그 자료는 그냥 폭탄에 불과했다.

너무 실화에 기반한 거 아닙니까?

논문으로 바로 이런 훈련을 하는 건 조금 어려우니, 현실 적용 가능한 논문 일부로 범위를 축소해 좀 쉽게 접근해 보겠다(사실 이것이 바로 학부 교육이다.).

필자는 필자 학교의 MBA 과정에서 출제한 시험 문제 하나를 연관된 업무를 할 만한 회사에 보낸 적이 있는데, 앞에서 말한 것처럼 실제 회사에서 겪을 만한 일에 대응하는 방법을 배운 내용을 활용해 풀어내는 방식이다 보니

아니 너무 실화에 기반한 거 아닙니까? 주인공인 것 같은 느낌이 드는 이유는 뭘까요

같은 우스갯소리를 들었다.

물론 각자 자신만의 교육 철학이 있을 것이고, 필자보다 훨씬 뛰어난 분도 많기에 단언하기가 쉽지 않지만, 시험이라는 것을 암기한 내용을 쏟아내 점수를 받는 게 아니라 자신이 배운 내용이 실제 현실에서 어떻게 활용되는지 가늠하는 용도로 쓰면 교육의 효과가 상당히 크지 않을까? 아니, 그렇게 해야 학위가 ‘종이 학위’가 되지 않고 대학에서 배운 내용을 회사에서 활용할 수 있지 않을까?

수학은 현장에서 못 쓰는 거 아니냐고?

최근 멀티 터치 기여도 분석(Multi-Touch Attribution, MTA) 모델에 관심이 있다는 회사의 연락을 받았다. 이 모델은 복수의 광고 채널에서 광고를 집행할 때 매출액을 끌어올린 기여도를 데이터에 기반해 좀 더 정확히 측정해서 기여도와 광고비를 일치시키면 효율적인 예산 배분이 가능해진다는 모델이다. 원래는 인사 쪽에서 팀원들에게 보너스를 적절히 배분하는 용도로 쓰였고, 복잡계 시스템의 입출력 재분배 일반에 활용되기도 한다. 광고 채널 쪽에서는 IT 회사의 데이터가 제각각이다 보니 다양한 아이디어가 계속해서 나오는 상황이지만 수업 중에는 그나마 가장 쉬운 모델 두 개만 언급했었다. 영미권 광고 대행사가 보유한 데이터와 우리나라 회사의 데이터 수준은 그야말로 하늘과 땅 차이이기 때문이다.

이 회사는 우리나라의 모 대기업 광고 계열사에 모델 분석을 요청하고 지난 몇 년간의 자료를 받아왔는데, 그 정확성도 의심이 되고 자체적으로 관리해 보고 싶은데 그 광고 계열사에서 모델을 주지 않아 필자를 찾아왔다고 했다. (모델을 왜 안 줬는지는 말하지 않아도 이해할 수 있으리라 생각한다.)

사실 이런 요청을 받으면 제대로 이해하지 못하는 경우가 대부분(도 아니고 전부)이고, 무슨 국책 연구소의 일반 연구 단가 정도밖에 안 되는 금액을 제시하면서 당신들이 만든 것을 어떻게 믿냐, 공신력이 없으니 신뢰할 수 없다, 이런 말을 하는 경우가 많아 보통 답변도 안 하는데,

대기업들이 다들 그런 거 같아요. 이상한 회사에 맨날 “눈탱”만 맞고, 돈만 버리고…

이런 말을 듣고 위에서 소개했던 필자 학교 학생의 표현에 공감하는 회사라고 생각해 한발 양보했다. 때마침 그 모델과 관련된 MBA 시험 문제가 있어 공유해 줬더니,

시험 문제를 보니, 광고 채널 별로 예산 소진된 정보가 없다가 그걸 구했으니 어떻게 결과값이 바뀌고, 판매 중인 상품 가격이 바뀌고, 환불이 2배로 늘고 같은, 저희가 매일 겪을만한 내용들이 있던데, 그런 상황에도 기여도 분석이 실제로 다 가능한 건가요?

라는 질문을 받았다.

학생들은 네트워크 이론(Network Theory) (+중심성(Centrality)), 샤플레이 값(Shapley value) (+(subgame aggregation))을 배우고 이 문제를 풀면서 어떤 생각을 했을까? 실제로 다 가능하니까 문제로 만든 것이다. 아니, 실제로 다 가능하니까 이런 계산법이 나오고, 논문에 활용되고, 컨설팅 회사에서 논문으로 만든 자료라며 시험 문제를 공유하는 것이다. 샤플레이 값 같은 모델은 이를 인정받아 노벨상을 받기도 했다.

대기업 광고 계열사에서 제대로 교육받은 학생을 뽑아 우리나라의 시장 수준을 끌어올려 주면 얼마나 좋을까?

나가며 – 맞는 시험 대 틀린 시험

필자는 우리나라의 명문대 한 곳에서 교육학 석사 학위를 받고 평소에 좋은 교육이 무엇인지 많이 고민하던 분께 이런 질문을 받았다.

왜 우리나라 대학 교수님들은 수업을 대표님처럼 문제 풀이가 논문 읽기인 교육으로 안 할까요?

지금까지 말은 참 쉽게 했지만, 사실 이런 시도는 정말 어렵다. 당장 초등학교 수준의 컨텐츠로 이런 문제를 만들어 보면 이해할 수 있을 것이다. 초등학생이 평소에 겪을 만한 일, 그러니까 누가 틱톡에 어떤 컨텐츠를 올렸는데 별 몇 개를 받았고, 질투가 나는데 그래서 그 컨텐츠가 안 좋다고 인스타그램에 소문을 내고, 뭐 이런 이야기로 말이다.

이런 것보다 대학원 수준 교육이 현장에서 더 많이 쓰이는 거 아니냐고? 글쎄, 일반인 적합도로 따지면 초등학생 수준이 적합하지 않을까? 어찌 됐든 배운 내용을 절묘하게 적용한다는 건 쉬운 일이 아니다.

아마 논문의 수준으로 미루어 봤을 때 이렇게 문제를 만들어낼 수 있는 능력도 없는 교수가 정말 많을 것이다. 사실 능력이 출중한 교수도 연구가 바빠 이렇게 문제를 고민할 시간이 없는 상황이다. 다 떠나서, 이런 문제를 내는 수업을 들을 학생이 얼마나 될까? 아무도 없지 않을까?

이런 건 어려워서 못 한다고? 인정한다. 논문을 읽는 건 어렵다. 고급 컨텐츠의 공통적인 문제인데, 읽고 무슨 뜻인지를 이해하는 건 더 어렵다. 연구자라고 해서 제대로 이해하는 이들이 많지는 않을 것이다. 하물며 이를 회사 업무 어딘가에 적용한다는 건 어떻겠나? 이해를 먼저 해야 적용도 할 텐데 말이다.

이렇게 적용할 수 있도록 경험치를 쌓아 주는 시험 문제를 만들기도 정말 어렵다. 이런 문제를 푸는 교육을 모두 소화하기도 어렵고, 그 교육을 받기 위한 기초 교육을 소화하기도 어렵다. 그냥 모든 것이 어렵다.

필자는 지난 몇 년 동안 우리나라 대학, 특히 공대의 데이터 사이언스 교육이 “틀렸다”라며 비난해 왔다. 그렇다면 “맞는” 교육은 무엇일까? 필자처럼 문제를 낸다고 “맞는” 시험일까? 글쎄다. 그냥 이런 지식을 욕심 많은 인재에게 전달하고 있으니 이런 시험 문제가 좀 더 “맞는” 상황이 된 게 아닐까?

최근에는 “맞는” 교육이란 0.1%에게만 열려있는 “어려운” 도전을 1%, 10%에게 열어주는 교육이라는 생각이 든다. 가능성이 있는데도 겁먹고 도망가는 10%가 문제일 뿐이다.