[해외 DS] AI가 점친 프리미어리그 챔피언, 얼마나 정확했을까?

EPL 2023-24 맨시티 우승과 상위 4팀 중 3팀을 맞추는 등 높은 적중률 보인 AI
단순 승패 예측 결과보다 각 결과의 확률 예측이 얼마나 정확했는지 평가해야
재정 위반 혐의 등 예측 불가능한 변수는 현 모델의 한계로 작용

킥오프(Kickoff.ai)의 AI 모델은 2023-24 잉글랜드 프리미어리그에서 맨체스터 시티(이하 맨시티)의 우승을 정확히 예측했다. 또한 상위 4팀 중 3팀을 맞추는 등 대체로 높은 적중률을 보여 눈길을 끌었다.

하지만 하위권 팀들의 예측은 다소 부정확했는데, 번리의 강세를 예상했지만 실제로는 강등권에 머물렀고, 본머스와 노팅엄포레스트의 강등을 예측했으나, 두 팀 모두 중하위권으로 마무리하는 등 예상치 못한 결과가 발생했다.

모델 성능 평가 지표, 단순 정확도만 고려하면 안 돼

“공은 둥글다”라는 말처럼, 축구에는 언제나 예상치 못한 변수가 발생한다. 킥오프의 AI 모델은 애스턴빌라가 빅4에 진입할 확률을 13%로 예측했지만 토트넘, 맨체스터유나이티드 등 강팀들을 제치고 4위에 올라서는 이변이 연출됐다. 2022년 11월에 부임한 우나이 에메리 감독의 역할이 절대적이었다.

지금도 감독 교체, 선수 부상, 팀 전술 변화 등 다양한 요인들이 팀 성적에 영향을 미치고 있다. 이러한 불확실성을 반영하기 위해 킥오프의 예측 모델은 단순히 승/무/패 결과만 예측하는 것보다 각 결과의 확률을 예측하는 방식을 고안했다. 또한 베이지안 추론 기법을 활용해 기존의 팀 전력 정보와 새롭게 관찰되는 데이터를 결합함으로써 팀 전력 변화를 동적으로 학습하고, 예측 결과를 확률 분포로 나타낼 수 있게 됐다.

확률 기반 예측 방식에 발맞춰 킥오프 AI는 모델 성능 평가에도 정확도뿐만 아니라 예측의 ‘자신감’까지 고려하는 로그 손실(log loss) 지표를 채택했다. 즉 단순히 정답을 맞힌 것(정확도, accuracy)을 넘어 얼마만큼 정확하게 맞췄냐에 대해 평가하기 위해 로그 손실 평가 지표를 활용한 것이다. 로그 손실은 모델이 예측한 확률이 실제 결과를 얼마나 잘 설명하는지를 나타내는데, 특히 모델이 확신을 가지고 틀린 예측을 할수록 더 큰 페널티를 부여한다. 로그 손실 값 자체는 해석하기 어려울 수 있지만, 여러 모델들의 로그 손실을 비교함으로써 어떤 모델이 더 좋은 예측 성능을 보이는지 판단하는 데 유용하게 활용된다.

AI 스포츠 예측, 맨시티 사례로 본 한계는?

사실 맨시티의 우승은 예상된 결과였다. 막대한 자본력을 바탕으로 스타 선수들을 영입하고, 명장 감독의 지휘 아래 EPL 3연패를 달성한 맨시티는 우승 후보 0순위로 꼽혔다. 킥오프 AI 모델에서도 맨시티의 우승 확률은 61%로, 다른 팀의 우승 확률을 크게 따돌리며 맨시티의 독주를 예측했다.

하지만 킥오프의 AI 예측에는 맨시티의 재정 위반 혐의와 같은 외부 변수가 고려되지 않았는데, 현재 맨시티는 115건의 재정 위반 혐의로 기소되어, 유죄 판결 시 막대한 승점 삭감으로 이어질 수 있는 상황이다. 이에 따라 만약 맨시티가 우승하지 못하는 이변이 발생한다면, 로그 손실로 인해 AI 모델의 신뢰성에 큰 타격을 줄 수 있다.

실제로 이번 프리미어 리그 시즌에서는 재정 문제가 순위에 큰 영향을 미쳤다. 에버튼과 노팅엄 포레스트는 리그의 ‘수익성 및 지속 가능성 규정(Profitability and Sustainability Rules, 이하 PSR)’ 위반으로 승점을 잃었고, 각각 15위 17위를 기록하며 간신히 강등을 면했다. 게다가 에버튼은 추가적인 재정 불확실성에 직면해 있으며, 새로 승격한 레스터시티 역시 PSR 규정 위반으로 승점 삭감 가능성이 있다.

모델 개선을 위한 노력, 비정형 데이터 활용

킥오프 AI는 유로 2024와 같은 토너먼트 예측에도 AI 모델을 활용할 계획이다. 리그와 달리 토너먼트는 한 번의 패배로 탈락이 결정되는 특성상, 팀당 경기 수가 적어 예측 난이도가 높다.

이러한 어려움을 극복하기 위해 킥오프는 생성형 AI를 활용해 트위터 게시글 감정 분석, 부상 루머 등 비정형 데이터를 모델에 통합하는 방안을 모색하고 있다고 밝혔다. 이를 통해 모델은 더욱 다양한 정보를 학습하고 예측 정확도를 높일 수 있을 것으로 기대된다고 덧붙였다. 아울러 컴퓨터 비전 기술을 활용해 실시간 경기 분석을 통해 선수 움직임, 볼 위치, 팀 전략 등을 파악하고 더 정확한 예측을 제공하는 것을 목표로 한다고 강조했다.

한편 이제는 축구 경기 분석에 필수적인 요소로 자리 잡은 기대 득점(expected goals, 이하 xG)을 변수화해 AI 모델의 예측력을 향상시킬 수 있다는 기대도 높아지고 있다. xG는 슈팅 위치, 수비수의 위치와 숫자, 골키퍼의 위치, 슈팅 종류(헤딩, 발, 주발·약발 등) 등 다양한 요소를 고려하여 득점 기회의 질을 평가하는 지표로, xG를 모델에 반영하면 팀의 경기력을 더욱 정확하게 파악하고 예측 모델의 정확도를 높일 수 있을 것으로 전망된다.

축구 예측 AI 기술은 아직 발전 단계에 있지만, 끊임없는 연구와 기술 개발을 통해 더욱 정교해질 것이다. 앞으로 AI가 축구 경기 예측에 어떤 변화를 가져올지 기대되는 시점이다.