[해외 DS] 알고리즘이 조장하는 사회 갈등, 인간 본능 악용해 사회적 오해 심화시켜

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

사람들이 온라인 알고리즘과 매일 상호작용하는 것은 다른 사람들로부터 배우는 방식에 영향을 미치며, 사회적 오해, 갈등, 잘못된 정보의 확산 등 부정적인 결과를 초래한다는 사실이 밝혀졌다.

알고리즘은 사용자가 어떤 메시지, 어떤 사람, 어떤 아이디어를 볼지 결정한다. 주로 참여를 지속시키는 정보를 증폭시켜 사람들이 콘텐츠를 계속 클릭하고 플랫폼에 다시 방문하도록 유도한다. 이런 설계의 부작용으로 편향된 정보의 확산이 촉진된다. 편향된 정보는 권위적(Prestigious), 동질적(In-group), 도덕적(Moral), 감성적(Emotional) 정보라는 뜻의 ‘PRIME’이라고 불린다. 사람들은 PRIME 정보에 민감하게 반응하는 경향성이 있다.

진화 과정에서는 PRIME 정보에서 학습하는 편향은 생존에 매우 유리했다. 권위 있는 개인으로부터 학습하는 것이 효율적이었는데, 권위 있는 사람들은 성공했고 그들의 행동을 모방하면 성공할 가능성이 커지기 때문이다. 또한 도덕 규범을 위반하는 사람들을 제재하면 협력을 유지하는 데 도움이 되기 때문에 도덕규범을 위반하는 사람들을 주의 깊게 살피는 것이 중요했다. 따라서 인간은 PRIME 정보에 대한 집중도가 본능적으로 높다.

위와 같은 사회적 학습 시스템이 자리 잡은 인간 사회에서 만약 알고리즘에 의해 PRIME 정보가 확대 재생산되고 일부 사람들이 자신을 홍보하기 위해 알고리즘을 악용하면 어떻게 될까? 한 마디로 신호 교란이 발생한다. 소셜 미디어에서는 가짜 명성을 쉽게 모방할 수 있으므로 권위는 성공의 올바른 신호가 되지 못하고, 뉴스피드는 부정적이고 도덕성에 민감한 정보로 포화하여 협력보다는 갈등을 유발한다.

사회적 학습은 협력과 문제 해결을 장려하지만 소셜 미디어 알고리즘은 인간의 본능을 지렛대 삼아 참여도를 높이도록 설계되어 있기 때문에 인간의 심리와 알고리즘 증폭의 조합은 역기능으로 이어진다. 이러한 부조화를 기능적 불일치라고 부른다.

왜 중요한가?

기능적 불일치의 주요 부작용 중 하나는 사람들이 현실 세계에 대한 잘못된 인식을 형성하기 시작한다는 것이다. 예를 들어, 알고리즘이 극단적인 정치적 견해를 선택적으로 확산하면, 사람들은 사회 구성원 간의 정치적 견해가 실제보다 더 극명하게 분열되었다고 믿는다. ‘거짓 양극화’는 더 큰 정치적 갈등의 원인으로 작용할 수 있다.

또한 기능적 불일치는 잘못된 정보의 확산으로 이어질 수 있다. 최근 한 연구 결과에서 정치적 허위 정보를 퍼뜨리는 사람들은 도덕적 분노를 유발하는 정보를 활용하여 사람들이 더 많이 공유하도록 유도한다고 밝혔다. 사실적 묘사와 멀어질수록(수위가 높은 단어를 사용할수록) 더 많은 ‘좋아요’와 ‘공유’ 그리고 ‘댓글’ 수를 기록했다. 심지어 포스트를 읽지 않았거나 클릭해 보지도 않고 공유하는 행동도 발견됐다.

다른 연구 결과

이 주제에 관한 연구는 아직 걸음마 단계에 있지만, 알고리즘을 매개로 한 사회 학습을 조사하는 새로운 연구들이 등장하고 있다. 5월에 공개된 연구에서는 트위터(현 X)의 알고리즘이 PRIME 정보를 명백하게 확대재생산 한다는 사실이 입증됐다.

이러한 온라인의 영향이 오프라인 양극화로 이어지는지에 대해서는 현재 격렬한 논쟁이 벌어지고 있다. 2020년의 한 실험에서는 메타의 뉴스피드가 양극화를 증가시킨다는 증거가 나왔지만, 메타가 참여한 또 다른 실험에서는 알고리즘에 기반한 뉴스피드 노출로 인해 양극화가 증가했다는 증거는 발견되지 않았다.

사회 학습의 피드백 루프에서 이뤄지는 상호 작용을 완전히 이해하려면 더 많은 연구가 필요하다. 소셜 미디어 기업은 연구에 필요한 데이터 대부분을 보유하고 있으며, 개인정보 보호와 같은 윤리적 문제와 균형을 맞히면서 학계 연구자들에게 데이터 접근 권한을 부여해야 사람들의 사회 인식이 개선될 수 있다.

앞으로의 과제

알고리즘이 편견을 악용하지 않고 올바른 사회 학습을 유도하려면 어떻게 해야 하는가를 질문할 때다. 참여도를 높이는 동시에 PRIME 정보에 페널티를 주는 새로운 알고리즘 설계를 연구해서 사람들의 사회적 인식을 왜곡하지 않는 방안을 고민해야 한다.

---

People’s daily interactions with online algorithms affect how they learn from others, with negative consequences including social misperceptions, conflict and the spread of misinformation, my colleagues and I have found.

People are increasingly interacting with others in social media environments where algorithms control the flow of social information they see. Algorithms determine in part which messages, which people and which ideas social media users see.

On social media platforms, algorithms are mainly designed to amplify information that sustains engagement, meaning they keep people clicking on content and coming back to the platforms. I’m a social psychologist, and my colleagues and I have found evidence suggesting that a side effect of this design is that algorithms amplify information people are strongly biased to learn from. We call this information “PRIME,” for prestigious, in-group, moral and emotional information.

In our evolutionary past, biases to learn from PRIME information were very advantageous: Learning from prestigious individuals is efficient because these people are successful and their behavior can be copied. Paying attention to people who violate moral norms is important because sanctioning them helps the community maintain cooperation.

But what happens when PRIME information becomes amplified by algorithms and some people exploit algorithm amplification to promote themselves? Prestige becomes a poor signal of success because people can fake prestige on social media. Newsfeeds become oversaturated with negative and moral information so that there is conflict rather than cooperation.

The interaction of human psychology and algorithm amplification leads to dysfunction because social learning supports cooperation and problem-solving, but social media algorithms are designed to increase engagement. We call this mismatch functional misalignment.

WHY IT MATTERS
One of the key outcomes of functional misalignment in algorithm-mediated social learning is that people start to form incorrect perceptions of their social world. For example, recent research suggests that when algorithms selectively amplify more extreme political views, people begin to think that their political in-group and out-group are more sharply divided than they really are. Such “false polarization” might be an important source of greater political conflict.

Functional misalignment can also lead to greater spread of misinformation. A recent study suggests that people who are spreading political misinformation leverage moral and emotional information – for example, posts that provoke moral outrage – in order to get people to share it more. When algorithms amplify moral and emotional information, misinformation gets included in the amplification.

WHAT OTHER RESEARCH IS BEING DONE
In general, research on this topic is in its infancy, but there are new studies emerging that examine key components of algorithm-mediated social learning. Some studies have demonstrated that social media algorithms clearly amplify PRIME information.

Whether this amplification leads to offline polarization is hotly contested at the moment. A recent experiment found evidence that Meta’s newsfeed increases polarization, but another experiment that involved a collaboration with Meta found no evidence of polarization increasing due to exposure to their algorithmic Facebook newsfeed.

More research is needed to fully understand the outcomes that emerge when humans and algorithms interact in feedback loops of social learning. Social media companies have most of the needed data, and I believe that they should give academic researchers access to it while also balancing ethical concerns such as privacy.

WHAT’S NEXT
A key question is what can be done to make algorithms foster accurate human social learning rather than exploit social learning biases. My research team is working on new algorithm designs that increase engagement while also penalizing PRIME information. We argue that this might maintain user activity that social media platforms seek, but also make people’s social perceptions more accurate.