[개안뽑] ㊱Nvidia 주가는 개발자들이 올리고 Data Scientist들이 내린다

Picture

Member for

4 months

Real name

Keith Lee

Bio

Head of GIAI Korea
Professor of AI/Data Science @ SIAI

Input

2024-01-18 18:30

하드웨어 성능에 의존적인 개발자들은 무조건 최신, 고급 하드웨어만 찾는 반면,
수식 변형, 데이터 변형을 이용해 사업 목적 달성에 초점을 맞추는 Data Scientist들은 하드웨어 의존도 낮아
비싼 하드웨어만 찾는 공학도들은 수학적 지식, 도메인 지식 부족을 극복 못하기 때문

10년 남짓 전, 처음으로 Machine Learning이라는 지식을 배우던 시절의 이야기다. 보스턴에 나보다 1년 먼저 와서 박사 학위 중이었던 석사 시절 동기 중 하나가, 자기는 어차피 수학을 못해서 경제학에서 못 살아남을 것 같고, 나처럼 Mathematical Finance 이런건 더더욱 못하겠다면서, 상대적으로 쉬워보이는 걸로 Machine Learning이라는 걸로 갈아탄다고 그랬었다. 그 파키스탄 출신 친구는 그렇게 1주일에 1~2번씩 꾸준히 MIT에서 수업 들으러 간다며 날 더러 같이 가자고 날 꼬드겼는데, 우연히 하루 청강을 하고는 '이거 뭐 그냥 회귀분석 아냐?'라는 생각을 했던 기억이 있다.

이미 Machine Learning이 알고보면 통계학과 학부 2학년에 들을 수 있는 회귀분석을 Non-linear로 풀어내는, 그런데 컴퓨터를 이용해서 풀어내는 종류의 계산통계학이라는 지식이 널리 퍼진 상태가 됐으니 별로 새롭지 않게 들리겠지만, 그 시절 'Machine'에 대한 맹신을 갖고 있다가 우리 같은 사람들에게 대수롭지 않다는 표정의 답례를 받았던 일부 공학도들에게는 적지 않은 충격이었으리라 생각한다.

Nvidia 주가는 개발자들이 올린다

지난 10년 간, 특히 지난 6~7년 간은 Nvidia가 그래픽 카드의 일부 기능을 이용해서 Machine Learning 계산을 할 수 있다는 것을 열심히 강조하며 시장이 구성됐다.

이미지 인식, 자연어 처리 등등의 작업들을 비롯해서, 주요 Low-noise data들에 대한 그들의 접근법을 딱히 배운 적도 없었고, 대충 보니 뻔해보여서 별로 배우고 싶은 생각도 없이 학위 과정을 지나갔는데, 정작 시장에 나와보니 그게 무슨 엄청난 지식이고, 그걸 배우고 싶다면서 온갖 종류의 정보들이 시장을 돌아다녔다.

덕분에 마치 Nvidia가 AI라고 이름 붙은 자동화 알고리즘 개발의 최선두에 서 있는 핵심 기업이라는 이미지가 박혔고, 고작 게임 그래픽 카드 만들던 회사가 환골탈태를 경험하게 됐다.

그런데, 과연 그런 그래픽 카드 전용 계산이 쓰일 만한 곳이 얼마나 많았나?

우리는 당시에 숙제하면서 Deep Learning이라고 불리는 Layer-by-layer를 하나하나 For-loop 형태로 구성했고, For-loop가 계산 속도가 느려지니까 Database 처리 방식을 scalar에서 vector로 바꾸는 방식, vector들을 여럿 묶어서 행렬로 처리하는 수식 기반 계산, 행렬들을 묶어서 Tensor로 처리하는 수식 기반 계산들을 모두 코드를 쳐야 했다.

그런데, 그걸 다 하고 나면 이런 계산이 어디에 어떻게 쓰이고, 계산 식을 어떻게 수정해야하고 같은 지식들이 다 갖춰지기 때문에 그렇게 쓰일 만한 구석이 없다는 것을 깨닫는데, 개발자라고 불리는 직군의 사람들이 그런 대학원 교육 과정을 거쳤을리가 없는 사람들이 아니다보니 그냥 마구잡이로 갖다 붙여보고 있더라.

덕분에 수식 기반 최적화는 어림도 없고, 단순히 그냥 계산만 하고, 그 계산 속도가 빨라지도록 하는데 하드웨어 의존도 밖에 없다보니 결국엔 Nvidia가 하드웨서 계산 속도를 업그레이드 해서 제품을 출시할 때마다 그래픽 카드 구매 수요가 폭증했다.

Nvidia 주가는 Data Scientist들이 내린다

지난 2022년 하반기에 LLM 모델 중 하나인 챗GPT가 나오고, 챗GPT를 자기네들도 만들고 싶다면서 대규모로 Nvidia가 그래픽 카드 수요가 있을 것이라는 기대가 있었다.

그런데, 정작 LLM 논문들이 외부에 공개되면서 대용량 데이터를 한 번에 넣고 처리하는 기존 계산법과 달리, 특정 분야 별로 지식을 세분화해서 여러 모델을 만드는 방식으로 계산 방법이 바뀌었다는 것을 알게 됐고, 결국엔 그래픽 카드 성능 이슈가 아니라 모델 효율화가 더 중요하다는 관점으로 시장의 관점이 넘어가 버렸다. 한국 같은 나라에서 멋 모르고 대규모로 Nvidia 신형 그래픽 카드들을 안 사줬다면, 글로벌 매출액이 지금보다 최소한 20~30%는 줄었을 것이다.

Data Scientist라는 사람들은 개발자들이나 공학도들과 달리, 계산 효율화를 위해 수식을 어떻게 변형하고, 데이터를 어떻게 고칠지에 대한 고민이 주 관심사다. 당연히 주 관심사를 받쳐줄 수 있는 수학적 훈련도가 높고, 데이터 변형에 대한 전문 도메인 지식이 쌓인 사람들이 이쪽 관련 작군에 있는 사람들이 될 수밖에 없는 구조다. 이 분들은 계산 속도를 높이겠다고 고급 하드웨어를 구매해야되는 분들이 아니라, 내가 풀어야하는 문제가 뭔지, 주어진 데이터는 어떤 상황인지, 그 때 어떤 방식으로 내 계산 방식을 변경할 수 있는지를 고민하기 때문에 고급 하드웨어에 대한 의존도가 낮은 편이다. 평소에는 샘플 데이터들로 빠르게 계산하다가, 결과값을 제출해야 될 때만 딱 1번 고급 하드웨어가 필요한 것이다.

이런 분들이 자기들의 경험을 공유하면서 데이터 변형, 모델 변형 정보를 시장에 뿌리면, 세부 사항을 잘 모르더라도 굳이 고급 하드웨어 없이 우리 회사가 갖다 쓸 수 있는 사람들이 생기기 마련이고, 고급 하드웨어에 대한 의존도는 감소한다.

한국 같은 예외를 제외하면 LLM 모델을 자기네 회사에 붙이겠다고 최신 그래픽 카드를 구매하겠다던 수요가 그렇게 많지 않았던 것이 대표적인 사례다. 굳이 H100이 필요한 상황이 아니라, 일반 게임용으로 쓰이는 상용 그래픽 카드들로 충분하다는 것을 많은 Data Scientist들이 인지했기 때문이다.

관련해서 또 다른 예시는 [개안뽑] ㉝제프 베조스를 부자로 만든 것은 (줏대없는) 개발자들이었다에서 찾을 수 있다.

하드웨어 비싼 걸 사달라는 개발자 = '무능'의 상징

우리 회사에는 64-core가 들어가는 고급 서버가 1대 있다. 아마 내가 직접 의사 결정을 할 수 있었으면 사지 않았을 서버일 것이다. 당시에 개발자들이 우리 회사가 Data Science 전문 회사라면서 정작 서버도 좋은 게 없다며 불평을 하는 걸 듣고, 불평 듣기가 너무 미안해서 샀었는데, 1/10의 가격으로 36-Core가 들어가는 제품을 살 수 있다는 사실, 그런 36-Core 서버를 3~4대로 Scale-out하는 편이 64-Core 한 대보다 훨씬 더 효율적으로 쓸 수 있다는 사실을 그 때도 지금만큼 상세하게 알았더라면 단 칼에 쳐냈을 것이다. 엉뚱한 소리하지 말고 너네 개발이나 잘 해라고.

[개안뽑] ㉞클라우드 서비스는 과연 혁신이었나? 단순히 개발자 시장 진입 장벽을 낮춰준 도구에 불과했나?에서 말했던대로, 고작 몇 가지 작업을 더 해 준 덕분에 개발자들이 예상했던 것보다 최소 10배, 최대 100배의 Traffic을 감당할 수 있는 서버를 고작 100만원으로 만들었다. 그들 기준이었다면 최소한 1억 대의 비용을 들여 서버를 구축하고, 개발 기간도 서버에만 반 년 이상이 걸렸을 것이다. 난 서버 성능 확장에 1달도 안 썼다. 비용은 한 달에 만 원 정도 더 쓰는 것 같다.

몇 년간 개발자라는 직군을 겪고 난 다음, 이제는 확신을 갖고 말할 수 있다.

비싼 하드웨어 사달라는 개발자 = '무능'의 상징

이라고.

중학교 2학년 시절, 최소 사양 8MB라고 적힌 게임을 4MB 램이 달린 PC에서 돌려보겠다고 집에서 밤을 새다가 아버지께 혼쭐이 나도록 두들겨 맞았던 일이 기억난다. 난 당시에 DOS의 기본 메모리를 최대한 효율적으로 쓰도록 하기 위해 하이텔/천리안/나우누리 같은 국내 서비스들을 뒤지고, 그것도 안 되어서 해외의 각종 BBS들을 뒤지면서 필요한 프로그램과 설정값들을 찾아다녔다. DOS의 기본 메모리 640kb중 629kb를 남기고, 다른 모든 드라이버들을 그 게임에서 쓰지 않는 High memory로 올린 다음, 그 게임이 RAM에서 쓰는 정보들만 512kb 크기의 RAM Drive라는 것을 만들어서 올려놨다. (기억이 정확하다면 아마 COMBI라는 RAM Driver 프로그램을 썼을 것이다.) 덕분에 PC에 램이 4MB 밖에 없는 상태에서도, 좀 버벅거리기는 했지만, 그 게임을 돌릴 수 있었는데, 너무 좋아서 환호성을 지르다가 새벽에 잠을 깨진 아버지께 먼지가 나도록 맞았었다ㅋ

그 때부터 30년 남짓이 지났는데, 여전히 내 관점은 같다.