AI/DS논문이야기

Is bubble really bubble?

Is bubble really bubble?

버블은 금융 자산 또는 상품의 가격이 내재가치 또는 시장 컨센서스보다 훨씬 높을 때 발생한다. 이는 일반적으로 과열된 경제 상황을 설명할 때 주로 사용되는 표현이다. 문제는 버블이 꺼지면서 가격이 폭락하기 전까지는 대부분의 시장 참여자가 이를 버블이라고 인지하지 못한다는 것이다. 국제적으로 상호 연관성이 커진 오늘날 어느 한 나라의 버블은 세계 경제 전반에 큰 영향을 미치기 때문에 이를…

건축물 별 월간 전기/가스 사용량 예측: 결합확률분포 모델 기반 예측

건축물 별 월간 전기/가스 사용량 예측: 결합확률분포 모델 기반 예측

우리는 집에서 전기와 가스를 사용하고 매달 전기요금 고지서와 가스요금 고지서를 받는다. 여름에는 더위 때문에 에어컨을 많이 사용하고는 전기요금이 많이 나올까 걱정하고, 겨울에는 추위 때문에 난방을 온종일 틀어놓고 비싼 가스 요금을 걱정하기도 한다. 송정훈 박사는 지난 5월 12일 개최된 ‘데이터사이언스경영학회 2023년 제1차 세미나’에서 한국에너지공단이 공개한 위의 통계자료를 지적하며, 이러한 전기와 가스 소비는 가정뿐만 아니라 비주거용 건물들…

ChatGPT는 실험에 불과, Attention mechanism도 데이터셋 특화된 계산법에 불과

ChatGPT는 실험에 불과, Attention mechanism도 데이터셋 특화된 계산법에 불과

지난해 11월 말에 ChatGPT가 출시되고 2개월만에 사용자가 1억명을 넘었다는 보도가 있었다. 이제 만 2개월이 좀 더 지난 시점인데, 수익화를 위해서 개발사인 OpenAI가 서두르는 것을 보면서, 게임 이상으로 현실 서비스를 뜯어 고칠 수 있을까는 의문을 던져봤다. 한 언론사 기자 지원을 했던 학생이 ChatGPT에서 정보를 얻어 기사 샘플을 작성했다며 제출했단다. 솔직히 밝혀줘서 고맙다면서 글을 읽어본 경력직 기자 분은 ‘XX위키 베꼈네요?’라고…

ChatGPT 시리즈 – ⑤’인간 피드백형 강화학습(RLwHF)’과 대형언어모델(LLM)의 미래

ChatGPT 시리즈 – ⑤’인간 피드백형 강화학습(RLwHF)’과 대형언어모델(LLM)의 미래

ChatGPT에 맞서 구글에서 Bard라는 LaMDA 기반의 대형언어모델(LLM) 모델을 내놨다. 이미 오래전부터 나왔던 이야기고, 모델 자체가 데이터 물량에 크게 의존하는만큼, 세계 최대 검색엔진을 갖고 있는 구글이 유사한 서비스를 못 내놓을 것이라는 생각은 하지 않았었다. 아직 준비 중이었을텐데, 워낙 ChatGPT가 여론의 관심을 받으니 출시일을 좀 앞당긴 것 같은데, 제임스 우주 웹 망원경(JWST)에 대한 설명 중에, 태양계 밖에서 우리 지구의…

ChatGPT 시리즈 – ④’인간 피드백형 강화학습(RLwHF)’과 GPT-3.5

ChatGPT 시리즈 – ④’인간 피드백형 강화학습(RLwHF)’과 GPT-3.5

ChatGPT의 모델 자체는 기존의 강화학습 모델들과 큰 차이가 없다. ChatGPT 측에서 직접 공개한 홈페이지 상의 설명이나, 공개된 논문에서도 기존의 강화학습을 일부 변형해 보상(Reward)를 주는 방식을 인간의 피드백으로 대체했다는 점을 지적하고, 해당 부분의 효과를 설명하는 실험으로 가득찬 전형적인 공학 논문이다. 위의 2번 식에서 볼 수 있듯, 기존의 강화학습(Reinforcement Learning, RL)을 놓고, Supervised Fine-Tuning(SFT)라는 작은 모델로 보정하는 작업을 거친다. SFT는…

ChatGPT 시리즈 – ③’인간 피드백형 강화학습(RLwHF)’의 한계

ChatGPT 시리즈 – ③’인간 피드백형 강화학습(RLwHF)’의 한계

자, 이제 이 시리즈 글의 가장 본질적인 목적으로 돌아와보자. 그간 강화학습이라는 모델과 인간 피드백형 강화학습이 구성되는 논리를 이해했다면 굳이 ‘실험’에 의존하지 않고도 어떤 데이터와 어떤 목적일 때 RLHF가 효과적일 수 있을지 가늠이 될테니, 논리부터 한번 정리해보자.   8.RLHF로 할 수 있는 것과 할 수 없는 것 일반에 ‘강화학습’으로 알려진 계산법은, 고교 시절에 봤던 미분 최적화 +…

ChatGPT 시리즈 – ②’인간 피드백형 강화학습(RLwHF)’의 장점

ChatGPT 시리즈 – ②’인간 피드백형 강화학습(RLwHF)’의 장점

가치함수를 정의하고 벨만 방정식을 풀어내는데까지는 우리가 수식을 찾아낼 수 있다고 가정했다. 근데, 현실적으로 우리가 수식을 알고 있는 경우는 과연 얼마나 될까? 사실 수식을 알아낼 수 있는 학문의 영역은 일부에 지나지 않는다. 그리고, 계산법을 배우는 것이 힘들지는 몰라도 배우고 나면 문제를 풀어내는 것은 전혀 어려운 일이 아니다. 계산기가 풀어줄 수도 있는만큼, 문제를 풀어내느냐 여부는 문제를 수식으로…

ChatGPT 시리즈 – ①강화학습(RL)과 ‘인간 피드백형 강화학습(RLwHF)’

ChatGPT 시리즈 – ①강화학습(RL)과 ‘인간 피드백형 강화학습(RLwHF)’

요즘 ChatGPT가 엄청나게 많은 일을 할 수 있다며 말들이 많다. 모델을 봤을 때는 지난 2017년에 알파고가 나왔던 시절처럼 몇 가지 할 수 있는 것들만 말이 나오고는 Hype이 끝날 것 같은데, 몇 개의 시리즈 글로 ChatGPT가 왜 대단한지, 그럼에도 불구하고 뭔가 엄청난 일을 할 수 있는건 아닌지를 지적해 볼까 한다. ChatGPT의 명성을 이용하기 위해 그럴듯하게 자기네 회사 시스템을…

[논문이야기] Interpretable Topic Analysis ⑤

[논문이야기] Interpretable Topic Analysis ⑤

[논문이야기] Interpretable Topic Analysis ④에서 이어집니다 요약 본 논문을 한 문장으로 요약하자면, NLP(Natural Language Process, 자연어처리)분야에서 토픽의 비율을 뜻하는 를 찾아내기 위해 비선형 요인분석(Non-linear Factor Analysis)를 수행한 것으로 볼 수 있습니다(실제로도 토픽들간의 공분산은 존재합니다). 위를 바꿔 말하면, 보통 요인 분석(Factor Analysis, FA)은 수치형 데이터에서 사용되는데, 이를 NLP 분야에 활용(비선형 요인분석)하기 위해 단어와 각 토픽의 구조,…

[논문이야기] Interpretable Topic Analysis ④

[논문이야기] Interpretable Topic Analysis ④

[논문이야기] Interpretable Topic Analysis ③에서 이어집니다 이전 글(1,2,3)까지, ‘화려한’ 모델들을 사용하며 계산 효율성(Computational Efficiency)을 최대화하면서도, 어휘 간 맥락을 반영할 수 있는 토픽 모델링을 설계했습니다. 그 다음으로 연구를 하면서 제가 가장 많이 했던 고민은 ‘이를 통해 어떻게 의사 결정을 내릴 수 있을까’였습니다. 보편 근사 정리(Universal Approximation Theorem, 신경망 모델에서 하나의 레이어만으로도 여러 개 노드 추가를 통해…

[논문이야기] Interpretable Topic Analysis ③

[논문이야기] Interpretable Topic Analysis ③

[논문이야기] Interpretable Topic Analysis ②에서 이어집니다 이전 글에서는 GloVe를 본 연구의 핵심 워드 임베딩 기술로 사용하게 된 배경을 살펴보고, 나아가 그래프 표현을 통해 ‘토픽 내 단어간 관계’를 심도 깊게 반영하는 GTRF를 소개했습니다. 위 논의를 기반으로, 이번 글에서는 본 [논문이야기]의 핵심인 ‘GNTM(Graph Neural Topic Model)’를 살펴봅니다. GNTM은 higher order GNN(Graph Neural Network, 그래프 신경망)을 활용합니다. 즉,…

[논문이야기] Interpretable Topic Analysis ②

[논문이야기] Interpretable Topic Analysis ②

[논문이야기] Interpretable Topic Analysis ①에서 이어집니다 AI(Artificial Intelligence)분야에서 가장 먼저 떠오르는 교수님은 누가 있을까요? 저는 앤드류 응(Andrew Ng) 교수님이 떠오릅니다. 왜 그런진 모르겠지만 언젠가부터 주변에서 앤드류 응 교수의 강의, 인터뷰, 논문을 봤다고 얘기하는 사람들이 늘어나기 시작했습니다. 지금 생각해보면 앤드류 응 교수의 논문이 2000년 대 초반에 나왔다는 것을 생각하면, 최근 들어 이 교수의 명성을 접하게 돼…

[논문이야기] Interpretable Topic Analysis ①

[논문이야기] Interpretable Topic Analysis ①

대학원 수업들을 절반 이상 이수하며 졸업을 얼마 안 남기고 있었던 시점에서, 데이터 사이언스와 인공지능을 배우기 위해 이 대학원에 왔기 때문에 기존 통계학 분석 방법이 사용되지 않는 머신러닝 및 딥러닝이 잘 사용되는 분야로 논문을 작성하고 싶었습니다. 그래야 대학원 교육과정을 마치는 의미가 더욱 있을 것 같았기 때문입니다. 데이터를 찾기 쉽고, 딥 러닝을 활용할 수 있는 분야 저를…

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ④

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ④

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ③에서 이어집니다. 이전 글까지를 통해 예측적(Predictive) 및 해석적(Analytic) 관점에서 측정오차를 살펴봤습니다. 이번에는 측정오차 문제를 보정하는 포아송 칼만 필터(Poisson Kalman Filter)을 살펴보고, 나아가 이를 포아송 시계열 모형과 결합하는 ‘앙상블’ 모형을 소개하는 시간을 가져보죠. 포아송 칼만 필터, 측정오차, 베이지안, 그리고 정규화 칼만 필터는 연구자가 이미 알고 있는 변수의 정보(State Equation,…

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ③

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ③

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ②에서 이어집니다. 이전 글 말미에, 예측적(Predictive) 관점에서 적절한 측정오차가 정규화(Regularization) 관점에서 도움을 줄 수 있다고 설명했죠. 또한 모두 다루지는 않았지만, 측정오차가 모형 잔차의 자기상관성(autocorrelation), 평균-분산 관계에(mean-variance trade-off) 유의미한 영향을 주지 않음도 확인할 수 있었습니다. 즉 이렇게만 보면 측정오차는 중요하지 않은 사소한 문제로 보입니다. 사실일까요? 이번 글에서는 ‘해석적(Analytic)’ 관점에서…

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ②

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ②

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ①에서 이어집니다. 이전 글에서는 디지털 광고가 ‘1인 1 스마트폰 시대’에 힘입어 광고 시장의 메인스트림으로 우뚝 올라서게 됐으며, 이제는 업계 차원에서 ‘측정오차’에 대한 적절한 조치가 필요한 시점이라고 화두를 던졌죠. 이번 글부터는 통계적 모델링을 통해 측정오차가 실제 광고 성과에 어떤 영향을 미치는지 본격적으로 살펴보겠습니다. ‘계통오차’와 ‘랜덤오차’로 구분되는 측정오차 측정오차에 대한…

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ①

[논문이야기] 측정오차 하 광고 시계열 모델링 연구 ①

디지털 광고는 매년 가히 폭발적으로 성장하고 있습니다. 특히 글로벌 팬데믹으로 인해 오프라인 시장이 크게 위축되던 시기에 소비의 중심축이 오프라인에서 온라인으로 옮겨가면서 디지털 광고는 전 세계 광고 시장의 메인스트림으로 자리잡게 됐습니다. 디지털 광고의 핵심은 단연 스마트폰입니다. 스마트폰 유저들이 PC, 노트북, 태블릿보다 우월한 편의성을 기반으로 언제 어디서나 웹에 접속할 수 있게 되면서 ‘웹 기반 매체’들이 새롭게 광고…

[논문이야기] 부동산 경매시장의 버블 ⑤

[논문이야기] 부동산 경매시장의 버블 ⑤

[논문이야기] 부동산 경매시장의 버블 ④에서 이어집니다. 이전 글에서 필자는 부동산 경매 시장의 정량적 분석을 통해 매매 시장의 버블을 찾아낼 수 있으며, 이는 곧 경매 시장의 ‘1등과 2등 간 입찰 가격 차이’라는 지표를 통해 확인할 수 있을 것이라는 가설을 제시했다. 해당 지표의 절댓값이 크다는 것은 곧 불특정 다수의 시장 참여자의 특정 자산(부동산)에 대한 미래 가치가 오를…

[논문이야기] 부동산 경매시장의 버블 ④

[논문이야기] 부동산 경매시장의 버블 ④

[논문이야기] 부동산 경매시장의 버블 ③에서 이어집니다. 이전 글을 통해 필자는 최근 부동산 시장이 침체 국면에 들어서고 있으며, 집값 급락으로 인한 버블 붕괴에 대비할 수 있는 지표의 필요성에 대해 밝힌 바 있다. 또한 이전 글을 통해 버블이 인간의 ‘군중 심리’ 본능에 의해 발생한다고도 설명했다. 이번 글에서는 부동산 매매 시장의 버블을 예측하기 위한 수단으로써 ‘경매’ 시장을 들여다봐야…

[논문이야기] 부동산 경매시장의 버블 ③

[논문이야기] 부동산 경매시장의 버블 ③

[논문이야기] 부동산 경매시장의 버블 ②에서 이어집니다. 이전 글(1,2)에서는 최근 경제 ‘뇌관’으로 떠오르고 있는 부동산 시장의 ‘버블’의 위험성에 대해 살펴봤다. 또한 필자는 버블은 세계적으로도, 역사적으로도 반복됐다는 점을 지적하며 왜 인간이 ‘같은 실수를 반복할수 밖에 없는지’에 대한 의문을 제기한 바 있다. 이번 글에서는 버블이 결국 인간의 비이성적 측면, 그중에서도 ‘군중 심리’ 또는 ‘양 떼 효과’에서 비롯된다는 점에…