Transition from column to matrix, matrix to tensor as a baseline of data feeding changed the scope of data science,

온라인 학위 저평가 원인은 대학들이 오프라인보다 입학 난이도 및 교육 난이도를 가볍게 운영하기 때문 장기간 온라인 교육에 대한 평가 절하 인식이 퍼져 있어 편견 확대되는 효과도 난이도 높이면 결국 학생들의 기초 실력과 열정에 따라 성취도 구분되는 효과 나와 지난 코로나19 기간을 겪으며 한국 사회에서도 온라인 교육 과정에 대한 편견이 많이 사라지는 했지만, 여전히 온라인 교육은 오프라인 교육보다 품질이 낮다는 편견이 강하다. 실제로 교육을 해보면서 느끼는 거지만, 동영상 강의를 만드는 것과 현장에서 강의하는 것 간에 강의 내용 자체는 큰 차이가 없지만, 학생들과 의사소통에서 격차가 발생하고, 동영상을 매번 새로 만드는 것이 아니라면 과거 내용을 전달하게 되는 문제가 생길 수는 있는 것 같다.

상권과 특정 세대 소비자 집중도 관계 분석시 동시성의 오류 발생할 가능성 높아 도구 변수를 이용해 둘 간의 복합 상관관계를 단순 상관관계로 분리해야 실제 기업 사례에서도 잘못된 계산 후 잘못된 결론 얻는 경우 많아 데이터 사이언스 관련 프로젝트를 하다보면, 비일비재하게 발생하는 사안이 인과관계 오류다. 원인이라고 생각했던 변수가 사실은 결과였고, 반대로 결과라고 생각했던 변수가 원인인 경우들이 상당히 많다. 이런 오류를 데이터 사이언스에서는 '동시성의 오류(Simultaneity)'라고 부른다. 관련 연구가 가장 먼저 시작된 곳은 경제학 중 계량경제학으로, 일반적으로 중요 데이터 상실(Omitted Variable), 데이터 부정확성(Measurement error)와 더불어 3대 데이터 내부 오류(Endogeneity error)로 불린다.

Neural Network 계산법이 만능이라는 오해가 퍼져 있으나 수학적 조건 따져가며 적용해야 Borel-measure 조건을 충족시키지 못하는 계산에서는 '학습 실패' 사건이 벌어지기도 오차 많은 시계열 데이터에서 빈번하게 발생, 데이터 전처리 고민 필수 우리 SIAI 학생 중 한 명의 미국 대학원 추천서를 쓰면서, SIAI에서 가르친 내용, 방향, 수준, 응용 방식을 잘 보여주면서, 동시에 그 학생의 역량을 쉽게 이해할 수 있는 예제가 뭐가 있을까는 고민을 해 봤다. Deep learning 수업에서 RNN을 가르치던 중에 Neural Network가 적용될 수 있는 한계를 수학적으로 짚어주고, 그 수학 개념 뒤에 숨어있는 현실적인 제한을 풀어내 준 적이 있었는데, 그걸로 한 동안 학생들끼리 어떤 데이터를 어떻게 수정해야하는지에 대한 고민을 나눴던 기억이 있다.

When an expectation for future is shared, market reflects it immediatelyUS Fed hints to lower interest rates in March, which is already reflected in prices

Web novel to Webtoon conversion is not only based on 'profitability'If the novel author is endowed with money or bargaining power, 'Webtoonization' may be nothing more than a marketting tool for the web novel.

Not the quality of teaching, but the way it operatesEasier admission and graduation bar applied to online degrees

Asian companies convert degrees into years of work experienceWithout adding extra values to AI degree, it doesn't help much in salary

The relationship between a commercial district and the concentration of consumers in a specific generation mostly is not by causal effectSimultaneity oftern requires instrumental variables

One-variable analysis can lead to big errors, so you must always understand complex relationships between various variables. Data science is a model research project that finds complex relationships between various variables. Obsessing with one variable is a past way of thinking, and you need to improve your way of thinking in line with the era of big data. When providing data science speeches, when employees come in with wrong conclusions, or when I give external lectures, the point I always emphasize is not to do 'one-variable regression.'

With high variance, 0/1 hardly yields a decent model, let alone with new set of dataWhat is known as 'interpretable' AI is no more than basic statistics

아직까지 머신러닝, 딥러닝, 인공지능 같은 단어들이 보고서를 통과시켜주는 마법의 단어인 2류 시장 대한민국과 달리, 미국, 서유럽에서는 이런 계산과학 방법론을 다른 학문들이 어떻게 받아들여야하는지 이미 한번의 웨이브가 지나가고, 어떤 방식으로 쓰는게 합리적인지 내부 토론으로 정리가 되어 있다. 출신이 경제학이라 석사 이후로 발을 뺀지 오래되었음에도 불구하고 습관처럼 유명한 경제학자들 웹페이지에 올라온 Working paper나 기고를 훑어보는데, 오늘은 경제학에서 ML 방법론을 어떻게 받아들이고 쓰고 있는지에 대한 정리글을 소개한다. Machine Learning Methods Economists Should Know About

지난 글 이후로 많은 의견을 받았는데, 답변차원에서 2번째 글타래를 이어가본다. 지난 글에서 이미 컨설턴트의 '케이스 풀이법'에서 선형적 비지니스 접근의 한계에 대해서는 언급했으므로, 이번에는 실제 현업에서 비지니스 하는 사람들과 컨설턴트들의 차이를 살펴보자. 케이스 풀이법에서 슈퍼마켓 예시를 들었으니 같은 산업에서 스토리를 이어가보려 한다.

우리 회사에 전략 컨설팅 방식의 비즈니스 접근 방식을 좋아하고, 그 방법으로 비지니스 의사결정을 안 하고 있는 상황을 잘못되었다고 지적하는 직원이 하나 있다. 그 분의 접근 방식이 왜 잘못되었는지를 설명하다보니, 해당 설명이 왜 선형 회귀에서 비선형 회귀 또는 머신러닝으로 계산 알고리즘의 중심축이 이동하고 있는지와 맞닿아있는 것 같아 글을 한번 정리해본다.

대부분의 일반인들에게 빅데이터 분석이라고 하면, 빈도수 기반으로 워드 클라우드를 뽑아내거나, 데이터와 관련된 그래프를 뽑아내는 것으로 이해하고 있을 것이다. 혹은 나아가 빅데이터 분석의 키워드를 데이터 과학(Data Science)로 잡을 확률이 높고, 지적 & 철학적으로 훈련된 리그로 가면 복합지능(Integrated Intelligence)라는 표현을 진정한 키워드로 보기도 한다. 그러나 사실 필자가 생각하기에 빅데이터 분석의 핵심 키워드는 계산과학(Computational Science)이다. 그렇다면 계산과학이란 무엇일까?