0821_빅데이터 첫번째 수업

빅데이터의 오점!

작은것에서부터 시작해야함.

작은것에 대해서도 얼마든지 실수가 나올수있다는 것을 인정해야함.

가끔 얻어걸릴수도 있지만, 

빅데이터는 크고 거대한 무엇이 아니고, just 관리할만한 시설과 상황이 갖추어져있다는것뿐.

데이터가 크기만 하면 쓰레기일뿐, 나에게 필요한

우리나라 AI가 발전하지 못한 이유

1) 데이터 양이 너무 적음.

2) 

but, 데이터 양이 적은것은 문제가 아님. 

알파고 - 세상의 데이터에 비해 

10%데이터(소셜데이터) : 전세계 어디에서나 우리가 접할 수 있는 데이터.

나머지90% : 영상데이터(cctv, 건물입구, 지하철 등), 음성데이터, 금융데이터(삼성pay..)

많다고 좋은게아님. 많으면 더 혼란이 오는것.

명확하게 분석할 수 있는 시야를 갖지 않으면 죄다 쓰레기.

빅데이터 = 쓰레기장

기업의 의사결정을 제대로 할 수 있느냐? 못함.

구글의 자율주행자동차 => 1%의 오류가 생겨도 문제가 생기기때문.

의료기기의 데이터 => 무결점이라는 뜻이 아니라, 사람의 진단보다 오류의 확률이 조금 더 낮을 뿐임.

완전 무결체가 아니기때문에 신뢰롭지는 못함.

but아예 할수 없느냐? 는 아님..

그렇다면, 빅데이터로 할수있는 것은 없는가?

그건아님!

실제로는 아주 작은데이터에서부터 시작할 수 있지만 빅데이터의 범위를 너무 크게잡기때문임.

외부업체와도 손잡으면 데이터 찾으러 다니지 않아도되는것.

데이터 분석 결과를 100%라고 주장하는 사람은

무당 아니면 사기꾼.

수많은 검증과 실험을 해봐야함.

과학자들도 우연히 결과를 얻는 경우도 있지만,

수많은 가정을 세우고, 실험하고 결과를 도출해내는 것.

ex) 대선데이터 : 힐러리진영의 데이터분석가 vs. 트럼프진영의 데이터분석가

트럼프가 지던지, 당선되더라도 중간에 

똑같은 데이터를 보고도 사람의 생각과 관점에 따라 다르게 해석할 수 있음.

따라서, 빅데이터는 오류가 있을수밖에 없음.

보완하기 위해(not 해결) AI가 등장. but 이럼에도 실수는 발생할수밖에없음.

알고리즘을 만드는 것은 사람이기때문.

1%가 나아지고, ....10%가 나아지면 어마어마한 결과가 나올 수 있음.

papago : 1% 정확도 올리는데 1년씩 걸림.

음성인식도..

빅데이터 분석의 핵심!!!

 : 내가 필요한 데이터를 정의하는 것이 거의 데이터 분석의 반을 차지함.

   나머지는 툴의 문제임. 툴은 얼마든지 있음. 무료도많음, 선택의 문제임.

수치적인분석/ 정량적인 분석/ 정성적인 분석...

=> 정성적인 분석이 미래를 만들어감.

불확실성의 회피 : 잘사는 나라일수록 이런 경향이 강함. but 놓치는 것들이 더 많을 수 있음. 더 중요한 가치의 상실

ex) 공부잘하는애들이 공무원, 공기업 가려는 현상.

30대 : 좋아하는 것을 하라.

40대 : 잘하는 것을 하라.

생활인터넷

quantified self

개인 취미든지 주변에서 데이터 스스로 찾아내어 

혹은, 커뮤니티가 정말 중요.

축구, 야구, 골프 등 하나 정해서 데이터화시킬수도 있음.

내 자신을 데이터화 해도 됨.ㅋㅋㅋㅋㅋㅋ존잼이겠다.

외국에도 있어요. 가입하세요! 어디에도 없는 데이터들!

ㄹ작은 목표를 가지고 자꾸 햄보세요. 몇시간이 걸리든, 몇일이 걸리든,

검증을 스스로 해야하는 것도 잇고, 남드이 스스로 해주는것도 있을거에요;

도대체 왜 이런 성적이 나오는것일까.

어떤 요인때문일까. 심리적, 육체적인 요소들까지.

영향을 미칠만한 요소들이 뭐가 있을까 등을 추적.

전문가들도 다 이렇게 시작했음. 자꾸 해보는 차이.

데이터를 다루는것에 대한 감이 올것. 다른 데이터들에도 어떻게 접근해야하는 지 감이 올것.

어려운것을 알면서도 도전하는것은 용기있느일.

but, 어려운일을 빨리 쉽게하려는것은 강도짓.

중요한것은 어려운일을 천천히 지속적으로하는것.

ex) 마포구 신촌 일대 신호등 분석.

어떤 데이터가 신뢰성있는 데이턴지 자꾸 보다보면 지속적으로 보면 감이옴.

생활속에서 접근할수있는 아이디어를 사업화하셈.

그게 훨씬 가치가 늘임.

횡단보도 사고가 많이 나는 곳에 대한 정보를 네비게이션에 데이터 넣으면 

신호등 사고의 반을 줄일수있다고 생각함.

지속성.

같이할사람이 필요함.

감성과 감각으로부터 받아들이는 이성과 헷갈리지 마세여.