Open Data 사이트들이 활성화되면서 Data Mining이 자동화되고 있다

다음과 같은 두가지 흐름에 의해 data mining이 자동화되고 있다.

첫째는 Google Squared & Google Search Options, Wolfram Alpha, Google Public Data 등에서 알 수 있듯이  인터넷에서 검색되는 Data들이 분석하기 좋게 structured 되고 있다는 점이다.    둘째는  Youtube for data라는 닉네임을 갖고 있는  Swivel과 같이 인터넷을 통해 데이터를 공유하는 Open Data 사이트들이 활성화되고 있다는 점이다.     이 두가지 흐름 중에 Open Data 사이트가 최근 관심을 끌고 있다.

대표적인 Open Data 사이트는 Swivel,  ManyEyes, Factual 등을 들 수 있다.   누구든지 뭔가를 측정했거나 수집했거나 어떤 식으로든 만들어서 혼자 보관하고 있던 데이터를 Open Data 사이트에 upload해서 다른 사람들과 공유할 수 있다.   사람들은 Open Data 사이트에 upload된 데이터를 평가하고, comment를 달고, 자신이 갖고 있는 다른 데이터를 이용해서 점검하고 수정하고, 분석에 사용할 수 있다.  마치 Youtube에서 누군가에 의해 upload된 동영상을 보고, comment 달고, 다른 목적으로 자유롭게 사용할 수 있는 것과 유사하다고 할 수 있다.  

그런데 Open data 사이트들은 자동화된 통계 분석 엔진이 있어서  이를 이용해서 upload된 다양한 데이터들간의 상관관계를 분석하고 있는데,  이 자동화된 분석에 의해 지금까지 파악되지 않았던 새로운 재미있는 상관관계 분석 결과가 나타나고 있다.   몇가지 예를 들면,  

• 아래 그래프는 미국 각 주별로 종교가 중요하다고 생각하는 사람의 비율과 10대 출산율간의 상관관계를 보여주고 있다.   종교가 중요하다고 생각하는 사람의 비율이 높은 주일수록 10대 출산율이 높은 것으로 나타났다. 

• 아래 그래프는 연도별 실업율과 연도별 기대수명을 보여주고 있다.   실업율과 기대수명이 함께 움직이는 것을 알 수 있다.

사람들이 거짓이나 장난 data를 올린다는 문제가 있지만 그런 문제만 잘 관리된다면,  Open data는 위에서 보여준 예에서 알 수 있듯이 앞으로 과학 발전에 크게 기여할 것으로 기대된다. 

Source:  A YouTube for Data”

자주 멍~하게 생각에 빠지자

“과도하게 일해서는 좋은 성과를 내기 어렵다“에서 과도하게 일했지만 좋은 성과를 내지 못한 몇가지 사례들을 소개했었고, “직장인들이 이 블로그를 본다면….“에서는 시간적인 여유를 갖고 브라우징  (leisure browsing) 하는 사람들이 그렇지 않은 사람들보다 더 많은 일을 더 신속하게 처리한다는 연구결과를 소개했었다. 

이와 유사하게, 인지 과학자들의 연구 결과에 의하면 멍~하게 생각할때 우리는 장기 기억을 정리하고 문제 해결 방안을 찾아내는 활동을 한다고 한다.   우리가 멍~하게 생각하고 있을 때 두뇌를 scanning해보면 전두엽 부분이 왕성하게 활동하고 있는 것으로 나타나는데,  전두엽 부분은 문제 해결방안을 찾는 역할을 수행한다.     이는 곧 멍~하게 생각할 때 우리가 창조적인 일을 한다는 것을 의미한다.

그러면 우리는 언제 멍~할 경우가 많을까?   “Creative Thinking에 대한 정보“와 “Brain-Friendly Workplace“에서 지적한 것처럼,  산보하거나 길거리를 걷고 있을 때, 그리고 샤워할 때 멍~하게 생각하는 경우가 많다.    창조적인 생각을 위해서라도 열심히 걸어서 땀을 흘리고 샤워를 합시다.

Source:  Clive Thompson on Why Idling Mind Is Mother of Invention

통영 중앙 활어회 시장의 경쟁력있는 비즈니스 모델

오늘 가족들과 마산에 있는 선산에 갔다가 점심으로 생선회를 먹으려고 통영 중앙시장에 갔었다.    시장 통로 중앙에는 아래 사진과 같이 많은 아주머니들이 자리 잡고 앉아서 싱싱한 활어를 아주 싸게 팔고 있었다.  이 아주머니들로부터 생선을 사면 생선을 횟감과 매운탕 거리로 나누어 손질해준다.  그걸 들고 주변에 있는 식당에 가면 1인당 3천원씩 받고 테이블과 함께 초장, 야채, 음료수들을 제공해준다.    아주머니들은 싱싱한 생선들을 저렴하게 비슷한 가격에 팔고 있었고 주변 식당들은 먹을 장소와 함께 초장, 야채, 음료수를 동일한 가격으로 제공하고 있었다.    4명이 5만원에 생선회와 매운탕을 배부르게 먹을 수 있었다.   내가 지금까지 먹어본 생선회 중에 가장 싱싱하고 푸짐하고 저렴했다.

통영 중앙 활어회 시장에서는 수족관을 갖고 있는 식당이 아니라 아래 사진에서와 같이 바구니 물량 정도의 소량 재고를 갖고 있는 아주머니들이 생선을 팔기 때문에 이곳에서 파는 생선들은 전부다 싱싱했다.     생선 파는 아주머니들은 서로 잘 아는 사람들이 다닥 다닥 붙어서 생선을 팔고 있기 때문에 손님을 두고 서로 싸우지 않는 것 같았다.   가격도 비슷했다.   그래서  손님들이 생선을 살 때에 신선도나 가격에 대해 별로 고민하지 않고 쉽게 구입하고 가게 선택에서도 생각할 필요도 없이 가장 가깝거나 편한 가게를 선택하면 되었다.    그래서 그런지 통영 중앙 활어회 시장에는 평일 낮인데도 손님들로 넘쳐났다.    자주 가는 속초 대포항과는 전혀 달랐다.    어떻게 만들어졌는지 모르겠지만 다른 지역에 비해 매우 경쟁력있는 비즈니스 모델인 것 같았다.

 

실제 자동차 경주와 거의 비슷한 느낌을 주는 Multiplayer 게임인 iRacing.com

iRacing.com은 2004년에 설립된 online 자동차 racing game 서비스 회사이다.    1980년대부터 지금까지 수많은 사람들이 즐겨온 자동차 racing 게임은 전부 일인용 게임이었다.   실제 자동차 경주와는 별로 비슷한 느낌을 주지 못했다.   하지만 iRacing.com은 여러 사람이 racing에 참여하는 multiplayer 게임이고  자동차 모델 및 부품의 성능,  타이어 모델별 성능,  자동차 속도와 타이어 마모 관계,  타이어의 제동력 ,  노면 상태, 공기 저항 등에 관한 실제 데이터를 이용한 simulation 게임이기 때문에 실제 자동차 경주와 거의 비슷한 느낌을 준다.    아래 동영상을 보면 그런 느낌을 느낄 수 있을 것이다.

Source:  For Virtual Racers, a League of Their Own

초고속 인터넷망이 Universal Service가 되었다

핀란드 정부는 2015년까지 전국민에게 100MB broadband를 제공하겠다는 계획을 일부 수정해서, 우선 내년까지 전국민에게 1MB  broadband를 제공하겠다고 발표했다.    미국은 현재 전국민의 94%가 3-5 MB broadband를 사용하고 있으며,  한국은 83% 국민이 사용하고 있다.

아직 broadband가 보급되지 않은 가구에 broadband를 보급하기 위한 가구당 투자비용은 지금까지와는 비교할 수 없을 정도로 많이 소요된다.   대부분 컴퓨터를 이용할 줄 모르는 사람들이거나 산간 벽지나 외딴 섬처럼 접근하기 어려운 지역이기 때문이다.    미국 정부는 핀란드 처럼 전국민에게 3MB broadband를 보급하기 위해서는 $200억이, 10MB broadband를 보급하는데에는 $500억이, 100MB braodband를 보급하는데에는 $3500억이 소요될 것으로 보고있다.    

인터넷망을 통해 streaming video를 제대로 볼 수 있기 위해서는 5MB 정도가 필요하며, streaming video를 HD로 볼 수 있기 위해서는 최소한 10MB가 필요하다고 한다.    인터넷망이 이제는 전화나 전기와 같은 필수적인 사회적 utility, Universal Service가 되었다.

Source: Broadband Now! So Why Don’t Some Use It?