Dark Data의 재활용이 주목 받고 있다

Open Data 사이트들에서  자동화된 통계 분석 엔진을 이용해서 공유 목적으로 upload된 다양한 데이터들간의 상관관계가 분석되어서, 지금까지 파악되지 않았던 새로운 재미있는 상관관계들이 발견되고 있다는 사실을 소개한 적이 있다 (여기 참조).  

그런데 Open data 사이트들에 공유 목적으로 upload되는 데이터들 중에 과학자들이 자신의 가설을 뒷받침하거나 기각하기 위한 목적으로 수집하였지만 가설을 뒷받침하거나 기각하는데 실패한 데이터(Dark Data라고 한다)들이 최근 주목받기 시작했다.    이런 Dark Data들은 측정하고 수집하는데에 많은 노력과 비용이 투입되었지만, 아무런 결과를 만들어내지 못하고 지금까지는 그냥 수집한 과학자들의 Hard Disk에 담겨 있거나 다른 저장매체에 담겨 책상 서랍에 처박혀 있어 왔던 것이다.   

전통적으로 학술지들은 ‘흡연이 암의 원인이다’와 같이 변수들간의 상관관계가 긍정적인 내용의 논문들만 발표했지, A 약품은 B 질병의 치료효과가 없다’와 같이 상관관계가 부정적인 내용의 논문들은 지금까지 발표하지 않았다.    그래서 상관관계가 부정적인 논문들만을 발표하는 The Journal of Spurious Correlations와 같은 학술지들도 나타났다.   여기서 Spurious는 ‘불필요한 내용을 발표한다’는 뜻을 갖고 있다.  그런데  변수들간의 부정적인 상관관계도 사회적으로 의미있는 경우가 많이 있다는 사실을 인식하기 시작한 것이다 (“Year in Ideas – The Journal of Spurious Correlations” 참조).   

이런 학술지들의 움직임과는 달리 Open Data 사이틀에서 Dark Data를 공유하는 것은 Dark Data의 재활용에 초점을 맞춘 것이다.   Dark Data들이 Open Data 사이트에 upload되어 자동화된 분석엔진이나 다른 과학자들에 의해 쉽게 검색되고 공유되면 원래 의도했던 것과는 다른 더 좋은 연구 결과를 만들어 내는데 크게 기여할 수 있게된다.   

Dark Data의 재활용이 주목 받고 있다”에 대한 2개의 응답

  1. 이젠 지식도 재활용 하는군요..

  2. 이런거야 말로 혁신이라고 생각되네요! 누군가에게는 쓸모없어 버려지는 자료가 더 좋은 연구결과를 만들어 낸다는 사실이요.

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중