폭발적으로 증가하는 데이터 3

Google의 Eric Schmidt가 “인류가 이틀동안 만들어내는 데이터량은 문명이 발생해서 2003년까지 만든 총 데이터량과 비슷하다”고 해서 우리를 놀라게했는데, 오늘 인류가 만들어내고 있는 데이터 볼륨에 대해 더 구체적인 자료를 접했다. 간단히 소개한다.

데이터는 프린트, 필름, magnetic, optical 4가지 형태로 저장되고, 전화, 라디오, TV, 인터넷 4가지 채널을 통해 움직인다.
2002년에 인류가 만들어낸 데이터량은 5 exabyte 정도였다. Exabyte는 1백만 terabyte, gigabyte로는 10억 gigabyte이다. DVD 영화 1편이 1.4 gigabyte이니까 영화 7억 편 분량이고 17백만권을 소장하고 있는 Library of Congress가 136 terabyte이니까 3.7만개의 Library of Congress가 소장하고 있는 분량이다.
- 이중 92%가 magnetic (대부분 하드디스크) 에, 7%가 필름에, 0.01%가 종이에, 0.002%가 optical에 저장되었다.
- 미국은 새로운 데이터 중 40% 정도를 만들었으며, 구체적으로는 프린트물의 33%, 필름 데이터의 30%, optical 데이터의 40%, magnetic 데이터의 50%를 만들었다.
2002년에 인류가 만들어내고 있는 데이터는 매년 30%씩 증가해서 3년마다 2배씩 증가한다고 예측했는데, 요즘은 매년 60%씩 증가해서 18개월마다 2배씩 증가하고 있어서 Moore의 법칙과 일치한다. IBM은 조만간 데이터량이 11시간마다 2배씩 증가할 것으로 예측하고 있다.
인류는 2006년에는 161 exabyte를, 2008년에는 487 exabyte의 데이터를 만들었다. 이는 지금까지 인류가 만든 프린트 데이터의 3백만배에 해당한다.
인류는 2011년에는 1,800 exabyte의 데이터를 만들 것으로 추정된다.

데이터량이 이렇게 급증하는 이유는 TV 및 라디오 방송, 전화통신, 신문, 출판 등이 모두 디지털화되고 있고 있기 때문이다. 특히 ubiquitous nanosensor라고 불리우는 카메라(눈), 마이크로폰(귀), touch screen(피부)을 통해 다양한 차원의 데이터가 각 분야에서 엄청나게 만들어지고 있는 것이 큰 몫을 차지하고 있다.