폭발적으로 증가하는 데이터

기업들이나 정부 기관들이 만들고 수집하는 데이터 량이 폭발적인 수준으로 증가하고 있다.    매년 60% 씩 증가한다고 한다.    몇 가지 예를 들면,

• New Mexico 지역에 2000년에 설치된 천체 망원경을 통해 처음 수주일 동안에 수집한 천체 관련 데이터는 천문학 분야에서 그 당시까지 수집한 전체 데이터보다 더 많았다.    이 천체 망원경을 통해 지금까지 거의 10년 동안 수집한 데이터 량은 140 Terabyte , 그러니까 14만 Gigabyte 정도 된다.     DVD 영화 1편이 1.4 Gigabyte이니까, 영화 1만 편 정도에 해당하는 데이타 량이다.    그런데 2016년 Chile에 세워질 the Large Synoptic Survey Telescope는 5일마다 이 정도의 데이타를 만들어 낼 것이라고 한다.
• Geneva 근처의 the Large Hadron Collider at CERN은 매 초마다 40 Terabye의 데이타를 만들어내고 있다.
• Wal-Mart는 매 시간 마다 1백만 건에 달하는 거래를 처리하는데, 이런 데이터가 2.5 Petabyte (2,500  Terabyte) 정도된다고 한다.    이는 America Library of Congress 책을 digital로 환산했을 때 167배에 해당하는 규모이다.
• 2008년 IDC 는 올해 인류가 만들어낼 데이터 량을 1,200 Exabyte 정도가 될 것으로 예측했다.     1 Exabyte는 10억 Gigabyte, 또는 1백만 Terabyte를 의미한다.

문제는 만들어지고 있는 데이터가 이렇게 급증하고 있지만 이를 수용하고 관리할 수 있는 저장 매체의 용량이 절대적으로 부족하다는 점이다.    데이터 생산량과 저장 매체 용량간의 격차가 아래 그래프에서와 같이 앞으로 계속해서 큰 폭으로 벌어질 것으로 예상되고 있다.   

 

Source:  Data, data everywhere

관련 Post: 

• Exabytes?
• 12 Terabyte의 데이터