33.데이터 압축

안녕하세요!

문모닝입니다!

변화하는 과학기술과

끊임없이 변화하는 시장 상황에 부합하는

IT의 트랜드를 하나하나 살펴보는

문모닝의 IT!

오늘은 데이터 압축에 대해 알아보려고 하는데요.

데이터 압축이 무엇인지,

어떤 압축 기법을 사용해 압축이 되는지

살펴보도록 하겠습니다!

데이터 압축이란?

데이터 압축은 데이터를 더 적은 저장 공간에 효율적으로

기록하기 위한 기술, 또는 그 기술의 실제 적용을 뜻합니다.

데이터 압축은 크게 인코딩 과정과 

디코딩 과정으로 이루어지는데요.

인코딩은 압축 알고리즘에 따라 데이터를

작은 크기로 변환시키는 것을 뜻하고

디코딩은 저장된 데이터를 다시

원래 데이터 형태로 복원시키는 것을 뜻합니다.

이때 인코딩하기 전의 데이터 크기와

인코딩 후 데이터 크기의 비율을 압축률이라고 합니다.

압축 기술은 너무 많은 알고리즘이 존재하고

간단하게 이해하기 어려운 부분이기 때문에

오늘은 쉽게 이해할수 있는

알고리즘을 조금만 살펴보도록 하겠습니다!

압축 기술은 크게

데이터의 내용을 바꾸지 않고 원래 내용

그대로 디코딩할 수 있는 무손실 압축과

데이터의 세부적인 디테일을 일부 희생시켜

압축률을 높이는 손실 압축으로 나뉩니다.

이제 무손실 압축 알고리즘 중 가장 쉽게 이해할 수 있는

반복 길이 부호화를 살펴보겠습니다.

반복 길이 부호화는 데이터에서 같은 값이

연속해서 나타나는 것을 그 개수와 반복되는 값으로

표현하는 방법입니다.

예제를 보면 AAAAAABBBBBCCC 라는 데이터를

A6B5C3으로 줄여서 표현되는 것을 볼 수 있습니다.

기존의 14글자에서 6글자로 압축되었네요.

그림으로 보면 아래 그림처럼 되겠네요!

손실 압축은 예측 부호화 알고리즘을 통해

살펴보려고 하는데요.

데이터가 나열되어 있을때 인접 데이터의 오차값을

양자화 시킨 후 전송하는 방법입니다.

오차값은 기존의 데이터보다 더 작아질 확률이

매우 크고 특히 이진수로 데이터를 주고받는

컴퓨터에서는 데이터 당 몇 비트씩 차이가 확연하게 보이죠.

양자화 과정에서 기존의 데이터와 차이가 발생하지만

인간이 쉽게 인식하지 못할 정도의 손실이기 때문에

압축률을 높이기 위해 많이 사용됩니다.

최근 HDD와 SSD의 하드웨어적인 기술의 발전과

창고형 대형 서버의 공유기술이 발전하면서

저장 공간에 대한 부족함이 많이 사라졌는데요.

그럼에도 불구하고 압축기술의 발전은

더욱 효율적인 저장공간 사용을 가능케 하고,

대용량 데이터의 경우 하드웨어의 발전이 끼치는 영향보다

크게 영향을 끼치고 있는것이 사실입니다.

앞으로 어떤 압축 기법이 등장해

저장공간 활용의 도움을 줄지 기대해 봐도 좋을것 같습니다.