정보의 진화 - 정보와 엔트로피

모든 제품에는 물리적 질서와 정보가 들어있다.

정보

물체에 내장되어 있는 물리적 질서 (~의 정보와 ~에 대한 정보의 구분이 필요)

정보란 비트의수 이외에 어떤 '질서'까지 함축되어 있다. 그러나 질서정연한 상태는 드물면서uncommon 특이한peculiar 상태이다. 우선 '드문 상태'의 뜻부터 정확하게 설명한 후, 다량의 정보가 내재되어 있는 '특이한 상태'의 의미를 살펴보기로 한다. 정보라는 단어가 지금과 같은 의미로 통용되는 이유는 '많은 정보 = 특이한 상태'라는 상관관계 때문이다.

평범한 상태와 드문 상태를 구별하려면 주어진 계에서 모든 가능한 상태를 추려내야하는데, 한 가지 방법은 상태들 사이의 연결관계 이용하는 것이다. 상태 A에 간단한 변환을 가하여 상태 B를 만들 수 있을 때, "A와 B는 연결되어 있다"고 한다. 관중석의 예에서 모든 사람들이 옆자리로 일제히 이동하는 변환을 생각해보자. 원리적으로는 이 변환을 이용하여 허용된 모든 상태를 만들어낼 수도 있지만, 실제로는 그리 녹록지 않다. 이웃한 자리로 아무리 여러 번 이동을 해도 문자나 그림은 나타나지 않는다. 이런 상태는 극히 드물기 때문에 간단한 변환으로 도달하기가 쉽지 않다. 이 사례는 질서가 내재된 정보를 정의하는데 유용하다. 물리계에서 정보는 엔트로피와 정반대이다. 정보는 매우 드물면서 고도의 연관성을 가진 배열(단순한 변환으로는 도달하기 어려운 배열)을 포함하고 있기 때문이다. 부가티나 전기기타처럼 원자가 매우 드문 형태로 배열된 물체는 동일한 원자집단으로 만들어진 평범한 배열보다 많은 정보를 갖고 있다. 

다량의 정보가 함축된 상태란 어떤 상태일까? 다량의 정보가 저장된 상태의 중요한 특징 중 하나는 장거리 상호관계long-range correlation와 단거리 상호관계short-range correlation 를 모두 포함한다는 것이다. 

다량의 정보가 함축된 상태를 찾기 어려운 이유는 그런 상태가 드물게 존재하는데다가, 그런 상태로 가는 경로가 몇 개 안되기 때문이다. 

엔트로피

엔트로피라고 하면 흔히 '계의 무질서한 정도를 수치로 나태낸 값'을 떠올린다. 그러나 엔트로피는 무질서도와 완벽하게 같지 않다. 

엄밀히 말해서 엔트로피는 '동일한 상태의 수'를 나타내는 양이다. 여기서 동일한 상태의 수란 하나의 특정한 배열을 그대로 유지하면서 구성원소를 바꾸는 방법의 수를 말한다. 예를 들어 관중들이 특정한 배열로 앉아 있을 때, 사람들이 자리를 맞바꿔도 좌석의 점유현황은 달라지지 않는다. 이런 식으로 자리를 맞바꾸는 '방법의 수'가 미시상태의 수이며, 이 값이 클수록 엔트로피가 크다. 그런데 무질서한 상태일수록 '무질서도가 똑같은 상태의 수'가 많기 때문에, 엔트로피가 큰 상태를 무질서도가 높은 상태로 간주해도 별문제가 없는 것이다. 

그러나 무질서도가 증가하지 않아도 엔트로피는 커질 수 있다. 예를 들어 상자에 기체를 주입한 후 크기를 두 배로 늘였다고 가정하자 (관중들을 그대로 둔 채 경기장의 크기를 두 배로 늘린 것과 같다). 부피가 커지면 기체입자들이 배열될 수 있는 방법도 많아지기 때문에, 기체의 엔트로피는 상자의 부피레 비례하여 커진다. 그러나 상자의 부피를 키워도 계의 무질서도는 변하지 않는다.

정보의 진화 국내도서 저자 : 세자르 히달고 / 박병철역 출판 : 문학동네 2018.12.04 상세보기