이벤트의 불확실성을 측정하기 위해서는 먼저 무작위 변수를 사용하여 무작위 이벤트를 나타내야 합니다. 만약 우리가 분포를 안다면, 우리는 그것을 엔트로피의 정의를 쓰는 데 사용할 수 있다.
해명
확률 분포이고 이론값은 [0- 1] 입니다. 그러나 정의가 없으면 문제가 생길 수 있다. 우리는 알고 있습니다.
따라서 추가 후 언제든지 설정할 수 있습니다.
예를 들어, 우리가 동전을 던진 후에 동전이 위아래가 뒤집혔는지 위아래가 뒤집혔는지를 나타내는 데 쓰인다. "우리는 이진수를 사용합니다. 즉, 이진수를 사용합니다."
(1) 만약 이 동전이 공평한 동전이라면
(2) 이 동전이 불공평하다면
(3) 이 동전이 불공평하다면
(4) 이 동전이 불공평하다면
취점이 비교적 밀집된 경우 다음 그림을 그릴 수 있습니다 ().
(1) 시스템의 불확실성이 가장 높은 경우. 만약 한 사람이 동전의 앞뒤 양면을 추측한다면, 이 순간 그는 가장 불확실하다.
(2) 그때가 되면 시스템의 불확실성이 높고 동전을 추측하는 사람들에게는 파악이 크다.
(3) 엔트로피가 0 이면 시스템의 불확실성이 완전히 사라집니다. 엔트로피가 0 인 시스템에는 불확실성이 없습니다.
아까 말씀드렸듯이 엔트로피의 기수 =2 의 단위는 비트라고 합니다. 우리가 자주 접하는 정보의 단위도 비트입니다. 이것은 우연이 아니다. 어느 정도까지, 둘 다 같은 사물의 양면이다. 이것은 정보의 본질로부터 시작됩니다.
정보는 불확실성을 제거하는 데 사용됩니다 (엔트로피). 1 비트의 엔트로피를 제거하려면 1 비트의 정보가 필요합니다.
위의 예를 사용하여 양수 및 음수 동전의 배상률이 같을 때 답을 알려면 1 비트의 정보가 필요합니다. 엔트로피가 0 일 때, 우리는 어떤 정보도 없이 답을 알 수 있다.
우리가 방금 말한 엔트로피는 정보 엔트로피입니다. 열역학에서는 엔트로피의 개념이 있습니다. 둘 다 시스템의 혼돈을 묘사하는 데 사용됩니다. 이 글의 시작 부분에서 왼쪽 컵의 물은 얼음의 형태로 존재하고, 잔에 골고루 분포되어 있지 않다. 이 시점에서 엔트로피는 상대적으로 낮고 정보 엔트로피에 해당합니다. 이 시점에서 우리는 컵에서 물 분자의 위치를 결정하는 것이 더 쉽다고 말할 수 있습니다. 오른쪽 컵에서는 얼음이 물로 변하고 물 분자의 활동 공간이 커지고 물 분자가 컵에 더 고르게 분포되어 엔트로피가 높아진다.