위의 데이터와 정보의 차이점과 연관성에 대한 정성적 분석과 데이터와 정보의 정량적 분석은 다음과 같습니다. 데이터의 양과 정보의 양 사이에는 어떤 연관성이 있나요? 데이터의 양이 많을수록 더 많은 정보가 포함된다는 뜻인가요? 불확실한. 예를 들어, 누군가 "사람은 입 위에 코가 있고 코 위에 눈이 있습니다."라고 말합니다. 이는 예상된 내용이므로 이 메시지에서는 거의 정보를 얻을 수 없습니다. 그런데 누군가 “사람은 코 위에 입이 있고 입 위에 눈이 있다”고 말한다면, 이는 예상치 못한 일이고 정보의 양이 방대하기 때문에 사람들에게 충격을 줄 것입니다. 이는 메시지가 예측 불가능할수록 메시지에 포함된 정보의 양이 더 많다는 것을 보여줍니다.
사실 정보의 기본 기능은 사람들이 사물을 이해하는 데 대한 불확실성을 제거하는 것입니다. 정보 내용이란 동일한 N개의 사건 중에서 하나의 사건을 선택하는데 필요한 정보 측정 및 내용을 말한다. 이 정의에 따르면 정보의 양은 확률과 밀접한 관련이 있습니다. 확률이론에서 P(x)는 N개의 동일한 사건 중에서 사건이 발생할 확률, 즉 P(x)=1/N을 나타내는 데 사용됩니다. 정보의 양 I(x)는 다음과 같이 정의됩니다.
I(x)=log2N = -log2(1/N)= -log2P(x)
지식과 결합 확률 이론에 따르면, 엔트로피 H(x) 공식이라고 불리는 다음 공식을 광범위하게 사용하면 대량의 데이터가 가져오는 평균 정보량을 표현할 수 있다고 추론할 수 있습니다.
참고: 이 평균 정보량은 산술 평균이 아니라 확률 이론의 통계 평균(수학적 기대값)입니다.