정보량은 N 개의 동일한 가능한 이벤트 중 하나를 선택하는 데 필요한 정보 측정 또는 내용입니다. 즉, N 개의 이벤트 중 특정 이벤트를 식별하는 동안 "예 또는 아니오" 를 묻는 최소 횟수입니다.
정보론에서 상호 정보는 I (x) 로 정의됩니다. Y) = h (x)-h (x | y), 숫자 공식 오른쪽의 다음 항목은 조건 엔트로피라고 하며, y 가 알려진 후 x 에 대한 불확실성을 나타내는 이산 메시지의 공식을 나타낼 수 있습니다. 따라서 상호 정보 I (x; Y) 는 y 를 받을 때 소스 x 에 대해 얻을 수 있는 정보의 양입니다. 상호 정보에 해당하는 H(X) 는 종종 자체 정보라고 합니다.