///
Determinado código utiliza um alfabeto formado por n letras diferentes \(A_1, A_2,..., A_n\) e as mensagens escritas nesse código são sequências finitas dessas letras. A probabilidade de aparecimento da letra \(A_i\) (i = 1,..., n) nessas mensagens é dada por \(p_i\) (i = 1,..., n), sendo \(p_1 + p_2 + ... + p_n = 1\). Portanto, se \(I(A_i)\) representa uma medida da quantidade de informação associada à letra \(A_i\), a entropia H desse código é definida como uma média ponderada das medidas \(I(A_1),...,I(A_n)\), cujos pesos são as respectivas probabilidades \(p_i\).
Com base nas informações acima, julgue os itens seguintes, considerando o conjunto das possíveis representações binárias (sequências finitas de dígitos zeros e uns) inequívocas que podem ser associadas às letras deste código.
Considere que H seja a entropia de Shannon e que \(I(A_i) = -\log_2(p_i)\). Nessas condições, se a taxa de transmissão por um canal for de R bits por segundo, a taxa média de transmissão de letras do código não poderá ser superior a \(\frac{R}{H}\) letras por segundo.