Una mejora que podemos hacer es contemplar la posibilidad de que transcurrabastante tiempo hasta que un símbolo es utilizado por primera vez. Cuandoesto es así, el repartir inicialmente el espacio de probabilidades entre unospocos símbolos en lugar de todos los posibles puede ayudar a incrementar lasprobabilidades de los símbolos que realmente están ocurriendo y reducir asíla tasa de bits.
Para hacer esto se incorpora al modelo un símbolo especial llamado ESC(ape)que nunca va a ser generado por la fuente, sino por el codificador. Deesta forma, cuando el codificador encuentra un símbolo que nunca anteshabía aparecido, lo incorpora a su modelo y envía un símbolo ESC hasta eldescodificador para indicarle que va a recibir un símbolo nuevo.
Un ejemplo de un modelo probabilístico inicialmente vacío puede encontrarseen el Apéndice 39.41.