3710 ТЕОРИЯ ИНФОРМАЦИИ

Лабораторная работа № 1

Анализ статистических свойств и моделирование источников сообщений

 

Краткие теоретические сведения

 


Теория информации оперирует событиями окружающей человека действительности на таком уровне абстракции, на котором физическая сторона явлений становится несущественной. Все происходящее представляет интерес только в том смысле, в котором позволяет получить новые сведения об изучаемом предмете - информацию. Общность подобного рода может быть достигнута, если в основу описания наблюдаемых явлений положить понятие источника сообщений (ИС). Источник сообщений можно представить в виде некого устройства, которое устанавливает взаимосвязь между физической сущностью объекта наблюдения и его информационными характеристиками (рис. 1). На вход источника сообщений может поступать произвольная физическая величина W, характеризующая объект наблюдения, а на его выходе формируется последовательность состояний принадлежащих некоторому множеству X. Параметры носителя, изменяемые во времени в соответствии с передаваемым сообщением, называют информативными. В зависимости от структуры множества выходных состояний источника сообщений различают непрерывные и дискретные ИС. Источник сообщений считают дискретным по данному параметру, если число значений, которое может принимать этот параметр, конечно. Если множество возможных значений параметра образует континиум, то ИС считают непрерывным по данному параметру. Источник сообщений, дискретный по одному параметру и непрерывный по другому, называют дискретно-непрерывным. Для дискретных источников алфавит задается в виде дискретного множества

, причем ,

где xi – состояния ИС, p(xi) – вероятности соответствующих состояний, n – число состояний. Для непрерывных источников подобное представление невозможно, так как множество их состояний бесконечно. Это приводит к тому, что вероятность каждого состояния в отдельности стремится к нулю. Непрерывное множество состояний принято характеризовать функцией плотности распределения вероятностей (ФПВ). При этом алфавит непрерывного источника может быть представлен в следующем виде

,


где x – случайная величина, характеризующая поведение источника, f(x) – ФПВ случайной величины x.

Примером дискретного источника сообщений может служить игральная кость. Шесть пронумерованных граней кости образуют ансамбль из шести состояний: x1, …, x6. Вероятности появления данных состояний равны: p(x1) = p(x2) = … = p(x6) = 1/6 (рис. 2,а). Другой пример дискретного источника с равновероятными состояниями – монета. В этом случае число состояний n равно 2, а вероятности равны 1/2. Пример объекта наблюдения, для которого источник сообщений имеет состояния с различными вероятностями – бутерброд, число состояний которого также равно двум, а вероятности данных состояний различны (вероятность падения бутерброда маслом вниз выше, рис. 2,б). Примером непрерывного источника сообщений может служить термометр для измерения температуры человека. Источник сообщений, построенный на основе подобного объекта наблюдения, будет иметь непрерывное множество значений, поскольку температура тела может принимать любое значение, хотя и на ограниченном интервале. Причем очевидно, что плотность вероятности появления значений вблизи нормальной температуры выше, чем повышенных или пониженных значений (рис. 2,в).


Изменение состояния объекта наблюдения во времени принято связывать с реализацией источником сообщения того или иного символа алфавита - xi для дискретных источников или значения случайной величины x для непрерывных. Следует отметить, что как для дискретных источников сообщений, так и для непрерывных, изменение состояния может происходить как в определенные моменты времени, так и в произвольные. В соответствии с этим существуют следующие разновидности математических представлений (моделей) сигнала:

q    дискретная функция дискретного аргумента, например функция, принимающая одно из конечного множества возможных значений (уровней) в определенные моменты времени (рис. 3,а);

q    дискретная функция непрерывного аргумента, например функция времени, квантованная по уровню (рис. 3,б);

q    непрерывная функция дискретного аргумента, например функция, значения которой отсчитывают только в определенные моменты времени (рис. 3,в);

q    непрерывная функция непрерывного аргумента, например непрерывная функция времени (рис. 3,г).

В силу цифровой природы современных средств вычислительной техники наибольший интерес представляет случай, представленный на рис. 3,а (дискретный источник с дискретным временем). Остальные варианты ИС могут быть сведены к данному путем использования операций дискретизации и квантования, которые подразумевают получение оценок случайной величины x через достаточно малые промежутки времени и сопоставление данных оценок ближайших значений состояния источника xi. Например, объект наблюдения непрерывной природы можно представить в виде дискретного источника сообщений следующим образом. Зададимся верхней и нижней границами возможных значений температуры: Tверх = 40oC, Tниж = 35oС, а также достаточной погрешностью ее измерения DT = 0.1oC. Тогда число состояний соответствующего ИС: n = (Tверх - Tниж)/ DT = (40 – 35)/0.1 = 50. Для реальных объектов наблюдения представление в виде дискретного ИС с достаточной точностью может потребовать десятков и даже сотен тысяч состояний. Характеризовать подобные источники, непосредственно указывая вероятности каждого состояния, весьма неудобно. Кроме того, значения данных вероятностей получаются очень малыми, что затрудняет наглядность оценки статистических свойств источника. Избежать недостатков непосредственного подхода позволяет переход к характеристике источника в виде усредненных статистических характеристик. К числу наиболее распространенных из них можно отнести:

q     максимальное и минимальное значения: xmax, xmin;

q     функцию плотности распределения вероятностей f(x);

q     математическое ожидание M(X) и дисперсию D(X), которые для дискретных источников вычисляются соответственно по формулам