Глава 2 · Часть II. Физический уровень

Случайные сигналы
и модели каналов

Шум, треск эфира и замирания формулой не описать — дважды одна осциллограмма не повторится. Эта глава даёт язык, на котором случайное описывают строго.

я, когда понял случайный процесс

В итоге вы будете уметь

Что даёт эта глава

Отличать реализацию от ансамбля; что такое случайный процесс.
Проверять стационарность и эргодичность — почему хватает одной записи.
Распознавать три модели случайного: Гаусс, Пуассон, Марков.

Переходить от корреляции к спектру (Винер–Хинчин), белый и окрашенный шум.
Различать аддитивный и мультипликативный каналы; замирания Рэлея/Райса.
Считать энтропию и ёмкость канала — предел Шеннона.

1.1 · Одна осциллограмма против ансамбля

Каждый раз новая кривая — а свойства те же

Покрутите настройку приёмника между станциями — шипение. Запишите дважды: кривые разные, а на слух одинаковые. Форма случайна, свойства устойчивы.

Одну записанную кривую зовут реализацией, всё мыслимое семейство — ансамблем. Шум описывают не одной кривой, а всем семейством с вероятностями.

m_x(t) = E[X(t)] — среднее

R_x(τ) = E[X(t)·X(t+τ)] — корреляционная функция

5 реализаций ансамбля. Пунктир — срез t₁ (статистика «по вертикали»). Ось t — время, x(t) — значение.

1.1 · Почему хватает одной записи

По времени = по ансамблю

Эргодичность: усреднение одной реализации по времени сходится к среднему по ансамблю. Не нужна тысяча приёмников — хватает одной, но длинной записи.

Где встречаетсяАнализатор спектра делает «горизонтальное» усреднение за вас; астрофото складывает кадры — «вертикальное» по ансамблю.

⟨x⟩ = (1/T)·∫₀^T x(t)dt → E[X]

Шумная реализация и её бегущее среднее, сходящееся к 0. Ось t — время, x(t) — значение.

1.1 · Независимость статистики от момента

Прогрев приёмника — не стационарен

Стационарность — статистика (среднее, разброс, «цвет») не зависит от момента наблюдения. Пока электроника греется, среднее и разброс плывут — одним числом такой участок не описать.

На практике почти всё считают стационарным на интервале наблюдения, лишь бы не менялись температура, усиление и обстановка в канале.

Слева «прогрев»: среднее плывёт (нестационарно). Справа — режим. Ось t — время, x(t) — значение.

1.1 · Три механизма — три модели

Откуда берётся случайное

01

Гаусс

Тепловое движение носителей: сумма миллионов вкладов → нормальный закон (ЦПТ).

Зачем: на нём стоит АБГШ — модель, в которой считают вероятность ошибки приёмника.

02

Пуассон

Дискретность зарядов и фотонов: дробовой шум, среднее = дисперсия = λt.

Зачем: задаёт шумовой порог в фотоприёмнике и при очень слабом сигнале.

03

Марков

Инерция канала: память, ошибки идут пачками (модель Гилберта G/B).

Зачем: кодирование считают с учётом пачек — иначе ошибётесь с глубиной перемежения.

1.1 · Тепловой шум

Сумма многих вкладов → колокол

Когда складывается множество независимых малых вкладов, сумма стремится к нормальному закону — это центральная предельная теорема.

Поэтому тепловой шум — гауссовский; на нём стоит модель АБГШ (аддитивный белый гауссовский шум), задаётся двумя моментами: среднее и дисперсия.

f(x) = 1/(σ√2π)·e^{−(x−m)²/2σ²}

Гистограмма суммы независимых слагаемых сходится к колоколу. Ось — значение, частота.

1.1 · Дробовой шум

Считаем редкие события

Ток — поток зарядов, свет — поток фотонов. Когда событий немного, их дискретность видна как дробовой шум.

среднее = дисперсия = λt

В фотоприёмнике порог задаёт не тепловой, а дробовой шум — простым усреднением его не убрать.

P(k) = (λt)^k·e^−λt / k!

f(τ) = λ·e^−λτ — интервалы между событиями

События приходят случайно во времени; число за интервал — пуассоновское. Ось t — время.

1.1 · Память канала

Ошибки идут пачками

Марковское свойство: будущее зависит от прошлого только через текущее состояние. Канал описывают двумя состояниями — «хорошее» G и «плохое» B (модель Гилберта).

Модель независимых ошибок недооценивает их кучность — помехоустойчивое кодирование считают с учётом пачек.

P(X_n+1 | X_n,…) = P(X_n+1 | X_n)

π·P = π — стационарное распределение

Полоса состояний G/B; в состоянии B — пачка ошибок (красные засечки). Ось t — время.

Таблица 1.1 · памятка

Три модели случайного

Признак	Гаусс	Пуассон	Марков
Источник	тепловое движение	дискретность зарядов/фотонов	инерция канала
Описывает	сечение процесса	число событий	переходы состояний
Параметр	m и σ²	интенсивность λ	матрица переходов P
Среднее/диспер.	задаются отдельно	равны (λt)	через π
Память	малая	нет	на одно состояние
Где	тепловой шум, АБГШ	дробовой шум	замирания, пачки

1.2 · Переход

От корреляции — к спектру и каналам

Шум бывает разным «на слух»: ровное шипение и низкий гул отличаются тем, какие частоты в них преобладают. А сигнал в здании то усиливается, то проваливается.

Первое заставляет перейти от корреляции к спектру; второе — от модели «канал добавляет шум» к модели «канал ещё и умножает».

1.2 · Корреляция ↔ спектр

Теорема Винера–Хинчина

Корреляционная функция R(τ) и спектральная плотность мощности S(f) — пара преобразований Фурье. Один объект с двух сторон.

S_x(f) = ∫ R_x(τ)·e^−j2πfτ dτ

R_x(0) = ∫ S_x(f) df = мощность

Узкая R (быстрый шум) ⇒ широкий спектр; растянутая R ⇒ узкий спектр.

время корр. 0.35

Слева R(τ), справа S(f) — две стороны одного. Уже R → шире S.

1.2 · Цвет шума

Белый и окрашенный шум

Белый шум: значения в разные моменты некоррелированы, спектр равномерен — все частоты поровну. Идеализация; задаётся одним числом N₀.

S(f) = N₀/2, R(τ) = N₀/2·δ(τ)

Любой фильтр окрашивает белый шум, придавая спектру форму своей АЧХ:

S_вых(f) = |H(f)|²·S_вх(f)

срез |H| 0.40

Пунктир — белый (плоский), сплошная — окрашенный |H|²·S. Ось f, S(f).

1.2 · Два механизма канала

Канал складывает и умножает

аддитивная: y = x + n

мультипликативная: y = h·x + n

Шум опасен при слабом сигнале — лечится мощностью и кодированием. Замирание (случайный коэффициент h) мощностью не лечится: в провале сигнал падает во столько же раз.

Вверху y=x+n (шум поверх), внизу y=h·x (огибающая «дышит»). Ось t, y(t).

1.2 · Рэлей и Райс

Прямой луч меняет всё

Без прямого луча сумма многих отражений даёт огибающую по Рэлею — глубокие провалы рвут связь.

p(r) = (r/σ²)·e^−r²/2σ² (Рэлей)

Доминирующий прямой луч → распределение Райса. Им управляет K-фактор:

K = A²/2σ² (K=0 → Рэлей)

K-фактор 0.0

Огибающая в дБ; ниже −10 дБ — глубокий провал. Растёт K → провалов меньше. Ось t.

Таблица 1.2 · памятка

Аддитивная и мультипликативная

Признак	Аддитивная (шум)	Мультипликативная (замирание)
Модель	y = x + n	y = h·x + n
Источник	тепловой шум, помехи	многолучёвка, движение
Когда опасна	при слабом сигнале (низкий ОСШ)	при глубоких провалах h
Зависит от сигнала	нет	масштабирует сам сигнал
Как борются	мощность, кодирование, накопление	разнесение, перемежение, адаптация

1.3 · Информация = снятая неопределённость

Сколько информации в сообщении

Информацию несёт не сам символ, а то, насколько он был непредсказуем. Двуглавая монета не сообщает ничего — исход известен заранее.

Чем реже событие, тем больше информации в сообщении о нём:

I(x) = −log₂ p(x) [бит]

Бит — выбор из двух равновероятных вариантов. У достоверного события (p=1) информация нулевая; у редкого (малое p) — большая.

1.3 · Энтропия

Сколько бит на символ по-настоящему

H(X) = −Σ p(x)·log₂ p(x) [бит/символ]

Если один символ почти всегда один — энтропия близка к нулю (сжимается почти до ничего). Если все равновероятны — максимум log₂M, сжимать нечего.

H(p) = −p·log₂p − (1−p)·log₂(1−p)

p 0.50

Двоичная энтропия: максимум 1 бит при p=0,5; на краях 0. Ось p, H(p).

1.3 · Энтропия как предел сжатия

Код Хаффмана подходит к пределу

L ≥ H — средняя длина не меньше энтропии

Частым символам — короткие коды, редким — длинные. Для вероятностей, кратных степеням двойки, Хаффман достигает предела точно.

Пример

Символ	p	Код
A	0,5	0
B	0,25	10
C	0,125	110
D	0,125	111

L = 1,75 бит = H

1.3 · Пропускная способность

Формула Шеннона–Хартли

C = B·log₂(1 + S/N) [бит/с]

Сколько информации переживает канал. Полоса B входит линейно, а отношение сигнал/шум — под логарифмом.

Пример: B=20 МГц, ОСШ=30 дБ (S/N=1000) → C ≈ 199 Мбит/с. Это потолок.

Спектральная эффективность C/B растёт как логарифм ОСШ — отдача убывает. Ось — ОСШ (раз), C/B.

1.3 · Непреодолимая граница

Предел −1,59 дБ

η = C/B, E_b/N₀ = (2^η−1)/η

Для каждой спектральной эффективности есть минимальное E_b/N₀, ниже которого надёжная связь невозможна ни при каком коде.

При η→0 граница стремится к ln2 ≈ −1,59 дБ — абсолютный предел: меньшей энергии на бит не хватит никогда.

Слева кривой — запретная область. Ось — η (бит/с/Гц), E_b/N₀ (дБ).

1.3 · Итог

Энтропия и ёмкость — две половины

Первая измеряет, сколько бит несёт источник; вторая — сколько бит пропустит канал. Связывает их общая единица — бит.

Предел Шеннона информационен, а не технологичен: его не обойти выбором модуляции. Эти децибелы возвращает только помехоустойчивое кодирование — с него начнётся следующая глава.

Интерактив · нажми на клетку

Своя игра

Выбирай категорию и цену вопроса · открой ответ, когда подумаешь.

§1.1 пройден

Спасибо за внимание

Ананко Софья Михайловна · Качур Анна Юрьевна