DSP Course

Интегральные преобразования в обработке изображений,
введение в цифровую обработку мультимедийной информации

Математический спецкурс для студентов 2 и 3 курсов, а также магистров и студентов ВВО.
Лекторы: А. С. Крылов, А. С. Лукин.
Осенний семестр 2011. Лекции проходят по пятницам в 16:20, ауд. 614. Первая лекция — 7 октября.
Формат курса: лекции + практическое задание + экзамен.

Экзамен состоится 22 декабря в 16:20 в ауд. 759.
Дополнительная консультация состоится непосредственно перед экзаменом, 22 декабря в 16:00 в ауд. 759.
Пересдача состоится 27 декабря в 14:30 в ауд. 759.

Баллы за практическое задание

Фамилия	Билат.	NLM	DWT	DFT	Авт.	UI	PSNR	Штраф	Sum	Комментарий
Косырев	0	0	-	-	-	-	-	-	0	двоение, общее размытие
Насыров	3	5	-	-	-	0	-	-	8	debug-сборка, масштабирование
Печенко	2	0	-	-	-	0	-	-	2	цветовое размытие, нет сохранения, NLM искажает
Скороход	-	1	-	-	-	1	1	-3	0	NLM заимствован, входные данные для PSNR
Сунгатуллина	3	-	0	-	-	2	-	-1	4	DWT искажает
Хомяков	3	4	-	-	-	2	-	-	9	NLM не совсем похож

Если вы присылали работу, а её нет в списке — срочно отошлите её ещё раз на и укажите в письме дату первоначальной отправки. Также приносите работу на экзамен.

Лекции

Дата	Тема	Загрузить
7 окт.	Обзор содержания курса. Дискретизация. Свёртка. ДПФ. Звуковые сигналы и их восприятие. Цифровые и аналоговые сигналы. Дискретизация. Теорема Котельникова. Наложение спектров (алиасинг). Фильтрация. Линейные системы. Свёртка. Простейшие двумерные фильтры для изображений. Дискретное преобразование Фурье. Понятие о спектральном анализе.	Слайды Аудиозапись
14 окт.	Спектральный анализ. Быстрая свёртка. Фильтрация. Мощность сигнала, теорема Парсеваля. Размытие спектра, весовые окна. Оконное преобразование Фурье (STFT). Спектрограммы, усреднение спектра по времени. Частотно-временное разрешение. Быстрая свёртка в частотной области. Секционная свёртка. Свойства фильтров. Проектирование фильтров. Частотные характеристики простых двумерных фильтров. Применения свёртки: звуковой эквалайзер, моделирование реверберации.	Слайды Аудиозапись
21 окт.	Вейвлеты и банки фильтров. Непрерывное вейвлет-преобразование. Дискретное вейвлет-преобразование. Квадратурные зеркальные фильтры. Пирамидальное представление данных. Банки фильтров, основанные на ДПФ: STFT, MDCT.	Слайды Аудиозапись
28 окт.	Применения вейвлетов и банков фильтров. Психоакустическая компрессия звука. Слуховая маскировка. Устройство алгоритма mp3. Подавление стационарных шумов. Метод спектрального вычитания. STFT как банк фильтров, полосовые гейты. Проблема "музыкального шума" и методы борьбы с ним. Расширение полосы частот в аудиосигнале.	Слайды Аудиозапись
11 ноя.	Основы визуального восприятия. Спектр света и его восприятие. Аддитивные и субтрактивные цветовые системы. Цветовые системы, равномерные к восприятию. Метрики близости изображений: PSNR, MSE. Функция чувствительности к контрасту. Понятие о визуальной маскировке. Кортекс-преобразование и его использование в метриках близости изображений. Шумоподавление для изображений. Виды шумов и терминология. Подавление импульсных шумов. Медианная фильтрация. Подавление стационарных шумов. Билатеральный фильтр. Алгоритм нелокального усреднения (non-local means) и его оптимизация. Подавление вейвлет-коэффициентов. Метод главных компонент (PCA) и шумоподавление на его основе.	Слайды Аудиозапись Слайды Аудиозапись
18 ноя.	Объяснение практического задания. Линейное предсказание. Интерполяция аудиосигнала. Корреляция и автокорреляция. Авторегрессионная модель сигнала. Нахождение оптимальных коэффициентов регрессии. Применения LPC в сжатии и интерполяции аудио. Метод интерполяции LSAR. Подавление искажений клиппирования и щелчков в аудиосигнале.	Аудиозапись Слайды Аудиозапись
25 ноя.	Теорема о преобразовании Фурье свертки. Доказательство. Иллюстрация применения. Восстановление размытых изображений. Модель размытия изображений. Применение теоремы о свертке для восстановления размытых изображений. Неустойчивость этой операции. Регуляризирующий алгоритм восстановления размытых изображений. Фурье-дескрипторы в задаче оценки качества изображений глаз.	Слайды Слайды Слайды
2 дек.	Линейные и нелинейные методы увеличения изображений. Ядра свёртки при линейном увеличении. Артефакты увеличения. Нелинейные методы: интерполяция вдоль границ, метод NEDI, метод регуляризации обратной задачи.	Слайды
9 дек.	Основы психоакустики. Основной тон гармонических звуков. Музыкальный звукоряд. Разрешающая способность слуха по частоте. Маскировка. Речеобразование, форманты. Квантование, дитеринг. Шум квантования. Дитеринг. Формирование спектра шума квантования (noise shaping). Восприятие шумов квантования. Консультация перед экзаменом.	Аудиозапись Слайды Аудиозапись Слайды

Практическое задание

В качестве практического задания предлагается реализовать программу для подавления шума на изображениях с использованием одного или нескольких из предложенных методов:

Билатеральный фильтр
Нелокальное усреднение
Подавление вейвлет-коэффициентов
Подавление DCT/DFT-коэффициентов

Срок сдачи задания — 16 декабря. Задание (исходные коды и exe) нужно отправить архивом на адрес с темой письма "Задание по спецкурсу". Не забудьте вложить в архив readme-файл с указанием вашей фамилии и списка выполненных пунктов. Если письмо не отправляется из-за наличия exe в архиве, сделайте архив с паролем либо воспользуйтесь файлообменным сервисом.

На вход программе подаётся bmp-файл с зашумлённым цветным изображением. Тип шума — аддитивный белый. Программа должна уметь отображать исходное изображение (достаточно поддержки 24-битных bmp-файлов), диалог с настройками алгоритма и результирующее изображение, а также сохранять результат в bmp-файл. К минимальным настройкам алгоритма относится сила подавления шума. Она должна приблизительно соответствовать СКО подавляемого шума.

Примеры изображений и подавления шума

Материалы: пример чтения-записи bmp-файла, код одномерных и двумерных FFT.

Пример использования функций FFT:

#include "FftWrapper.h"

const uint fftSize= 2048;

...

Fft fft;

fft.SetMode( FFT_REAL, fftSize );

...

audio_real *pSignal;

Cmplx *pSpec= new Cmplx[fftSize];

...

fft.FftReal( pSignal, pSpec );

for( uint i=0; i<=fftSize>>1; ++i )

  pMags[i]= sqrtf( pSpec[i].re * pSpec[i].re

                 + pSpec[i].im * pSpec[i].im );

...

fft.InvFftReal( pSpec, pSignal );



// FFT size
// We will compute FFT for real-valued signals
// Pointer to the time-domain signal

// Storage for a complex spectrum
// Compute FFT
// Compute magnitudes for every bin
// Compute inverse FFT

Оценка задания:

Билатеральная фильтрация	3 балла
Нелокальное усреднение	5 баллов
Подавление вейвлет-коэффициентов	5 баллов
Подавление DCT либо DFT-коэффициентов	5 баллов
Автоматическое определение уровня шума	+2 балла*
Удобный интерфейс, широкие настройки, высокая скорость работы	до +2 баллов*
Измерение и оптимизация PSNR	до +2 баллов*
Опоздание со сдачей задания	-1 балл/день

* Баллы за дополнительные задания начисляются при условии правильной реализации хотя бы одного из основных методов.

Для "хорошего" результата нужно набрать 8 баллов.

Билеты экзамена

1	Звуковые сигналы и их восприятие. Цифровые и аналоговые сигналы. Дискретизация. Теорема Котельникова. Наложение спектров (алиасинг). Фильтрация. Линейные системы. Свертка. Простейшие двумерные фильтры для изображений.
2	Дискретное преобразование Фурье. Его базисные функции. Размытие спектра, весовые окна. Быстрое преобразование Фурье. Быстрая свертка в частотной области. Секционная свертка.
3	Фильтрация. Быстрая свертка в частотной области. Секционная свертка. Свойства фильтров: АЧХ, ФЧХ, конечность импульсного отклика. Проектирование фильтров. Частотные характеристики простых двумерных фильтров.
4	Спектральный анализ. Мощность сигнала, теорема Парсеваля. Спектрограммы, усреднение во времени. Кратковременное преобразование Фурье (STFT). Размытие спектра, весовые окна. Частотно-временное разрешение.
5	Непрерывное вейвлет-преобразование. Дискретное вейвлет-преобразование. Пирамидальное представление изображений. Банки фильтров: понятие и примеры. Свойства STFT и MDCT. Применение банков фильтров в алгоритме спектрального вычитания.
6	Применения вейвлетов и банков фильтров. Психоакустическая компрессия звука. Звуковые сигналы и их восприятие. Слуховая маскировка. Устройство алгоритма mp3. Эффект пред-эха.
7	Применения вейвлетов и банков фильтров. Подавление стационарных шумов. STFT как банк фильтров. Частотно-временное разрешение. Метод спектрального вычитания. Проблема "музыкального шума".
8	Виды шумов в изображениях. Медианная фильтрация. Билатеральный фильтр. Алгоритм нелокального усреднения. Подавление вейвлет-коэффициентов. Метод главных компонент и шумоподавление на его основе.
9	Корреляция и автокорреляция, их вычисление. Линейное предсказание сигнала и его применения. Нахождение оптимальных коэффициентов линейного предсказания. Метод интерполяции LSAR.
10	Психоакустика. Восприятие звука ухом. Слуховые пороги, область слышимости. Одновременная и временная маскировка. Спектр гармонических сигналов, форманты.
11	Квантование. Свойства шума квантования. Дитеринг. Формирование спектра шума квантования (noise shaping). Слышимость шума квантования. Диффузия ошибки при квантовании изображений.
12	Теорема о преобразовании Фурье свертки. Доказательство. Иллюстрация применения.
13	Модель размытия изображений. Применение теоремы о свертке для восстановления размытых изображений. Фурье-дескрипторы в задаче оценки качества изображений глаз.
14	Восстановление размытых изображений. Неустойчивость этой операции. Регуляризирующий алгоритм восстановления размытых изображений.
15	Линейные методы увеличения изображений. Ядра свертки при увеличении. Артефакты увеличения. Спектр света и его восприятие. Аддитивные и субтрактивные цветовые системы. Цветовые системы, равномерные к восприятию.
16	Нелинейные методы увеличения изображений: интерполяция вдоль границ, NEDI. Метрики близости изображений: PSNR, MSE. Функция чувствительности к контрасту. Понятие о визуальной маскировке.

Материалы

Описание	Загрузка	Рекоменд.
Методичка по DSP Пособие для студентов.	PDF	*****
The Scientist and Engineer's Guide to Digital Signal Processing Книжка по DSP на английском, очень понятное изложение.	Сайт с PDF	*****
Основы психоакустики Цикл статей И. Алдошиной в журнале "Звукорежиссер". Искать в архиве, начиная с номера 6 за 1999 год.	Архив за 1999 год	****
A Review of Algorithms for Perceptual Coding of Digital Audio Signals Статья о психоакустической компрессии звука.	PDF	***
Коллекция книг по DSP Многие книги - в отсканированном виде.	Сайт	***

Laboratory