Биннинг как метод повышения чувствительности видеокамер

Аппаратный биннинг или бинаризация – это объединение зарядов соседних ячеек фотоприёмной матрицы в суперпиксель, что, прежде всего, приводит к улучшению соотношения сигнал-шум. Суперпиксельный режим сегодня доступен во многих современных видеокамерах, что позволяет увеличить контрастность изображения в условиях низкой освещённости.

Иллюстрация биннинга (Дрынкин В.Н., Царева Т.И., Павлов Ю.В., Мысин Д.В. Метод повышения чувствительности видеокамер на основе биннинга с восстановлением пространственного разрешения. // Цифровая Обработка Сигналов. 2020. №4. С. 58-63)

Сокращение количества эффективных пикселей в процессе бинаризации также способствует увеличению частоты кадров, т.е. помимо улучшения контраста с помощью биннинга можно добиться и увеличения скорости съёмки без уменьшения общего формата матрицы и перехода в режим окна. Однако, при использовании алгоритмов бинаризации происходит кратное снижение разрешения получаемого изображения, что является неприемлемым для ряда применений, например, когда речь идёт о тепловизионной камере с детекцией объектов на дальних дистанциях. По этой причине суперпиксельный режим съёмки до сих пор имеет ограниченные возможности. Но не так давно группой специалистов из ФГУП «ГосНИИАС» был предложен метод биннинга с восстановлением пространственного разрешения. Данный метод заключается в том, что процесс биннирования видеокадров происходит с их сдвигом по диагонали на один пиксель с дальнейшим увеличением до исходного размера за счет дополнения их матричной структуры нулевыми столбцами и строками.

Результат восстановления пространственного разрешения при биннинге (Дрынкин В.Н., Царева Т.И., Павлов Ю.В., Мысин Д.В. Метод повышения чувствительности видеокамер на основе биннинга с восстановлением пространственного разрешения. // Цифровая Обработка Сигналов. 2020. №4. С. 58-63)

Этот подход позволяет восстановить пространственное разрешение до определённого предела с помощью трёхмерного интерполяционного пространственно-временного фильтра нижних частот (ФНЧ) с областью пропускания в виде октаэдра. Таким образом при биннинге 2х2 пространственное разрешение может быть восстановлено на 80%, а при биннинге 4х4 – на 40%. Реализующее метод устройство может быть интегрировано в видеокамеру, что позволит обрабатывать видеокадры в режиме реального времени.

Ранее пример работы биннинга нами уже был проиллюстрирован в статье Видеокамеры различного спектрального диапазона.