Техническое зрение роботов

области Ri и Ri различаются по предикату Р.

2.3.2.Расширение области за счет объединения пикселов.

Расширение области сводится к процедуре группирования пикселов или

подобластей в большие объединения. Простейшей из них является агрегирование

пикселов. Процесс начинается с выбора множества узловых точек, с которых

происходит расширение области в результате присоединения к узловым точкам

соседних пикселов с похожими характеристиками (интенсивность, текстура или

цвет). Пусть цифры внутри ячеек указывают интенсивность. Пусть точки с

координатами (3, 2) и (3, 4) используются как узловые. Выбор двух начальных

точек приведет к сегментации образа на две области: области R1, связанной с

узлом (3, 2), и области R2, связанной с узлом (3, 4). Свойство Р, которое

мы будем использовать для того, чтобы отнести пиксел к той или иной

области, состоит в том, что модуль разности между интенсивностями пиксела и

узловой точки не превышает пороговый уровень Т. Любой пиксел,

удовлетворяющий этому свойству одновременно для обоих узлов, произвольно

попадает в область Ri. В этом случае сегментация проводится для двух

областей, причем точки в R1 обозначаются буквой а, точки в R2 буквой b.

Необходимо отметить, что независимо от того, в какой из этих двух областей

будет взята начальная точка, окончательный результат будет один и тот же.

Если, с другой стороны выбрать Т = 8, была бы получена единственная область

Предыдущий пример, несмотря на его простоту, иллюстрирует некоторые

важные проблемы расширения области. Двумя очевидными проблемами являются:

выбор начальных узлов для правильного представления областей,

представляющих интерес, и определение подходящих свойств для включения

точек в различные области в процессе расширения. Выбор множества,

состоящего из одной или нескольких начальных точек, следует из постановки

задачи. Например, в военных приложениях объекты, представляющие интерес,

имеют более высокую температуру, чем фон, и поэтому проявляются более ярко.

Выбор наиболее ярких пикселов является естественным начальным шагом в

алгоритме процесса расширения области. При отсутствии априорной информации

можно начать с вычисления для каждого пиксела набора свойств, который

наверняка будет использован при установлении соответствия пиксела той или

иной области в процессе расширения. Если результатом вычислений являются

группы точек (кластеры), тогда в качестве узловых берутся те пикселы,

свойства которых близки к свойствам центроидов этих групп. Так, в примере,

приведенном выше, гистограмма интенсивностей показала бы, что точки с

интенсивностью от одного до семи являются доминирующими. Выбор критерия

подобия зависит не только от задачи, но также от вида имеющихся данных об

образе. Например, анализ информации, полученной со спутников, существенно

зависит от использования цвета. Задача анализа значительно усложнится при

использовании только монохроматических образов. К сожалению, в промышленном

техническом зрении возможность получения мультиспектральных и других

дополнительных данных об образе является скорее исключением, чем правилом.

Обычно анализ области должен осуществляться с помощью набора дескрипторов,

включающих интенсивность и пространственные характеристики (моменты,

текстуру) одного источника изображения. Отметим, что применение только

одних дескрипторов может приводить к неправильным результатам, если не

используется информация об условиях связи в процессе расширения области.

Это легко продемонстрировать при рассмотрении случайного расположения

пикселов с тремя различными значениями интенсивности. Объединение пикселов

в «область» на основе признака одинаковой интенсивности без учета условий

связи приведет к бессмысленному результату при сегментаци.

Другой важной проблемой при расширении области является формулировка

условия окончания процесса. Обычно процесс расширения области

заканчивается, если больше не существует пикселов, удовлетворяющих критерию

принадлежности к той или иной области. Выше упоминались такие критерии, как

интенсивность, текстура и цвет, которые являются локальными по своей

природе и не учитывают «историю» процесса расширения области.

Дополнительный критерий, повышающий мощность алгоритма расширения области,

включает понятие размера, схожести между пикселом-кандидатом и только что

созданными пикселами (сравнение интенсивности кандидата и средней

интенсивности области), а также формы области, подлежащей расширению.

Использование этих типов дескрипторов основано на предположении, что

имеется неполная информация об ожидаемых результатах.

2.3.2.Разбиение и объединение области.

Изложенная выше процедура расширения области начинает работу с

заданного множества узловых точек. Однако можно сначала разбить образ на

ряд произвольных непересекающихся областей и затем объединять и/или

разбивать эти области с целью удовлетворения условий. Итеративные алгоритмы

разбиения и объединения, работа которых направлена на выполнение этих

ограничений, могут быть изложены следующим образом.

Пусть R является полной областью образа, на которой определен предикат

Р. Один из способов сегментации R состоит в успешном разбиении площади

образа на все меньшие квадратные области, так что для каждой области Ri,

P(Ri) = ИСТИНА. Процедура начинает работу с рассмотрения всей области R.

Если Р(R)= ЛОЖЬ, область разбивается на квадранты. Если для какого-либо

квадранта Р принимает значение ЛОЖЬ, этот квадрант разбивается на

подквадранты и т. д. Этот метод разбиения обычно представляется в виде так

называемого квадродерева (дерева, у которого каждая вершина имеет только

четыре потомка). Отметим, что корень дерева соответствует всему образу,а

каждая вершина - разбиению. В данном случае только R4 подлежит дальнейшему

разбиению. Если применять только операцию разбиения, можно ожидать, что в

результате окончательного разбиения всей площади образа на подобласти

последние будут иметь одинаковые свойства. Это можно устранить допустимым

объединением так же, как и разбиением. Для того чтобы удовлетворить

условиям сегментации, введенным выше, необходимо объединять только те

соседние области, пикселы которых удовлетворяют предикату Р, таким образом,

две соседние области Ri и Rk объединяются только в том случае, если P(Ri U

Rk) = ИСТИНА.

Изложенное выше можно представить в виде процедуры, где на каждом шаге

выполняются следующие операции:

1. Разбиение области Ri, для которой Р {Ri) = ЛОЖЬ, на четыре

непересекающихся квадранта.

2. Объединение соседних областей Ri и Rk, для которых Р (Ri U Rk) =

ИСТИНА.

3. Выход на останов, когда дальнейшее объединение или разбиение

невозможно.

Возможны варианты этого алгоритма. Например, можно сначала разбить

образ на квадратные блоки. Дальнейшее разбиение выполняется по изложенному

выше способу, но вначале объединение ограничивается группами из четырех

блоков, являющихся в квадродереве потомками и удовлетворяющих предикату Р.

Когда дальнейшее объединение этого типа становится невозможным, процедура

завершается окончательным объединением областей согласно шагу 2. В этом

случае объединяемые области могут иметь различный размер. Основным

преимуществом этого подхода является использование одного квадродерева для

разбиения и объединения до шага, на котором происходит окончательное

объединение.

2.4. Применение движения

Движение представляет собой мощное средство, которое используется

человеком и животными для выделения интересующих их объектов из фона. В

системах технического зрения роботов движение используется при выполнении

различных операций на конвейере, при перемещении руки, оснащенной датчиком,

более редко при перемещении всей робототехнической системы.

2.4.1.Основной подход.

Один из наиболее простых подходов для определения изменений между

двумя кадрами изображения (образами) f(x, у, ti) и f(x, у, t,), взятыми

соответственно в моменты времени ti и tj, основывается на сравнении

соответствующих пикселов этих двух образов. Для этого применяется

процедура, заключающаяся в формировании так называемой разности образов.

Предположим, что мы имеем эталонный образ, имеющий только стационарные

компоненты. Если сравним этот образ с таким же образом, имеющим движущиеся

объекты, то разность двух образов получается в результате вычеркивания

стационарных компонент (т. е. оставляются только ненулевые записи, которые

соответствуют нестационарным компонентам изображения).

Разность между двумя кадрами изображения, взятыми в моменты времени ti

и tj, можно определить следующим образом:

dij(x,y) = [pic] (*)

где (—значение порогового уровня. Отметим, что dij(x, у) принимает

значение 1 для пространственных координат (х, у) только в том случае, если

два образа в точке с этими координатами существенно различаются по

интенсивности, что определяется значением порогового уровня (.

При анализе движущегося образа все пикселы изображений разности dij(x,

у), имеющие значение 1, рассматриваются как результат движения объекта.

Этот подход приметим только в том случае, если два образа зарегистрированы

и освещенность имеет относительно постоянную величину в пределах границ,

устанавливаемых пороговым уровнем (. На практике записи в dij(x, у),

имеющие значение 1, часто появляются в результате действия шума. Обычно на

разности двух кадров изображения такие значения выглядят как изолированные

точки. Для их устранения применяется простой подход, заключающийся в

формировании 4- или 8-связных областей из единиц в dij(x, у), и затем

пренебрегают любой областью с числом записей, меньшим заранее заданного.

При этом можно не распознать малые и/или медленно движущиеся объекты, но

это увеличивает вероятность того, что остающиеся записи в разности двух

кадров изображения действительно соответствуют движению.

2.4.2.Аккумулятивная разность.

Как говорилось выше, разность кадров благодаря шуму часто содержит

изолированные записи. Несмотря на то что число таких записей может быть

сокращено или полностью ликвидировано в результате анализа связности

пороговых уровней, этот процесс может также привести к потере изображений

малых или медленно движущихся объектов. Ниже излагается подход для решения

этой проблемы путем рассмотрения изменения в расположении пикселов на

нескольких кадрах, т. е. в процесс вводится «память». Основная идея

заключается в пренебрежении теми изменениями, которые возникают случайно в

последовательности кадров и, таким образом, могут быть отнесены к

случайному шуму.

Рассмотрим последовательность кадров изображения f(x,y,t1), f(x,

у, t2), ..., f(x, у, tn) и допустим, что f(x, у, t1) является эталонным

образом. Изображение аккумулятивной разности формируется в результате

сравнения эталонного образа с каждым образом в данной последовательности. В

процедуре построения изображения аккумулятивной разности имеется счетчик,

предназначенный для учета расположения пикселов. Его значение увеличивается

каждый раз, когда возникает различие в расположении соответствующих

пикселов эталонного образа и образа из рассматриваемой последовательности.

Таким образом, когда k-й кадр сравнивается с эталонным, запись в данном

пикселе аккумулятивней разности означает, во сколько раз интенсивность

пиксела k-го кадра отличается от интенсивности пиксела эталонного образа.

Различия устанавливаются, например, с помощью уравнения (*).

Приведенные выше рассуждения иллюстрируются рисунке. На рисунке а—д

приведены образы прямоугольного объекта (обозначенного нулями), движущегося

вправо с постоянной скоростью 1 пиксел/кадр. Эти образы приведены в моменты

времени, соответствующие одному перемещению пиксела. На рис. (а) изображен

кадр эталонного образа, на рис. (г) со 2-го по 4-й кадры

последовательности, а на рис. (д)— 11-й кадр. Рис. (е— и) соответствуют

изображениям аккумулятивной разности, которые можно объяснить следующим

образом. На рис. (е) левая колонка из 1 обусловлена различием между

объектом на рис. (а), и фоном на рис. (б). Правая колонка из 1 вызвана

различием между фоном эталонного образа и передним контуром движущегося

объекта. Ко времени появления 4-го кадра (рис. г), первый ненулевой столбец

изображения аккумулятивной разности указывает на три отсчета, что

соответствует трем основным различиям между этим столбцом в эталонном

образе и соответствующим столбцом в последующих кадрах. На рис. и показано

общее число из 10 (представленных «A» в шестнадцатеричной системе

счисления) изменений этого положения. Остальные записи на этом рисунке

объясняются аналогично.

Нередко полезно рассматривать три типа изображений аккумулятивной

разности: абсолютное, положительное и отрицательное. Последние два

получаются из уравнения (*), в котором нет модуля, а вместо f(x, у, ti)

подставляется значение эталонного кадра. Предполагая, что числовые значения

интенсивности объекта превышают значения фона в случае, когда разность

положительна, она сравнивается с положительным значением порогового уровня;

если отрицательна, сравнение выполняется с отрицательным значением

порогового уровня. Это определение заменяется на противоположное, если

интенсивность объекта меньше фона.

Рис. Кадр эталонного образа (а), б—д соответственно 2-, 3-, 4- и 11-й

кадры, е—и—изображения аккумулятивной разности для 2-, 3-, 4- и 11-го

кадров .

| |9 | | | | | |

| |10 |00000000 | | | | |

| |11 |00000000 | | | | |

| |12 |00000000 | | | | |

|a |13 |00000000 | | | | |

| |14 |00000000 | | | | |

| |15 |00000000 | | | | |

| |16 | | | | | |

| |9 | |9 | | | |

| |10 |00000000 |10 |1 |1 | |

| |11 |00000000 |11 |1 |1 | |

| |12 |00000000 |12 |1 |1 |е |

|б |13 |00000000 |13 |1 |1 | |

| |14 |00000000 |14 |1 |1 | |

| |15 |00000000 |15 |1 |1 | |

| |16 | |16 | | | |

| |9 | |9 | | | |

| |10 |00000000 |10 |21 |21 | |

| |11 |0000000C |11 |21 |21 | |

|в |12 |0000000C |12 |21 |21 |ж |

| | 13|0000000C |13 |21 |21 | |

| |14 |00000000 |14 |21 |21 | |

| |15 |00000000 |15 |21 |21 | |

| |16 | |16 | | | |

| |9 | |9 | | | |

| |10 |00000000 |10 |321 |321 | |

| |11 |00000000 |11 |321 |321 | |

|г |12 |00000000 |12 |321 |321 |з |

| |13 |00000000 |13 |321 |321 | |

| |14 |00000000 |14 |321 |321 | |

| |15 |00000000 |15 |321 |321 | |

| |16 | |16 | | | |

| |9 | |9 | | | |

| |10 |00000000 |10 |A9876 |5438887654321 | |

| |11 |00000000 |11 |A9876 |5438887654321 | |

| |12 |00000000 |12 |A9876 |5438887654321 | |

|д |13 |00000000 |13 |A9876 |5438887654321 |и |

| |14 |00000000 |14 |A9876 |5438887654321 | |

| |15 |00000000 |15 |A9876 |543888.7654321 | |

| |16 | |16 | | | |

2.4.3.Определение эталонного образа.

Успех применения методов зависит от эталонного образа, относительно

которого проводятся дальнейшие сравнения. Как уже говорилось выше, различие

между двумя образами в задаче распознавания движущихся объектов

определяется путем исключения стационарных компонент при сохранении

элементов, соответствующих шуму и движущимся объектам. Проблема выделения

образа из шума решается методом фильтрации или с помощью формирования

изображения аккумулятивной разности.

На практике не всегда можно получить эталонный образ, имеющий только

стационарные элементы, и это приводит к необходимости построения эталона из

набора образов, содержащих один или более движущихся объектов. Это особенно

характерно для ситуаций, описывающих сцены со многими быстроменяющимися

объектами или в случаях, когда возникают частые изменения сцен. Рассмотрим

следующую процедуру генерации эталонного образа. Предположим, что мы

Страницы: 1, 2, 3