Об'ємно - Просторова Модель. Просторові моделі місцевості Багатофакторні динамічні моделі

Існує клас задач, в яких особливу важливість набуває інформація ^ структурі та рух об'єктів складної сцени (відеоспостереження в закритих приміщеннях, в місцях великого скупчення людей, управління рухом робототехнічних комплексів, спостереження за рухом транспортних засобів і т.д.). Послідовності зображень є складним інформаційним ресурсом, структурованим в просторі і в часі і об'єднуючим вихідну інформацію у вигляді багатовимірних сигналів, форму її подання в комп'ютері і фізичні моделі динамічних об'єктів, явищ, процесів. Нові технічні можливості цифрової обробки зображень дозволяють частково враховувати таку специфіку зображень, використовуючи одночасно досягнення когнітивної теорії людського сприйняття зорових образів.

Аналіз просторово-часового обсягу даних дозволяє виявляти не тільки статичні, але й динамічні ознаки об'єктів спостереження. У цьому випадку завдання розпізнавання можна визначити як класифікацію сукупностей станів або як класифікацію траєкторій, рішення якої не може бути знайдено класичними методами розпізнавання, тому що тимчасові переходи ^ можуть породжувати, перетворення зображень, що не описуються відомими аналітичними залежностями; Також поряд із завданням розпізнавання динамічних об'єктів виникають завдання розпізнавання активних дій і подій, наприклад, для виявлення несанкціонованих дій в місцях скупчення людей або визначенні жанру сцени для індексації в мультимедійних базах даних. Якщо розглядати задачу розпізнавання об'єктів і подій за послідовностей зображень у вигляді єдиного процесу, то найбільш доцільним є ієрархічний підхід з елементами паралельної обробки на кожному рівні.

Удосконалення технічних засобів збору і поширення iнформацiї у вигляді статичних зображень (фотографій) і видеопоследовательностей вимагає подальшого розвитку методів і алгоритмів їх обробки, аналізу ситуацій і розпізнавання зображених об'єктів. Початкова теоретична постановка задачі розпізнавання зображень відноситься до 1960-1970 рр. і відображена в ряді робіт відомих авторів. Постановка завдання розпізнавання зображень може варіюватися від власне завдання розпізнавання об'єктів, завдань аналізу сцен до завдань розуміння зображень і проблем машинного зору. При цьому системи прийняття інтелектуальних рішень, засновані на методах розпізнавання образів і зображень, використовують вхідну інформацію комплексного типу. До неї відносяться як зображення, отримані в широкому хвильовому діапазоні електромагнітного спектра (ультрафіолетовому, видимому, інфрачервоному і ін.), Так і інформація у вигляді звукових образів і локаційних даних. Незважаючи на різну фізичну природу, таку інформацію можна представити у вигляді реальних зображень об'єктів і специфічних зображень. Радіометричні дані - це плоскі зображення сцени, представлені в перспективній або ортогональної проекції. Вони формуються шляхом вимірювання інтенсивності електромагнітних хвиль певного спектрального діапазону, відображених або випромінюваних об'єктами сцени. Зазвичай використовують фотометричні дані, виміряні у видимому спектральному діапазоні, - монохроматичні (яскравості) * або кольорові зображення: Локаційні дані - це просторові координати спостережуваних точок сцени. Якщо координати виміряні для всіх точок сцени, то такий масив локаційних даних можна назвати зображенням глибини сцени. Існують спрощені моделі зображень (наприклад, моделі аффинной проекції, представлені слабоперспектівнимі, пара-перспективними, ортогональними і паралельними проекціями), в яких глибина сцени вважається постійною величиною, і локаційне зображення сцени не несе корисної інформації. Звукова інформація носить в даному випадку допоміжний подієвий характер.

Найбільш оперативно вимірюються фотометричні дані. Локаційна інформація, як правило, обчислюється за даними, що отримуються від спеціальних пристроїв (наприклад, лазерного далекоміра, радіолокатора) або з використанням стереоскопічного методу аналізу яскравості зображень. Внаслідок труднощів оперативного отримання локаційних даних (особливо для сцен з швидко змінюється формою візуальних об'єктів) переважають завдання опису сцени по одному візуальному зображенню, тобто завдання монокулярного зорового сприйняття сцени. У загальному випадку повністю визначити геометрію сцени по одному зображенню неможливо. Тільки за певних обмеженнях для досить простих модельних сцен і наявності апріорних відомостей про просторове розташування об'єктів вдається побудувати повне тривимірне опис по одному зображенню. Одним із способів виходу з даної ситуації є обробка і аналіз видеопоследовательностей, отриманих від однієї або декількох відеокамер, встановлених нерухомо або рухаються в просторі.

Таким чином, зображення є основною формою подання інформації про реальний світ, і потрібно подальший розвиток методів перетворення і семантичного аналізу як окремих зображень, так і видеопоследовательностей. Одним з найважливіших напрямків розробки таких інтелектуальних систем є автоматизація вибору методів опису та перетворення зображень з урахуванням їх інформаційної природи і цілей розпізнавання вже на початкових етапах обробки зображень.

Перші роботи дослідників з США (Louisiana State University, Carnegie Mellon University, Pittsburgh), Швеції ( "Computational Vision and Active Perception Laboratory (CVAP), Department of Numerical Analysis and Computer Science), Франції (INRIA), Великобританії (University of Leeds) , ФРН (University of Karlsruhe), Австрії (University of Queensland), Японії, Китаю (School of Computer Science, Fudan University) по обробці послідовностей зображень і розпізнаванню динамічних об'єктів були опубліковані в кінці 1980-х рр. Пізніше аналогічні роботи стали з'являтися і в Росії: в Москві (МГУ, МАІ (ГТУ), МФТІ, ДержНДІ АС), С.-Петербурзі (СПбДУ, ГУАП, ФГУП ГОІ, ЛОМО), Рязані (РГРТУ), Самарі (СГАУ), Воронежі (ВДУ), Ярославлі ( ЯрГУ), Кірові (ВДУ), Таганрозі (ТТІ ПФУ), Новосибірську (НГУ), Томську (ТГПУ), Іркутську (іргу), Улан-Уде (ВСГТУ) і ін. містах. Слід зазначити особливий внесок таких видатних російських вчених, що займаються в даній області, як академік РАН, д.т.н. Ю. І. Журавльов, член-кореспондент РАН, д.т.н. В. А. Сойфер, д.т.н. Н. Г. Загоруйко, д.т.н. Л. М. Местецький, д.т.н. Б. А. Алпатов та ін. На сьогоднішній день досягнуто значних успіхів при побудові систем відеоспостереження, систем аутентифікації особистості по зображеннях і т.д. Однак існують невирішені проблеми при розпізнаванні динамічних образів через складність і різноманіття поведінки об'єктів реального світу. Таким чином, даний напрямок потребує вдосконалення моделей, методів і алгоритмів розпізнавання динамічних об'єктів і подій за послідовностей зображень в різних діапазонах електромагнітного випромінювання, що дозволить розробляти системи відеоіаблю-дення на якісно новому рівні.

Метою дисертаційної роботи є підвищення ефективності розпізнавання динамічних об'єктів, їх активних дій і подій в складних сценах за послідовностей зображень для систем зовнішнього та внутрішнього відеоспостереження.

Поставлена ​​мета визначила необхідність вирішення наступних завдань:

Провести аналіз методів оцінки руху і перебування ознак руху об'єктів по набору послідовних зображень, методів сегментації динамічних об'єктів і семантичного аналізу складних сцен, а також підходів до побудови систем розпізнавання і стеження за динамічними об'єктами різного цільового призначення.

Розробити моделі розпізнавання статичних і динамічних образів, грунтуючись на ієрархічній процедурі обробки часових рядів, зокрема, послідовностей зображень.

Розробити метод оцінки руху динамічних структур по просторово-часової інформації, отриманої в різних діапазонах електромагнітного випромінювання, що дозволяє вибирати методи сегментації в залежності від характеру руху і, тим самим, виконувати адаптивне розпізнавання динамічних образів.

Створити модель багаторівневого руху динамічних структур в складній сцені, що дозволяє на основі отриманих одометріческіх даних будувати траєкторії руху динамічних структур і висувати гіпотези про існування візуальних об'єктів на основі аналізу передісторії рухів.

Розробити комплексний алгоритм сегментації, що враховує сукупність виявлених ознак динамічних структур при довільних напрямках переміщень і перекриттів проекцій об'єктів, грунтуючись на моделі багаторівневого руху в складних сценах.

Розробити метод розпізнавання динамічних образів, представлених в термінах формальної граматики та відеограф сцени, на основі методу колективного прийняття рішень, а також методи розпізнавання активних дій і подій в складній сцені, що використовують графи активних дій і подій (розширюють видеограф складної сцени), і Байєсова мережу .

На основі розроблених методів і моделей спроектувати експериментальні системи різного призначення; призначені для обробки послідовностей зображень об'єктів, що характеризуються фіксованим і довільним набором 2 £> -проекції, і-розпізнавання динамічних образів в. складних сценах.

Методи, досліджень. При виконанні дисертаційної роботи використовувалися методи теорії розпізнавання образів, дескриптивної теорії розпізнавання зображень, теорії обробки сигналів, методи векторного аналізу і тензорного обчислення, а також теорія груп, теорія формальних граматик.

Наукова новизна дисертаційної роботи полягає в наступному:

1. Побудовано нову модель перетворення динамічних зображень, що відрізняється розширеними ієрархічними рівнями сегментації (по локальних і глобальних векторів руху) і розпізнавання (об'єктів і їх активних дій), що дозволяє знаходити цільові ознаки для статичних сцен з рухомими об'єктами та динамічних сцен на, основі поняття максимального динамічного інваріанта.

2. Розширено дескриптивна теорія розпізнавання зображень введенням чотирьох нових принципів: облік мети розпізнавання на початкових стадіях аналізу, розпізнавання поведінки динамічних об'єктів, оцінка передісторії, змінне кількість об'єктів спостереження, що дозволяє підвищити якість розпізнавання рухомих об'єктів за рахунок підвищення інформативності вихідних даних.

3. Вперше розроблено адаптивний просторово-часовий метод оцінки руху в синхронних послідовності видимого і інфрачервоного діапазонів електромагнітного випромінювання, що дозволяє витягувати ознаки руху на різних ієрархічних рівнях, поєднуючи переваги обох типів послідовностей зображень.

4. Розроблено нову модель багаторівневого руху; що дозволяє проводити декомпозицію сцени на окремі рівні; НЕ> обмежується; загальноприйнятим поділом на передній план і фон, що дозволяє виконувати більш достовірну сегментацію зображень об'єктів в; складних перспективних сценах.

5: Обґрунтовано? і побудований; новий; узагальнений алгоритм сегментації динамічних об'єктів; с, застосуванням, безлічі ознак ^ включають передісторії поведінки; і дозволяє відстежувати як динаміку окремих візуальних об'єктів, так і взаємодії об'єктів в сцені (перекриття проекцій; поява / зникнення об'єктів з поля зору відеодатчики) на основі групових перетворень; і вперше запропонованому аналізі загальної частини проекцій об'єкта (з двох сусідніх кадрів) із застосуванням інтегральних та інваріантних оцінок.

6. Модифікований метод колективного прийняття рішень, що відрізняється знаходженням ознак міжкадрових проекцій об'єкта і дозволяє враховувати передісторію спостережень для розпізнавання активних дій і подій на основі байєсівської мережі, а також запропоновані чотири види псевдо-відстаней для знаходження міри схожості v динамічних образів з еталонними динамічними образами в залежно від уявлення динамічних ознак.

Практична значимість. Запропоновані в дисертаційній роботі методи і алгоритми призначені для практичного застосування при "моніторингу автотранспортних засобів при многополосном русі в рамках державного проекту« Безпечне місто », в системах автоматизованого контролю за різними технологічними виробничими процесами по відеопослідовність, в системах зовнішнього відеоспостереження і відеоспостереження в закритих приміщеннях, а також в системах іденл тіфікаціі об'єктів на аерофотознімках і розпізнаванні ландшафтних зображень. на основі дисертаційних досліджень розроблені програмні комплекси обробки і розпізнавання динамічних об'єктів, що застосовуються в різних сферах діяльності.

Реалізація результатів роботи. Розроблені програми зарегі- стрировать в Російському реєстрі програм для ЕОМ: програма «Сегментація зображень рукописного тексту (SegPic)» (свідоцтво №2008614243, м.Москва, 5 вересня 2008 року); програма «Визначення руху (MotionEstimation)» (свідоцтво №2009611014, м.Москва, 16 лютого- 2009 року); програма «Локалізація особи (FaceDetection)» (свідоцтво №2009611010, м.Москва, 16 лютого-2009 р); програма «Система накладення візуальних природних ефектів на статичне зображення (Natural effects imitation)» (свідоцтво №2009612794, м.Москва 30 липня 2009 року); програма «Візуальне детектування диму (SmokeDetection)» (свідоцтво №2009612795, м.Москва 30 липня 2009 року); «Програма візуальної реєстрації державних номерних знаків автотранспортних засобів при багатопотоковому русі (FNX CTRAnalyzer)» (свідоцтво №2010612795, м.Москва, 23 березня 2010 р), програма «Нелінійне поліпшення зображень (Nonlinear image enhancement)» (свідоцтво №2010610658, г . Москва, 31 березня 2010 р

Отримано акти про передачу і використанні алгоритмічного і програмного забезпечення для розпізнавання корпусів холодильників на складальній лінії (ВАТ КЗХ «Бірюса», м Красноярськ), для ідентифікації з браженій об'єктів на ландшафтних зображеннях (Концерн радіобудови «Вега», ВАТ КБ «Луч», м Рибінськ Ярославської області), для сегментації лісової рослинності по набору послідовних аерофотознімків (ТОВ «Альтекс Геоматика», м.Москва), для виявлення пластин державних реєстраційних знаків автотранспортних засобів в відеопослідовність при багатопотоковому русі і підвищенні якості їх відображення ^ (УГІБДД ГУВС по Красноярському краю, м Красноярськ).

Розроблені алгоритми і програмне забезпечення використовуються в навчальному процесі при проведенні занять з дисциплін «Інтелектуальна обробка даних», «Комп'ютерні технології в науці та освіті», «Теоретичні основи цифрової обробки зображень», «Розпізнавання образів», «Нейронні мережі», «Алгоритми обробки зображень »,« Алгоритми обробки видеопоследовательностей »,« Аналіз сцен і машинний зір »в Сибірському державному аерокосмічному університеті імені академіка М.Ф. Решетнева (СібГАУ).

Достовірність отриманих в дисертаційній роботі результатів забезпечується коректністю використовуваних методів дослідження ^ математичної строгістю виконаних перетворень, а також відповідністю сформульованих положеній- і висновків результатами їх експериментальної перевірки.

Основні положення, що виносяться на захист:

1. Модель обробки і розпізнавання динамічних образів в складних сценах, істотно розширена "ієрархічними рівнями сегментації і розпізнавання не тільки об'єктів, але і їх активних дій.

2. Розширення дескриптивної теорії розпізнавання зображень для часових рядів (послідовностей зображень) за рахунок підвищення інформативності даних, що аналізуються не тільки в просторової області, а й по тимчасовій складової.

3. Адаптивний просторово-часовий метод оцінки руху на. основі тензорних уявлень локальних ЗІ обсягів в синхронних послідовності видимого і інфрачервоного діапазонів електромагнітного випромінювання.

4. Модель багаторівневого руху в складних сценах, що розширює декомпозицію перспективних сцен на окремі рівні для більш достовірного аналізу траєкторій руху об'єктів.

5. Узагальнений алгоритм сегментації динамічних об'єктів, що дозволяє на основі групових перетворень і запропонованих інтегральних та інваріантних оцінок виявляти перекриття проекцій об'єктів, поява / зникнення об'єктів з поля зору відеодатчики.

6. Методи розпізнавання динамічних образів на основі модифікованого методу колективного прийняття рішень і знаходження псевдорасстояній в метричних просторах, а також активних дій і подій в складних сценах.

Апробація роботи. Основні положення і результати дисертаційних досліджень доповідалися і обговорювалися на 10 міжнародній конференції «Pattern Recognition and Image Analysis: Modern Information Technologies», (S.-Petersburg, 2010), міжнародному конгресі «Ultra Modern Telecommunications and Control Systems ICUMT2010» (Moscow, 2010) ; XII міжнародному симпозіуму по непараметрическим методам в кібернетиці і системному аналізу (Красноярськ, 2010), II міжнародному симпозіумі "Intelligent Decision-Technologies - IDT 2010» (Baltimore, 2010), III міжнародній конференції. «Automation, Control? and Information Technology - AOIT- ICT "2010» (Novosibirsk, 2010), 10-й, 11-й і 12-й міжнародних конференціях і виставках «Цифрова обробка сигналів та її застосування» (Москва, 2008 - 2010 рр.), X міжнародної науково-технічної конференції «Теоретичні та прикладні питання сучасних інформаційних технологій» (Улан-Уде, 2009 г.), IX міжнародній науково-технічній конференції «Кібернетика і високі технології XXI століття» (Воронеж, 2008), всеросійської конференції «Моделі і методи обробки зображень »(Красноярськ, 2007), на X, XI і XIII міжнародних наукових конференціях« Ре-шетневскіе читання »(Красноярськ, 2006, 2007, 2009 рр.), а також на наукових семінарах Державного університету аерокосмічного приладобудування (С. Петербург, 2009 г.), Інституту обчислювального моделювання СО

РАН (Красноярськ, 2009 г.), Інституту систем обробки зображень РАН (Самара, 2010).

Публікації. За результатами дисертаційного дослідження опубліковано 53 друкованих роботи, з них 1 монографія, 26 статей (з них 14 статей - у виданнях, включених до списку ВАК, 2 статті - у виданнях, перерахованих в «Thomson Reuters: Science Citation Index Expanded / Conference Proceedings Citation Index »), 19 тез доповідей, 7 свідоцтв, зареєстрованих в Російському реєстрі програм для ЕОМ, а також 3 звіту по НДР.

Особистий внесок. Всі основні результати, викладені в дисертації, включаючи постановку завдань і їх математичні та алгоритмічні рішення, отримані автором особисто, або виконані під його науковим керівництвом і за безпосередньої участі. За матеріалами роботи були захищені дві дисертації на здобуття наукового ступеня кандидата технічних наук, при виконанні яких автор був офіційним науковим керівником.

Структура роботи. Робота складається з вступу, шести розділів, висновків, списку використаних джерел. Основний текст дисертації містить 326 сторінок, виклад ілюструється 63 рисунками та 23 таблицями. Бібліографічний список включає 232 найменування.

6.7 Висновки до розділу

В "цьому розділі докладно розглянута структура і основні функції експериментального програмного комплексу« ЗРОЕЛ », у.1.02, який; виконує системну ієрархічну обробку послідовностей зображень аж до вищих рівнів розпізнавання об'єктів і подій. Він є автоматизованою системою, що вимагає участі людини для навчання і настройки графів, мереж і класифікаторів. Ряд низькорівневих модулів системи працює в автоматичному режимі. Структура програмного комплексу така, що можлива модифікація модулів без здійснення впливу на інші модулі системи. Представлені функціональні схеми основних модулів системи: модуля, попередньої обробки, модуля оцінки руху, модуля сегментації , модуля розпізнавання об'єктів і модуля розпізнавання активних дій.

Експериментальні дослідження на основі даного програмного комплексу проводилися на декількох відеопослідовність і інфрачервоних послідовності з тестової бази «OTCBVS ^ 07», на тестових відеопослідовність «Hamburg taxi», «Rubik cube». «Silent», а також на власному відеоматеріалі. Тестувалися п'ять методів оцінки руху. Експериментально було показано, що метод зіставлення блоків і запропонований метод для інфрачервоної послідовності показують близькі значення і є найменш точними. Запропонований метод для відеопослідовності і метод спостереження за точковими особливостями демонструють близькі результати. При цьому розроблений тензорний підхід вимагає меншого обсягу комп'ютерних обчислень у порівнянні з методом спостереження за точковими особливостями. Спільне використання синхронізованих відеопослідовності і інфрачервоної послідовності доцільно використовувати для знаходження модуля вектора швидкості і в умовах зниженого освітлення сцени.

Для розпізнаванні візуальних об'єктів застосовувалися чотири види псевдо-відстаней (псевдо-відстані Хаусдорфа, Громова-Хаусдорфа, Фреше, природне псевдо-відстань) для знаходження міри схожості вхідних динамічних образів з еталонними динамічними образами (в залежності від уявлення динамічного ознаки - безлічі числових характеристик, безлічі векторів, безлічі функцій). Вони показали свою спроможність для образів з допустимими морфологічними перетвореннями. Використовувалися інтегровані нормалізовані оцінки форми контуру Кс загальної частини проекції об'єкта між умовно сусідніми кадрами і площа загальної частини 5е і інваріантна оцінка - кореляційна функція загальних частин проекцій Fcor. Застосування модифікованого методу колективного прийняття рішень дозволяє «відкинути» невдалі спостереження вхідних образів (випадки перекриття проекцій об'єктів, спотворення сцени від джерел освітлення і т. Д.) І вибрати найбільш підходящі спостереження. Експерименти показали, що застосування модифікованого методу колективного прийняття рішення підвищує точність розпізнавання в середньому на 2,4-2,9%.

Експериментальні результати оцінки руху, сегментації і розпізнавання об'єктів були отримані на тестових послідовностей зображень ( «Hamburg taxi», «Rubik cube». «Silent», відеопослідовності і інфрачервоні послідовності з тестової бази «ОТСВVS" 07 "). Для розпізнавання активних дій людей використовувалися приклади з тестових баз «PETS», «CAVIAR», «VACE». Характер тестової візуальної послідовності впливає на показники. Гірше розпізнаються об'єкти, що здійснюють обертальний рух ( «Rubik cube»), краще - техногенні об'єкти невеликих розмірів ( «Hamburg taxi», «Відео 1»). Найкращі результати показує розпізнавання за двома послідовностям. Також кращі експериментальні результати досягалися при розпізнаванні періодичних активних дій людей, які не перебувають в групах (ходіння, біг, підняття рук). Помилкові спрацьовування обумовлені засветкойш наявністю тіней, в ряді місць сцени .

У ^ завершенні * шостого розділу були розглянуті такі прикладні "проекти, як« Візуальна реєстрація державних номерних знаків автотранспортних засобів при багатопотоковому русі »,« Система ідентифікації моделей корпусів холодильників із зображень »,« Алгорітми.обработкі і-сегментації, ландшафтних зображень. Ідентифікація об'єктів ». Алгоритмічне і. програмне забезпечення передано зацікавленим, організаціям: Результати тестової експлуатації показали працездатність програмного забезпечення, розробленого на основі запропонованих в дисертаційній роботі моделей і методів.

ВИСНОВОК

У дисертаційній роботі було поставлено і вирішено важливу науково-технічна проблема обробки просторово-часових даних, отриманих з послідовностей видимого і інфрачервоного діапазонів електромагнітного випромінювання, і розпізнавання динамічних образів в складних сценах. Система ієрархічних методів обробки та вилучення ознак з просторово-часових даних являє собою методологічну основу вирішення прикладних завдань в області відеоспостереження.

У вступі обґрунтовано актуальність дисертаційної роботи, сформульована мета і поставлені завдання дослідження, показана наукова новизна і практична цінність виконаних досліджень, представлені основні положення, що виносяться на захист.

У першому розділі показано, що візуальні об'єкти в відеопослідовність характеризуються більш багатовимірним вектором ознак, ніж "образи в класичній постановці задачі розпізнавання статичних зображень. У дисертаційній роботі вводяться уточнюючі етапи на середньому і вищому рівнях обробки, які мають істотне значення для динамічних зображень.

Побудована класифікація основних типів завдань розпізнавання для статичних зображень, статичних сцен з елементами руху та послідовності зображення, яка відображає історичний характер розвитку математичних методів в даній області. Проведено детальний аналіз методів оцінки руху, алгоритмів сегментації рухомих об'єктів, методів інтерпретації подій в складних сценах.

Розглянуто існуючі комерційні апаратно-програмні комплекси в таких областях, як моніторинг транспортних засобів різного призначення, обробка спортивних відеоматеріалів, забезпечення безпеки (розпізнавання осіб, несанкціоноване проникнення людей на територію, що охороняється), Також аналізуються дослідні розробки для систем відеоспостереження.

На завершення глави 1 приведена постановка задачі просторово-часової обробки послідовностей зображень, представлена ​​у вигляді трьох рівнів і п'яти етапів обробки і розпізнавання візуальної інформації за послідовностей зображень.

У другому розділі дисертації розроблені формальні моделі обробки і розпізнавання об'єктів по їх статичним зображенням і послідовностей зображень. Побудовано допустимі відображення в просторі зображень і просторі ознак для прямої задачі і оберненої задачі. Наведено правила побудови інваріантних вирішальних функцій і узагальненого максимального динамічного інваріанта. При розпізнаванні траєкторії різних образів в багатовимірному просторі ознак можуть перетинатися. При перетині проекцій об'єктів знаходження узагальненого максимального динамічного інваріанта стає ще більш важкою, а в деяких випадках і неможливим завданням.

Розглянуто основні принципи дескриптивної теорії розпізнавання зображень, в основу якої лягли регулярні методи вибору і синтезу алгоритмічних процедур обробки інформації при розпізнаванні зображень. Запропоновано додаткові принципи, що розширюють дескриптивную теорію для динамічних зображень: облік мети розпізнавання на початкових стадіях обробки послідовності зображень, розпізнавання поведінкових ситуацій динамічних об'єктів, оцінка передісторії динамічних об'єктів, змінне кількість об'єктів спостереження в складних сценах.

Детально розглянуто проблему пошуку цільових ознак для аналізу послідовностей зображень в залежності від типу зйомки (в разі одноракурсних зйомки), руху відеодатчики і наявності рухомих об'єктів в зоні видимості. Наведені описи чотирьох ситуацій в просторі ознак в міру ускладнення завдання.

У третьому розділі сформульовані етапи обробки послідовностей зображень і розпізнавання об'єктів, активних дій, подій і жанру сцени. Етапи відображають послідовний ієрархічний характер обробки візуальної інформації. Також представлені умови та обмеження ієрархічних методів просторово-часової обробки послідовностей зображень.

Класифікація динамічних регіонів зображення проводиться шляхом аналізу власних значень 31) структурного тензора, власні вектори якого визначаються за локальними зсувам інтенсивностей зображень сусідніх кадрів і використовуються для оцінки локальних ориен-Тацій динамічних регіонів. Обґрунтовано новий метод оцінки руху в просторово-часовому обсязі даних видимого і інфрачервоного діапазонів випромінювання на основі тензорного підходу. Розглянуто можливість застосування просторово змінюваного ядра, адаптивного до розмірів і орієнтації оточення точки. Адаптація оточення, спочатку має форму кола, а потім перетворюється після 2-3 ітерацій в форму орієнтованого еліпса дозволяє поліпшити оцінку орієнтованих структур на зображенні. Така стратегія покращує оцінки градієнтів в просторово-часовому наборі даних.

Оцінка локальних параметрів руху проводиться шляхом обчислення геометричних примітивів і особливих точок локального регіону. Таким чином, оцінка локальних ознак руху регіонів є основою висунення наступних гіпотез приналежності візуальних об'єктів до того чи іншого класу. Використання синхронних відеопослідовності і інфрачервоної послідовності дозволяє поліпшити результати сегментації рухомих регіонів на зображенні і знаходження локальних векторів руху.

Показано, що оцінити кордону в кольорових зображеннях можна на основі багатовимірних градієнтних методів, побудованих в усіх напрямках в кожній точці кордону, векторними методами з використанням порядкових статистиках про кольоровому зображенні, а також застосуванням тензорного підходу в рамках багатовимірних градієнтних методів. Способи уточнення контурній інформації мають суттєве значення для регіонів з будь-якою кількістю допустимих проекцій.

У четвертому розділі побудована багаторівнева модель руху на основі структур руху, що відображає динаміку об'єктів реальних сцен і розширює дворівневе уявлення сцени, яку поділяє на об'єкти інтересу і нерухомий фон.

Досліджуються моделі руху об'єктів на площині, засновані на теорії компактних груп Лі. Представлені моделі для проектованого перетворення і різновидів моделей афінного перетворення. Такі перетворення добре описують структури руху з обмеженою кількістю проекцій (техногенні об'єкти). Подання структур з необмеженою кількістю проекцій (антропогенні об'єкти) аффіннимі або проектними перетвореннями супроводжується рядом додаткових умов (зокрема, вимога віддаленості об'єктів від відеодатчики, малорозмірні об'єкти і т. Д.). Наводяться визначення і теорема, доведена Л. С. Понтрягиним, на підставі яких вдалося знайти внутрішній автоморфизм групових координат, що описують деякий об'єкт з точністю до зрушень між сусідніми кадрами. Величина зрушень опреде1 ляется за методом оцінки руху міжкадрового різниці, розробленим в 3 "чолі.

Побудовано розширення допустимих переходів між групами перетворень в- силу подвійності природи 2 £)-зображення (відображення змін проекції окремого об'єкта та візуальне перетин кількох об'єктів: (взаємодія об'єктів)). Знайдено, критерії, які при зміні груп перетворень фіксують активні дії і події, в сцені, а саме, інтегровані оцінки форми контуру Кс загальної частини проекції між умовно сусідніми кадрами і площа загальної частини 5е і інваріантні оцінки - кореляційна функція загальних частин проекцій Рсог і структурні константи групи Лі з "д, які дозволяють оцінити ступінь мінливості і виявити характер руху спостережуваних об'єктів.

Також побудована модель передісторії руху об'єктів в послідовності зображень, що включає тимчасові ряди траєкторій переміщення, зміни форми об'єкта при його русі в 3 £> -простору, а також зміни форми об'єкта, пов'язані із взаємодією об'єктів в сцені і появою / зникненням об'єкта з поля зору датчика (використовується для розпізнавання активних дій і подій в сцені). 1

Розроблено узагальнений алгоритм сегментації об'єктів в складних сценах, що враховує складні випадки сегментації (перекриття зображень, поява і зникнення об'єктів з поля зору камери, рух на камеру), який включає три підетапи: предсегментацію, сегментацію і пост-сегментацію. Для кожного підетапи сформульовані завдання, вихідні та вихідні дані, розроблені блок-схеми алгоритмів, що дозволяють проводити сегментацію складних сцен, використовуючи переваги синхронних послідовностей з різних діапазонів випромінювання.

У п'ятому розділі розглядається процес розпізнавання динамічних образів, який використовує формальну граматику, відеограф сцени і модифікований метод колективного прийняття рішень. Динамічна сцена з багаторівневим рухом володіє змінюється в часі структурою, тому доцільно використовувати структурні методи розпізнавання. Запропонована трирівнева контекстна граматика розпізнавання складних сцен з багаторівневим рухом об'єктів реалізує два завдання: завдання синтаксичного аналізу послідовності зображень і завдання синтаксичного аналізу сцени.

Більш наочним засобом семантичного опису сцени є видеограф, побудований за методом ієрархічного групування. На основі комплексних ознак нижчого рівня формуються локальні просторові структури, стійкі в часі, локальні просторові об'єкти і будується видеограф сцени, що включає розпізнані просторові об'єкти, сукупність притаманних їм дій, а також просторово-часові зв'язки між ними.

Модифікований метод колективного прийняття рішень заснований на дворівневої процедури розпізнавання. На першому рівні здійснюється розпізнавання приналежності зображення тієї чи іншої області компетентності. На другому рівні вступає в силу вирішальне правило, компетентність якого максимальна в заданій області. Побудовано вираження для псевдо-відстаней при знаходженні міри схожості вхідних динамічних образів з еталонними динамічними образами в залежності від уявлення динамічних ознак - безлічі числових характеристик, безлічі векторів, безлічі функцій.

При розпізнаванні подій відеограф складної сцени розширюється до відеограф подій: Побудована об'єктно-залежна модель динамічного об'єкта. В якості опції відповідності використовуються найпростіші класифікатори в просторі ознак (наприклад, за методом ^-середній), т. К. Зіставлення здійснюється по обмеженому безлічі шаблонів, асоційованих з раніше пізнаним об'єктом. Розглянуто способи формування шаблонів проекцій візуальних об'єктів.

Видеограф подій будується на основі мереж Маркова. Розглянуто способи виявлення активних дій агентів, а також порядок побудови і розрізання відеограф подій для розпізнавання, подій в сцені. При цьому для кожної події будується своя модель, яка навчається на тестових прикладах. Виявлення подій зводиться до кластеризації послідовно виконуваних активних дій на основі байєсівського підходу. Виконується рекурсивне разрезаніе- матриці вагових коефіцієнтів у вхідній відеопослідовності і порівняння з еталонними, подіями, отриманими на етапі навчання. Дана інформація є * вихідної для визначення жанру сцени і при необхідності індексування відеопослідовності в базі даних. Розроблено схему розуміння і інтерпретації зображень і відеоматеріалів для індексування в мультимедійних Інтернет-базах.

У шостому розділі представлено опис експериментального програмного комплексу «SPOER», v.l.02 по обробці послідовностей зображень і розпізнаванню рухомих об'єктів і подій. Він виконує системну ієрархічну обробку послідовностей зображень аж до вищих рівнів розпізнавання об'єктів і подій. Він є автоматизованою системою, що вимагає участі людини для навчання і настройки графів, мереж і класифікаторів. Ряд низькорівневих модулів системи працює в автоматичному режимі.

В експериментальних дослідженнях, проведених за допомогою програмного комплексу «SPOER», vl02, використовувалися відеопослідовності і інфрачервоні послідовності зображень з тестової бази «OTCBVS" 07 ", тестові відеопослідовності« Hamburg taxi »,« Rubik cube ».« Silent »і власні відеоматеріали. тестувалися п'ять методів оцінки руху. Запропонований метод для відеопослідовності демонструє найбільш точні результати і вимагає меншого обсягу комп'ютерних обчислень у порівнянні з іншими методами. Спільне використання синхронізованих відеопослідовності і інфрачервоної послідовності доцільно при знаходженні модулів векторів швидкостей в умовах зниженого освітлення сцени.

Для розпізнаванні візуальних об'єктів з допустимими морфологічними перетвореннями проекцій використовувалися інтегровані нормалізовані оцінки форми контуру Кс загальної частини проекції об'єкта між умовно сусідніми кадрами і площа загальної частини 5е і інваріантна оцінка - кореляційна функція загальних частин проекцій Fcor. Застосування модифікованого методу колективного прийняття рішень дозволяє «відкинути» невдалі спостереження вхідних образів (випадки перекриття проекцій об'єктів, візуальні спотворення сцени від джерел освітлення і т. Д.) І вибрати найбільш підходящі спостереження. Експерименти показали, що застосування модифікованого методу колективного прийняття рішення підвищує точність розпізнавання в середньому на 2,4-2,9%.

Експериментальні результати оцінки- руху; сегментації і розпізнавання об'єктів були отримані на тестових послідовностей зображень ( «Hamburg taxi», «Rubik cube». «Silent», відеопослідовності і інфрачервоні послідовності з тестової бази «OTCBVS * 07»). Для розпізнавання активних дій людей використовувалися приклади з тестових баз «PETS», «CAVIAR», «VACE». Найкращі результати показує розпізнавання за двома послідовностям. Також кращі експериментальні результати досягалися при розпізнаванні періодичних активних дій людей, які не перебувають в групах (ходіння, біг, підняття рук). Помилкові спрацьовування обумовлені засвіченням і наявністю тіней в ряді місць сцени.

На базі експериментального комплексу «ЗРОЕЯ», V. 1.02 були розроблені системи обробки відеоінформації різного цільового призначення: «Візуальна реєстрація державних номерних знаків автотранспортних засобів при багатопотоковому русі», «Система ідентифікації моделей корпусів холодильників із зображень», «Алгоритми обробки і сегментації ландшафтних зображень . Ідентифікація об'єктів ». Алгоритмічне і програмне забезпечення передано зацікавленим організаціям. Результати тестової експлуатації показали працездатність програмного забезпечення, розробленого на основі запропонованих в дисертаційній роботі моделей і методів.

Таким чином, в дисертаційній роботі були отримані наступні результати:

1. Побудовано формальні моделі обробки і розпізнавання просторово-часових структур на основі адаптивної ієрархічної процедури. обробки послідовностей зображень, що відрізняються тим, що в них враховані ізоморфні і гомоморфні перетворення і виведені узагальнені функції статичних і динамічних інваріантів. Також побудовано моделі пошуку статичних і динамічних ознак об'єктів для чотирьох завдань аналізу послідовностей зображень в залежності від наявності двіжущегося1 відеодатчики і рухомих об'єктів в сцені.

2. Расшірени- основні положення дескриптивного підходу до розпізнавання послідовностей зображень, що дозволяють враховувати цілі розпізнавання на початкових стадіях обробки послідовності зображень з подальшою сегментацією областей інтересу, будувати траєкторії руху і розпізнавати поведінку динамічних об'єктів, враховувати передісторію руху об'єктів при перетині їх проекцій, супроводжувати змінну кількість об'єктів спостереження.

3. Розроблено ієрархічний метод обробки і розпізнавання просторово-часових структур, що складається з трьох рівнів і п'яти етапів і передбачає нормалізацію проекцій об'єктів, що дозволяє скоротити кількість еталонів для одного класу при розпізнаванні складних динамічних об'єктів.

4. Розроблено метод оцінки руху для послідовностей зображень з видимого і інфрачервоного діапазонів електромагнітного випромінювання відрізняється тим, що використовуються просторово-тимчасові набори даних, представлені у вигляді 3 £> структурних тензорів і'В тензорів. потоку відповідно. Отримана оцінка руху дозволяє вибрати найбільш ефективний метод сегментації динамічних візуальних об'єктів, що відрізняються кількістю допустимих проекцій.

5. Побудована модель багаторівневого руху регіонів зображення на основі локальних векторів швидкості, яка відрізняється тим, що дозволяє розділяти сцену не тільки на об'єкти переднього плану і фон, а й на рівні руху об'єктів, віддалених від спостерігача. Це особливо актуально для складних сцен, що реєструються рухомим відеодатчики, коли всі об'єкти сцени знаходяться у відносному русі.

6. Розроблено адаптивний алгоритм-сегментації динамічних об'єктів: а) для об'єктів з обмеженою кількістю проекцій, на основі аналізу передісторії руху локальних динамічних регіонів, що відрізняється тим, що при перекриттях зображень добудовується форма, регіону за поточним шаблоном і за умови застосування фільтра Калмана прогнозується, поточна, траєкторія; б) для об'єктів з будь-якою кількістю проекцій на основі комплексного аналізу, колірних, текстурних, статистичних, топологічних ознак і ознак руху, який відрізняється тим, що при перекриттях зображень ^ форма регіону добудовується з використанням методу активних контурів.

7. Запропоновано спосіб побудови динамічного відеограф складної сцени за методом ієрархічного групування комплексних ознак нижчого рівня в локальні просторові структури, стійкі в часі, і далі в локальні просторові об'єкти. Сформований видеограф встановлює тимчасові відносини між об'єктами і зберігає всі узагальнені ознаки для розпізнавання подій в сцені. Розширено двовимірна граматика М.І. Шлезінгера в рамках структурного методу розпізнавання до трирівневої контекстної граматики.

8: Для розпізнавання динамічних об'єктів модифікований колективний метод прийняття рішень, спочатку здійснює розпізнавання приналежності зображення області компетентності, а потім вибирає то вирішальне правило, компетентність якого максимальна в заданій області. Побудовано чотири види псевдо-відстаней для знаходження міри схожості вхідних динамічних образів із зразками в залежності від уявлення динамічних ознак.

9. Розроблено метод розпізнавання подій на основі байєсівської мережі, що виконує рекурсивне розрізання матриці вагових коефіцієнтів у вхідній відеопослідовності і порівняння з еталонними подіями, отриманими на етапі навчання. Дана інформація є вихідною для визначення жанру сцени і індексування видеопоследовательностей в мультимедійних Інтернет-базах.

10. Практичні завдання обробки і розпізнавання послідовностей зображень вирішені за допомогою адаптивно-ієрархічного методу просторово-часової обробки, показана працездатність методу, продемонстрована ефективність застосування системи ієрархічних методів обробки і. розпізнавання візуальної інформації з можливістю адаптивного вибору ознак в. процесі виконання завдання. Отримані результати у вигляді спроектованих експериментальних систем, передані зацікавленим організаціям.

Таким чином, в даній дисертаційній, роботі вирішена важлива науково-технічна проблема інформаційного забезпечення систем відеоспостереження та розроблено новий напрямок в області просторово-часової обробки і розпізнавання динамічних зображень.

1. Автоматичний аналіз складних зображень / Под ред. Е.М. Бра-Верман. М .: Світ, 1969. - 309 с. Бонгард М.М. Проблеми впізнавання. - М .: Наука, 1967.-320 с.

2. Алпатов, Б.А., Виявлення об'єктів, які рухаються в послідовності зображень при наявності обмежень на площу і швидкість руху об'єкта / Б.А. Алпатов, A.A. Китаєв // Цифрова обробка зображень, №1, 2007. с. 11-16.

3. Алпатов, Б.А., Виділення рухомих об'єктів в умовах геометричних спотворень зображення / Б.А. Алпатов, П.В. Бабаян // Цифрова обробка сигналів, № 45 2004. с. 9-14.

4. Алпатов, Б.А., Бабаян П.В. Методи обробки та аналізу зображень "в бортових системах виявлення і супроводу об'єктів / Б.А. Алпатов, П.В. Бабаян // Цифрова обробка сигналів, №2, 2006. 45-51 с.

5. Большаков, A.A., Методи обробки багатовимірних даних і часових рядів: Навчальний посібник для вузів / A.A. Большаков, Р.І. Карімов / М .: Гаряча лінія-Телеком, 2007. 522 с.6: Бонгард, М.М. Проблеми впізнавання / М.М. Бонгард / М .: Наука, 1967.-320 с.

6. Булінскій, A.B. Теорія випадкових процесів1 / A.B. Булінскій, А.Н. Ширяєв / М .: ФИЗМАТЛИТ, 2005. 408 с.

7. Вайнцвайг, М.Н. Архітектура системи подання зорових динамічних сцен в термінах понять / М.Н.Вайнцвайг, М.Н. Полякова // Зб. тр. 11-й Всеросс. конф. «Математичні методи розпізнавання образів (ММРО-11)», М., 2003. с.261-263.

8. Вапник, В.Н. Завдання адаптації розпізнавання образів / В.Н. Вапник / М .: Знание, 1970. - 384 с.

9. П.Вапнік, В.Н. Теорія розпізнавання образів (статистичні проблеми навчання) / В.М. Вапник, А.Я. Червоненкис / М .: Наука, 1974. 416 с.

10. Васильєв, В.І. Розпізнавання рухомих тел / В.І. Васильєв, А.Г. Івахненко, В.Є. Реуцький та ін. // Автоматика, 1967, № 6, с. 47-52.

11. Васильєв, В.І. Системи розпізнавання / В.І. Васильєв / Київ: Наук. Думка, 1969. 292 с.

12. Васильєв, В.І. Системи розпізнавання. Довідник / В.І. Васильєв / Київ, Наук, думка, 1983. 422 с.

13. Візільтер, Ю.В. Застосування методу аналізу морфологічних свідоцтв в задачах машинного зору> / Ю.В. Візільтер // Вісник комп'ютерних та інформаційних технологій, № 9, 2007 за. 11-18.

14. Візільтер, Ю.В. Проективні морфології на базі інтерполяції / Ю.В. Візільтер // Вісник комп'ютерних та інформаційних технологій, №4, 2008.-с. 11-18.

15. Візільтер, Ю.В., Проектні морфології та їх застосування в структурному аналізі цифрових зображень / Ю.В. Візільтер, С.Ю. Желтов // Изв. РАН. Тису, № 6, 2008. с. 113-128.

16. Візільтер, Ю.В. Дослідження поведінки авторегресійних фільтрів в завданню виділення і аналізу руху на цифрових відеопослідовність / Ю.В. Візільтер, Б.В. Вишняков // Вісник комп'ютерних та інформаційних технологій, № 8, 2008. - с. 2-8.

17. Візільтер, Ю.В. Проективні морфології зображень на базі моделей, що описуються структурирующими функціоналами /Ю.В. Візільтер, С.Ю. Желтов // Вісник комп'ютерних та інформаційних технологій, № 11, 2009.-с. 12-21.

18. Вишняков, Б.В. Використання модифікованого методу оптичних потоків в завданню виявлення і межкадрового простеження двіжуs.

19. Ганебних, С.Н. Аналіз сцен на основі застосування деревовидних уявлень зображень / С.Н.Ганебних, М.М. Ланге // Зб. тр. 11-й все-Росс. конф. «Математичні методи розпізнавання образів (ММРО-11)», М., 2003.-с. 271-275.

20. Глушков, В.М. Введення в кібернетику / В.М. Глушков / Київ: Вид-во АН УРСР, 1964. 324 с.

21. Гонсалес, Р., Вудс Р. Цифрова обробка зображень. Пер.с англ. під ред. П.А.Чочіа / Р.Гонсалес, Р. Вудс / М .: Техносфера, 2006. 1072 с.

22. Горошкин, А.Н., Сегментація зображень рукописного тексту (SegPic) / О.М. Горошкин, М.Н. Фаворська // Свідоцтво № 2008614243. Зареєстровано в Реєстрі програм для ЕОМ р Москва, 5 вересня 2008 р

23. Гренандер, У. Лекції по теорії образів / У. Гренандер / В 3 т. / Пер.с англ. Під ред. Ю.І.Журавлева. М .: Світ, 1979-1983. 130 с.

24. Грузман, І.С. Цифрова обробка зображень в інформаційних системах: Навч. Посібник / І.С.Грузман, B.C. Киричук, В.П. Косих, Г.І.Перетягін, A.A. Спектор / Новосибірськ, изд-во НГТУ, 2003. с. 352.

25. Достовірний і правдоподібний висновок в інтелектуальних системах / Под ред. В.Н. Вагіна, Д.А. Поспєлова. 2-е изд., Испр. і доп. - М .: ФИЗМАТЛИТ, 2008. - 712 с.

26. Дуда, Р. Розпізнавання образів і аналіз сцен / Р. Дуда, П. Харт / М .: изд-во «Світ», 1978. 512 с.

27. Журавльов, Ю.І. Про алгебраїчному підході до вирішення завдань розпізнавання і класифікації / Ю.І. Журавльов // Проблеми кібернетики: Зб. ст., вип. 33, М .: Наука, 1978. с. 5-68.

28. Журавльов, Ю.І. Про алгебраїчної корекції процедур обробки (перетворення) інформації / Ю.І.Журавлев, К.В. Рудаков // Проблеми прикладної математики та інформатики, М .: Наука, 1987. с. 187-198.

29. Журавльов, Ю.І. Розпізнавання образів і розпізнавання зображень / Ю.І. Журавльов, І.Б. Гуревич // Щорічник «Розпізнавання. Класифікація. Прогноз. Математичні методи та їх застосування », вип. 2, М .: Наука, 1989.-72 с.

30. Журавльов, Ю.І. Розпізнавання образів і аналіз зображень / Ю.І.Журавлев, І.Б. Гуревич / Штучний інтелект в 3-х кн. Кн. 2. Моделі і методи: Довідник / За ред. Д.А. Поспєлова, М .: изд-во «Радио и связь», 1990. - с.149-190.

31. Загоруйко, Н.Г. Методи розпізнавання та їх застосування / Н.Г. За-горуйко / М .: Сов. радіо, 1972. 206 с.

32. Загоруйко, Н.Г. Штучний інтелект і емпіричне передбачення / Н.Г. Загоруйко / Новосибірськ: изд. НГУ, 1975. 82 с.

33. Івахненко, А.Г. Про застосування теорії інваріантності та комбінованого управління до синтезу та аналізу навчаються систем / А.Г. Івахненко // Автоматика, 1961, № 5, с. 11-19.

34. Івахненко, Г.І. Самообучающиеся системи розпізнавання і автоматичного управління / А.Г. Івахненко / Київ: Техніка, 1969. 302 с.

35. Кашкін, В.Б. Дистанційне зондування Землі з космосу. Цифрова обробка зображень: Навчальний посібник / В.Б. Кашкін, А.І. Су-хінін / М .: Логос, 2001. 264 с.

36. Кобзар, А.І. Прикладна математична статистика. Для інженерів і наукових працівників / А.І. Кобзар / М .: ФИЗМАТЛИТ, 2006. 816 с.

37. Ковалевський, В.А. Кореляційний метод розпізнавання зображень / В.А. Ковалевський // Журн. вирахував. математики і мат.фізікі, 1962, 2, № 4, с. 684-690.

38. Колмогоров, О.Н: Епсілон-ентропія і епсилон-ємність множин в функціональних просторах / О.М. Колмогоров, В.М. Тихомиров // Теорія інформації та теорія алгоритмів. М .: Наука, 1987. с. 119-198.

39. Корн, Г. Довідник з математики для науковців та інженерів / Г.Корн, Т. Корн // М .: Наука, Гл. ред. фіз.-мат. лит., 1984. 832 с.

40. Кроновер, Р. Фрактали і хаос в динамічних системах / Р. Кроновер // М .: Техносфера, 2006. 488 с.

41. Лапко, A.B. Непараметричні * і гібридні системи класифікації різнотипних даних / А.В.Лапко, BlA. Лапко // Тр. 12-й Всеросс. конф. «Математичні методи і моделі розпізнавання образів» (ММРО-12), М., 2005.-с. 159-162.

42. Левтін, К.Е. Візуальне детектування диму (SmokeDetection) / К.Е.Левтін, М.Н. Фаворська // Свідоцтво № 2009612795. Зареєстровано в Реєстрі програм для ЕОМ м.Москва, ЗО липня 2009 р

43. Луців, В.Р. Принципи уніфікації оптичних систем роботів / В.Р. Луців, М.Н. Фаворська // В- кн. «Уніфікація та стандартизація промислових роботів», Ташкент, 1984. с. 93-94.

44. Луців, В.Р. Універсальна оптична система для ГАП / В.Р. Луців, М.Н. Фаворська // В кн. «Досвід створення, впровадження і використання АСУТП в об'єднаннях і на підприємствах», Л., ЛДНТП, 1984. с. 44-47.

45. Медведєва, Е.В. Метод оцінки векторів руху в відеозображення / Е.В.Медведева, Б.О. Тимофєєв // В матеріалах 12-ї міжнародної конференції та виставки «Цифрова обробка сигналів та її застосування», М .: В 2 т. Т. 2, 2010. с. 158-161.

46. ​​Методи комп'ютерної обробки зображень / Под ред. В.А.Сойфера. 2-е изд., Ісп. - М .: ФИЗМАТЛИТ, 2003. - 784 с.

47. Методи автоматичного виявлення і супроводу об'єктів. Обробка зображень та управління / Б. А. Алпатов, П.В. Бабаян, O.E. Балашов, А.І. Степашкін Станіслав Іванович. -М .: Радіотехніка, 2008. - 176 с.

48. Методи комп'ютерної оптики / Под ред. В.А.Сойфера. М .: ФИЗМАТЛИТ, 2003. - 688 с.

49. Мудров, А.Е. Чисельні методи для ПЕОМ на мовах Бейсік, Фортран і Паскаль / А.Є. Мудров / Томськ: МП «РАСКО», 1991. 272 ​​с.

50. Пахірка, А.І. Локалізація особи (FaceDetection) / А.І.Пахірка, М.Н. Фаворська // Свідоцтво № 2009611010. Зареєстровано в Реєстрі програм для ЕОМ р Москва, 16 лютого 2009 р

51. Пахірка, А.І. Нелінійне поліпшення зображень (Nonlinear image enhancement) / А.І.Пахірка, М.Н. Фаворська // Свідоцтво № 2010610658. Зареєстровано в Реєстрі програм для ЕОМ р Москва, 31 березня 2010 р

52. Понтрягин, Л. С. Безперервні групи J Л. С. Понтрягин // 4-е изд., М .: Наука, 1984.-520 с.

53. Потапов, A.A. Фрактали в радіофізики та радіолокації: Топологія вибірки / A.A. Потапов // Изд. 2-е, перераб. і доп. - М .: Університетська книга, 2005. 848 с.

54. Радченко, Ю.С. Дослідження спектрального алгоритму виявлення "змін в відеопослідовності / Ю.С.Радченко, А.В.Булигін, Т.А. Радченко // Изв. ВУЗІВ. Радіоелектроніка,; № 7, 2009. с. 49-59.

55. Сальников, І.І. Растрові просторово-часові сигнали в системах аналізу зображень / І.І. Сальников // М .: ФИЗМАТЛИТ, 2009. -248 с.

56. Сергунін, С.Ю. Схема динамічного побудови багаторівневої опису зображень / С.Ю.Сергунін, К.М.Квашнін, М.І. Кумской // Зб. тр. 11-й Всеросс. конф: «Математичні методи розпізнавання образів (ММРО-11)», М., 2003. с. 436-439:

57. Слинько, Ю.В. Рішення завдання одночасного супроводу і оконтуривания методом максимальної правдоподібності / Ю.В. Слинько // Цифрова обробка сигналів, № 4, 2008. с. 7-10

58. Солсо, Р. Когнітивна психологія / Р. Солсо / СПб .: Питер, 6-е изд., 2006. 590 с.

59. Тарасов, І.Є. Розробка цифрових пристроїв на основі ПЛІС «Xi-linx» c застосуванням мови VHDL / І.Є. Тарасов / М .: Гаряча лінія-Телеком, 2005. - 252 с.

60. Фаворська, М.Н. Розробка алгоритмів цифрового розпізнавання зображень в адаптивних робототехнічних комплексах / М.М *. Фаворська // Л !, Ленінградський ін-т авйац. приборостр., 1985. Рукопис деп: в ВІНІТІ 23.01.85. № 659-85 Деп.

61. Фаворська; М.Н. Застосування спектральних методів для нормалізації і розпізнавання зображень в адаптивних робототехнічних комплексах / М.М. *. Фаворська // Л., Ленінградський, ін-т авіація. приборостр., 1985. Рукопис деп. в ВІНІТІ23.01.85. № 660-85 Деп.

62. Фаворська, М.Н. Досвід розробки алгоритмів розпізнавання об'єктів для штампувального виробництва / М.Н. Фаворська // В кн. «Стан, досвід і напрямки робіт з комплексної автоматизації на основі ГПС, РТК і ПР», Пенза, 1985. с. 64-66.

63. Фаворська, М.Н. Дослідження проектних властивостей груп об'єктів / М.Н. Фаворська, Ю.Б. Козлова // Вісник Сибірського державного аерокосмічного університету. Вип. 3, Красноярськ, 2002. - с. 99-105.

64. Фаворська, М.Н. Визначення аффинной структури об'єкта по руху / М.Н. Фаворська // Вісник Сибірського державного аерокосмічного університету, Вип. 6, Красноярськ, 2005. - с. 86-89.

65. Фаворская- М.Н. Загальна класифікація підходів до розпізнавання зображень / М-В.М.. Фаворська // В< материалах X междунар. научн. конф. «Решетневские чтения» СибГАУ, Красноярск, 2006. с. 54-55.

66. Фаворська М.Н. Інваріантні вирішальні функції в задачах розпізнавання статичних зображень / М.Н. Фаворська // Вісник Сибірського державного аерокосмічного університету. Вип. 1 (14), Красноярськ, 2007. с. 65-70.

67. Фаворська, М.Н. Імовірнісні методи сегментації відеопотоку як завдання з відсутніми даними / М.Н. Фаворська // Вісник Сибірського державного аерокосмічного університету. Вип. 3 (16), Красноярськ, 2007. с. 4-8.

68. Фаворська, М.Н. Вибір цільових інформативних ознак в системах розпізнавання зображень / М.Н. Фаворська // В матеріалах XI меж-дунар. наук. конф. «Решетньовські читання» СібГАУ, Красноярськ, 2007 за. 306-307.

69. Фаворська, М.Н. Стратегії сегментації двовимірних зображень / М.Н. Фаворська // В матеріалах всеросійської наукової конференції «Моделі і методи обробки зображень ММОІ-2007», Красноярськ, 2007. с. 136-140.

70. Фаворська, М.Н. Сегментація ландшафтних зображень на основі фрактального підходу / М.Н. Фаворська // В матеріалах 10-ї міжнародної конференції та виставці «Цифрова обробка сигналів та її застосування», М., 2008. с. 498-501.

71. Фаворська, М.Н. Модель розпізнавання зображень рукописного тексту / М.Н. Фаворська, А.Н. Горошкин // Вісник Сибірського государст4 i, венного аерокосмічного університету. Вип. 2 "(19), Красноярськ, 2008. с. 52-58.

72. Фаворська, М.Н. Алгоритми реалізації оцінки руху в системах відеоспостереження / М.Н. Фаворська, A.C. Шилов // Системи управлінняі інформаційні технології. Перспективні дослідження / ІПУ РАН; ВГТУ, № 3.3 (33), М.-Воронеж, 2008. с. 408 ^ 12.

73. Фаворська, М.Н. До питання про використання формальних граматик при розпізнаванні об'єктів в складних сценах // М.Н. Фаворська / В матеріалах XIII междунар.научн.конф. «Решетньовські читання». У 2 ч. 4.2, Красноярськ, 2009. с. 540-541.

74. Фаворська, М.Н. Розпізнавання динамічних образів на основі пророкують фільтрів / М.Н. Фаворська // Вісник Сибірського державного аерокосмічного університету. Вип. 1 (22) в 2 ч. 4f. 1, Красноярськ, 20091 с. 64-68.

75. Фаворська, М.Н., Методи, пошуку руху в.відеопоследовательностях / М.Н. Фаворська, А.І. Пахірка, A.C. Шилов; М.В. Дамов // Вісник. Сибірського державного аерокосмічного університету. Вип. 1 (22) в 2 ч. Ч. 2, Красноярськ, 2009. с. 69-74.

76. Фаворська, М.Н. Знаходження рухомих відео об'єктів, з прімененіем- локальних 3D структурних тензорів / М.Н. Фаворська // Вісник Сибірського державного аерокосмічного університету. Вип. 2 (23), Красноярськ, 2009. с. 141-146.

77. Фаворська, М.Н. Оцінка руху об'єктів в складних сценах на основі тензорного підходу / М.Н. Фаворська // Цифрова обробка сигналів, № 1,2010.-с. 2-9.

78. Фаворська, М.Н. Комплексний розрахунок характеристик ландшафтних зображень / М.Н. Фаворська, Н.Ю. Пєтухов // Оптичний журнал, 77, 8, 2010.-с. 54-60.

79. Файн, B.C. Розпізнавання зображень / B.C. Файн // М .: Наука, 1970.-284 с.

80. Форсайт, Д.А. Комп'ютерне зір. Сучасний підхід / Д.А. Форсайт, Дж. Понс // М .: Видавничий дім «Вільямс», 2004. 928 с.

81. Фу, К. Послідовні методи в розпізнаванні образів і навчання машин / К. Фу / М .: Наука, 1971. 320 с.

82. Фу, К. Структурні методи в розпізнаванні образів / К. Фу / М .: Мир, 1977.-320 с.

83. Фукунага, К. Введення в статистичну теорію розпізнавання образів / К. Фукунага / М .: Наука, 1979. 368 с.

84. Шелухін, О.І. Самоподібність і фрактали. Телекомунікаційні додатки / О.І. Шелухін, А.В. Осін, С.М. Смольський / Под ред. О.І. Шелухіна. М .: ФИЗМАТЛИТ, 2008. 368 с.

85. Шилов, А.С. Визначення руху (MotionEstimation) / А.С. Шилов, М.Н. Фаворська // Свідоцтво № 2009611014. Зареєстровано в Реєстрі програм для ЕОМ р Москва, 16 лютого 2009 р

86. Ш.Шлезінгер, М.І. Кореляційний метод розпізнавання послідовностей зображень / М.І. Шлезінгер / В кн .: які читають автомати. Київ: Наук.думка, 1965. с. 62-70.

87. Шлезінгер, М. І. Синтаксичний аналіз двовимірних зорових сигналів в умовах перешкод / ​​М.І. Шлезінгер // Кібернетика, № 4, 1976. - с.76-82.

88. Штарк, Г.-Г. Застосування вейвлетів для ЦГЗ / Г.-Г. Штарк / Ml: Техносфера, 2007. 192 с.

89. Шуп, Т. Прикладні чисельні методи в фізиці та техніці: Пер. з англ. / Т. Шуп / Под ред. С.П.Меркурьева; М .: Вища. Шк., 19901 - 255 с.11 "5. Електр, ресурс: http: // www.cse.ohio-state.edu/otcbvs-bench

90. Електр, ресурс: http://www.textures.forrest.cz/ електронний ресурс (база текстурних зображень textures library forrest).

91. Електр, ресурс: http://www.ux.uis.no/~tranden/brodatz.html електронний ресурс (база текстурних зображень Brodatz).

92. Allili M.S., Ziou D. Active contours for video object tracking using region, boundary and shape information // SIViP, Vol. 1, no. 2, 2007. pp. 101-117.

93. Almeida J., Minetto R., Almeida T.A., Da S. Torres R., Leite N.J. Robust estimation of camera motion using optical flow models // Lecture Notes in

94. Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) 5875 LNCS (PART 1), 2009. pp. 435-446.

95. Ballan L., Bertini M., Bimbo A. D., Serra G. Video Event Classification using String Kernels // Multimed. Tools Appl., Vol. 48, no. 1, 2009. pp. 6987.

96. Ballan L. Bertini M. Del Bimbo A., Serra G. Action categorization in soccer videos using string kernels // In: Proc. of IEEE Int "l Workshop on Content-Based Multimedia Indexing (CBMI). Chania, Crete, 2009. pp. 13-18.

97. Barnard K., Fan QF, Swaminathan R., Hoogs A., Collins R, Rondot P., and Kaufhold J. Evaluation of localized semantics: Data, methodology, and experiments // International Journal of Computer Vision, IJCV 2008, Vol. 77, no. 1-3,2008.-pp. 199-217.

98. Bertini M., Del Bimbo A., Serra G. Learning rules for semantic video event annotation // Lecture Notes In Computer Science; In: Proc. of Int "l Conference on Visual Information Systems (VISUAL), Vol. 5188, 2008. pp. 192-203.

99. Bobick A.F., Davis J.W. The recognition of human-movement using temporal templates // IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, no. 3, 2001. pp. 257-267.

100. Boiman O., Irani M. Detecting irregularities in images and in video // International Journal of Computer Vision, Vol. 74, no. 1, 2007. pp. 17-31.

101. Bresson X., Vandergheynst P., Thiran J.-P. A Variational Model for Object Segmentation Using Boundary Information and Shape Prior Driven4 by the Mumford-Shah Functional // International Journal of Computer Vision, vol. 68, no. 2, 2006.-pp. 145-162.

102. Cavallaro A., Salvador E., Ebrahimi T. Shadow-aware object-based video processing // IEEE Vision; Image and Signal Processing, Vol. 152, no. 4, 2005.-pp. 14-22.

103. Chen J., Ye J. Training SVM with indefinite kernels // In: Proc. of the 25th international conference on Machine learning (ICML), Vol. 307, 2008. pp. 136-143.

104. Cheung S.-M., Moon Y.-S. Detection of Approaching Pedestrians from a Distance Using Temporal Intensity Patterns // MVA2009, Vol. 10, no. 5, 2009. -pp. 354-357.

105. Dalai N., Triggs B., and Schmid G. Human detection using oriented histograms of flow and appearance // In ECCV, vol. II, 2006. pp. 428 ^ 141.

106. Dalai N., Triggs B. Histograms of Oriented Gradients for Human Detection // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), vol. II, 2005-pp. 886-893.

107. Dani A.P., Dixon W.E. Single camera structure and motion estimation // Lecture Notes in Control and Information Sciences, 401, 2010. pp. 209-229.

108. Datta Ri, Joshi D ;, Li J., and Wang J. Z1 Image retrieval: Ideas, influences, and trends of the new age // ACM "-Computing Surveys, Vol. 40 :, no: 2, 2008. ■ -pp. 1-60.

109. Dikbas S., Arici T., Altunbasak Y. Fast motion estimation with interpolation-free sub-sample accuracy // IEEE Transactions on Circuits and Systems for Video Technology 20 (7), 2010. -pp. 1047-1051.

110. Dollar P., Rabaud V., Cottrell G., Belongie S. Behavior recognition via sparse spatio-temporal features // In: Proc. 2nd Joint IEEE International Workshop on Evaluation of Tracking and Surveillance, VS-PETS, 2005. pp. 65-72.

111. Donatini P. and Frosini P. Natural pseudodistances between closed surfaces // Journal of the European Mathematical Society, Vol. 9, no. 2, 2007 pp. 231-253.

112. Donatini P. and Frosini P. Natural pseudodistances between closed curves // Forum Mathematicum, Vol. 21, no. 6, 2009. pp. 981-999.

113. Ebadollahi S., L., X., Chang S.F., Smith J.R. Visual event detection using multi-dimensional concept dynamics // In: Proc. of IEEE Int "l Conference on Multimedia and Expo (ICME), 2006. pp. 239-248.

114. Favorskaya M., Zotin A., Danilin I., Smolentcheva S. Realistic 3D-modeling of Forest Growth with Natural Effect // Proceedings of the Second KES International Symposium IDT 2010 Baltimore. USA. Springer-Verlag, Berlin, Heidelberg. 2010.-pp. 191-199.

115. Francois A.R.J., Nevatia R., Hobbs J.R., Bolles R.C. VERL: An ontology framework for representing and annotating video events // IEEE Multimedia, Vol: 12; no. 4, 2005. pp. 76-86.

116. Gao J., Kosaka A :, Kak A.C. A Multi-Kalman Filtering Approach for Video Tracking of Human-Delineated Objects in Cluttered "Environments // IEEE Com-puter Vision and Image Understanding, 2005, V. 1, no. 1. pp. 1-57.

117. Gui L., Thiran J.-P., Paragios N. Joint Object Segmentation and Behavior Classification in Image Sequences // IEEE Conf. on Computer Vision and Pattern Recognition, 17-22 June 2007. pp. 1-8.

118. Haasdonk B. Feature space interpretation of SVMs with indefinite kernels // IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 27, no. 4, 2005. pp. 482-492.

119. Harris C. and Stephens M. A combined corner and edge detector // In Fourth Alvey Vision Conference, Manchester, UK, 1988. pp. 147-151.

120. Haubold A., Naphade M. Classification of video events using 4-dimensional- time-compressed motion features // In CIVR "07: Proceedings of the6th ACM international confcrcnce on Image and video retrieval, NY, USA, 2007. -pp . 178-185.

121. Haykin S. Neural Networks: A Comprehensive Introduction. / N.Y .: Prentice-Hall, 1999; .- 658 pi.

122. Hoynck M., Unger M., Wellhausen J. and Ohm J.-R. A Robust Approach to Global Motion Estimation for Content-based Video Analysis // Proceedings of SPIE Vol. 5601, Bellingham, WA, 2004. pp. 36-45.

123. Huang Q., Zhao D., Ma S., Gao W., Sun H. Deinterlacing using hierarchical motion analysis // IEEE Transactions on Circuits and Systems for Video Technology 20 (5), 2010. pp. 673-686.

124. Jackins C.L., Tanimoto S.L. Quad-trees, Oct-trees and K-trees: A Generalized Approach to Recursive Decomposition of Euclidean Space // IEEE Transactions onPAMI, Vol. 5, no. 5, 1983.-pp. 533-539.

125. Ke Y., Sukthankar R :, Hebert Mi. Efficient visual event detection using volumetric features // In: Proc. of Int "l Conference on Computer Vision (ICCV), vol.1, 2005.-pp. 166-173.

126. Klaser A., ​​Marszalek M., and Schmid C.A Spatio-Temporal Descriptor Based on 3D-Gradients // In BMVC, British Machine Vision, Conference, 2008. -pp. 995-1004.

127. Kovashka, A., Grauman, К Learning a hierarchy of discriminative space-time neighborhood features for human action recognition // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010 року. pp.2046-2053.

128. Kumskov M.I. Calculation Scheme of the Image Analysis Controlled by the Models of the Objects to be Recognized // Pattern Recognition and Image Analysis, Vol. 11, no. 2, 2001. p. 446-449:

129. Kwang-Kyu S. Content-based image retrieval by combining genetic algorithm and support vector machine // In ICANN (2), 2007. pp. 537-545.

130. Lai C.-L., Tsai S.-T., Hung Y.-P. A study on the three-dimensional coordinate calibration using fuzzy system // International Symposium on Computer, Communication, Control and Automation 1, 2010. - pp. 358-362.

131. Laptev I. On space-time interest points // International Journal of Computer Vision, Vol. 64, no. 23, 2005. pp. 107-123.

132. Leibe B., Seemann E., Schiele B. Pedestrian Detection in- Crowded * Scenes // IEEE Conference on Computer Vision and "Pattern Recognition, Vol. 1, 2005.-pp. 878- 885.

133. Lew M. S., Sebe N., Djeraba C., and Jain R. Content-based multimedia information1 retrieval: State of the art and challenges // ACM Transactions on Multimedia Computing, Communications, and Applications, Vol. 2, no. 1, 2006. pp. 1-19.

134. Li J. and Wang J. Z. Real-time computerized annotation of pictures // IEEE Trans. PAMI, Vol. 30, 2008. pp. 985-1002.

135. Li L., Luo R., Ma R., Huang W., and Leman K. Evaluation of An IVS System for Abandoned Object Detection on PETS 2006 Datasets // Proc. 9 IEEE Intern. Workshop on PETS, New York, 2006. pp. 91-98.

136. Li L., Socher R., and Fei-Fei L. Towards Total Scene Understanding: Classification, Annotation and Segmentation in an Automatic Framework // IEEE Conference on Computer Vision and Pattern Recognition, CVPR, 2009. pp. 2036-2043.

137. Li Q., ​​Wang G., Zhang G.) Chen S. Accurate global motion estimation based on pyramid with mask // Jisuanji Fuzhu Sheji Yu Tuxingxue Xuebao / Journal of Computer-Aided Design and Computer Graphics, Vol: 21, no . 6, 2009. pp. 758-762.

138. Lindeberg T., Akbarzadeh A. and Laptev I. Galilean-diagonalized spatio-temporal interest operators // Proceedings of the 17th International Conference on Pattern Recognition (ICPR "04), 2004. pp. 1051-1057.

139. Lim J., Barnes, N. Estimation of the epipole using optical flow at antipodal points // Computer Vision and Image Understanding 114, no. 2, 2010. pp. 245-253.

140. Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision, Vol. 60, no. 2, 2004. pp. 91-110.

141. Lucas B.D., Kanade T. An Iterative Image Registration Technique with an Application to Stereo Vision // International Joint Conference on Artificial Intelligence, 1981. pp. 674-679.

142. Mandelbrot B; B. The Fractal Geometry of Nature / N.Y .: Freeman ^ 1982. 468 p .; русс, пров .: Мандельброт Б. Фрактальна, геометрія природи: Пер. з англ. / М .: Інститут комп'ютерних досліджень, 202. - 658 с.

143. Mandelbrot В.В., Frame M.L. Fractals, Graphics, and Mathematics Education / N. Y .: Springer-Verlag, 2002. 654 p.

144. Mandelbrot B.B. Fractals and Chaos: The Mandelbrot Set.and Beyond / N.Y .: Springer-Verlag, 2004. 308 p.

145. Memoli F. On the use of Gromov-Hausdorff distances for shape comparison // Proceedings of the Eurographics Symposium on Point-Based Graphics. Prague, Czech Republic, 2007. pp. 81-90.

146. Mercer J. Functions of positive and negative type and their connection with the theory of integral equations // Transactions of the London Philosophical Society (A), vol. 209, 1909. pp. 415-446.

147. Mikolajczyk K. Detection of local features invariant to affine transformations, Ph.D.thesis, Institut National Polytechnique de Grenoble, France. 2002.171 p.

148. Mikolajczyk K. and Schmid G. An Affine Invariant Interest Point Detector // Proceedings of ECCV. Vol. 1. 2002. pp. 128-142.

149. Minhas R., Baradarani A., Seifzadeh S., Jonathan Wu, Q.M. Human action recognition using extreme learning machine based on visual vocabularies // Neurocomputing, Vol. 73 (10-12), 2010. pp. 1906-1917.

150. Mladenic D., Skowron A., eds .: ECML. Vol. 4701 of Lecture Notes in Computer Science, Springer, 2007. pp. 164-175.

151. Moshe Y., Hel-Or H. Video block motion estimation based on gray-code kernels // IEEE Transactions on Image Processing 18 (10), 2009. pp. 22432254.

152. Nakada T., Kagami S ;, Mizoguchi H. Pedestrian Detection using 3D Optical Flow Sequences for- afMobile Robot // IEEE Sensors, 2008. pp: 116-119:

153. Needleman, S.B:,. Wunsch C.D; A general method applicable to the search for similarities in the * amino acid sequence of two proteins // Journal "of Molecular Biology Vol. 48, no: 3, 1970. pp. 443-453.

154. Neuhaus M., Bunke H. Edit distance-based kernel functions-for structural pattern classification // Pattern Recognition. Vol. 39, no. 10, 2006. pp: 1852-1863.

155. Nevatia R., Hobbs J., and Bolles B. An ontology for video event representation // In Workshop on Event Detection and Recognition. IEEE, Vol.12, no. 4, 2004. pp. 76-86.

156. Nguyen.N.-T., Laurendeau D :, Branzan-Albu A. A robust method for camera motion estimation in movies based on optical flow // The 6th International