На сайте GPS Клуб опубликована статья "Совместная навигация в переменных условиях". Приводим материал полностью. Источник перевода доступен по ссылке.

Понятие совместной деятельности применимо не только к людям или иным живым организмам, но и к неодушевленным объектам. Ученые разработали системы, состоящие из миниатюрных роботов и беспилотных аппаратов, которые работают совместно для выполнения единой задачи. В функции этих платформ должна входить навигация, так как процесс навигации становится непрерывным и более точным, если платформы выполняют ее совместно, а не автономно. Этого можно добиться при помощи обмена данными сенсоров, осуществляемого посредством беспроводных технологий ближнего действия, таких как Wi-Fi, сверхширокий диапазон или набор коммуникационных протоколов ZigBee для малых цифровых радиоприемников с низким энергопотреблением на основе стандартов персональных сетей Института инженеров по электротехнике и электронике.

Для совместной навигации можно использовать самые разнообразные навигационные сенсоры в зависимости от того, где будет использоваться система – на открытом воздухе, внутри помещений или в различных условиях эксплуатации. Помимо GPS и прочих глобальных навигационных спутниковых систем могут использоваться инерциальные измерительные блоки, наземные радионавигационные системы, лазерная и акустическая дальнометрия и системы на основе изображений.

Здесь будет описано обсуждение группой специалистов из Университета штата Огайо (OSU) находящейся в разработке системы совместной навигации в переходных условиях – условиях, при которых наличие одной только системы GPS не является достаточным для обеспечения непрерывной и точной навигации. Опытный образец системы включает в себя аппарат наземного размещения и человека-оператора, переносящего сенсор типа «персональный навигатор». Сначала и аппарат, и человек осуществляют навигацию вместе, но после этого персональный навигатор перемещается в помещение. Система может применяться в различных областях, в том числе специалистами экстренных служб.

Совместная навигация – это недавно появившаяся область, в которой группа пользователей совместно осуществляет навигацию, обмениваясь навигационной информацией и информацией о расстоянии между самими пользователями. Модель была представлена в качестве альтернативы навигации в тех местах, где система GPS недоступна. Как бы то ни было, большинство имеющихся систем и подходов основываются на фиксированных типах и количестве сенсоров на одного пользователя или платформу, что ведет к ограничениям в навигации, а именно в смешанных или переходных условиях использования.

В качестве примера использования можно представить команду спасателей, передвигающихся в транспортном средстве, а после принятия вызова продолжающих осуществлять навигацию уже в совместном режиме, обращаясь к навигационным данным других пользователей и транспортных средств. Такой подход предназначен для обеспечения непрерывной навигации рассредоточенных объектов в переходных условиях использования, например, при перемещениях между открытыми зонами, частично загражденными зонами и помещениями, когда пользователям требуется непрерывная и высокоточная навигация.

Специалисты из Университета штата Огайо разработали системы, использующие несколько сенсоров и технологий связи, для того чтобы выяснить возможности такой совместной навигации. Для экспериментов были выбраны две платформы – наземное транспортное средство и человек-оператор, несущий персональный навигатор (PN), изначально вместе осуществляющие навигацию, после чего персональный навигатор перемещается в помещение.

В этой статье мы опишем модель совместной навигации, разработанные системы и использованные алгоритмы, а также представим результаты некоторых испытаний. Основная цель данного исследования – перемещение из одной обстановки в другую и навигация в помещениях (indoor-навигация) на основе трехмерных изображений, изначально в режиме постобработки, а затем с переходом в режим реального времени.

Модель

Совместная навигация, также именуемая кооперативной навигацией или позиционированием представляет собой метод определения местоположения, происходящий из беспроводных сенсорных сетей (WSN). Обычно узловые точки в сетях WSN могут связываться друг с другом, используя беспроводные технологии связи по таким стандартам как Zigbee/IEEE 802.15.4. Сигналы связи в сетях WSN используются для получения информации о расстояниях между узловыми точками внутри сети. Затем формируются данные совместной навигации в результате объединения данных о расстояниях между точками (пользователями) в сети с использованием централизованного / децентрализованного фильтра Калмана или подхода на основе наименьших квадратов.

Сдвиг парадигмы от единичной к мультисенсорной и мультиплатформенной навигации концептуально представлен на Рисунке 1. И если интеграцию сенсоров и системы, состоящие из интегрированных сенсоров, увидеть в навигации можно уже давно, то сенсорные сети интегрированных сенсорных систем являются относительно свежей разработкой в области навигации. На Рисунке 2 представлена модель совместной навигации, где основное внимание уделено именно перемещению между меняющимися окружающими условиями. В реальной жизни такие сети могут быть сформированы солдатами, командами спасателей и группами роботов или беспилотных аппаратов, а основная цель такой сети – обеспечение достаточного уровня навигационной точности в условиях отсутствия GPS-сигналов и беспрепятственная смена сенсоров, платформ и окружающих условий.


Рисунок 1. Сдвиг парадигмы сенсорной интеграции в навигационной модели


Рисунок 2. Совместная навигация и перемещение между окружающими условиями

Осенью 2011 года были проведены эксперименты в Университете штата Огайо, а весной 2012 года – в Ноттингемском геопространственном институте при Университете Ноттингема. В ходе экспериментов использовались обновленный прототип персонального навигатора, разработанный ранее в Лаборатории позиционирования и инерциальной навигации при Университете штата Огайо, и наземные мультисенсорные транспортные средства. Стоит отметить, что прототип персонального навигатора – это не компактная система, а блок сенсоров, объединенных с использованием коммерчески доступных компонентов, выполненный для демонстрационных целей.

Мобильная исследовательская навигационная и картографическая платформа Университета штата Огайо, именуемая GPSVan (см. Рисунок 3), и недавно обновленный прототип персонального навигатора (см. Рисунок 4) совместно выполнили несколько маневров, собрав данные нескольких GPS-приемников, инерциальных измерительных блоков, датчиков изображения и прочих устройств. Часть полученных данных использовалась для демонстрации навигации внутри помещений и при смене окружающих условий. Это именно та часть экспериментов, которая будет обсуждаться в данной статье.


Рисунок 3. Наземное транспортное средство, GPSVan, разработанное в Университете штата Огайо


Рисунок 4. Блок сенсоров типа «персональный навигатор»

Платформа GPSVan была оборудована навигационными, тактическими и инерциальными измерительными MEMS-блоками, установленными в неподвижной двухуровневой металлической клетке, а сигналы от двух GPS-антенн, размещенных на крыше, передавались на двухчастотные геодезические GPS-приемники. Помимо этого, записывались данные одометра, а в некоторых тестах производился захват оптических изображений.

Первый прототип персонального навигатора, разработанный в 2006-2007 годах, использовал GPS, инерциальный измерительный блок, цифровой барометр, компас с магнитометром, модель движений человека и трехмерный активный сенсор изображения Flash LIDAR. Не так давно дизайн прототипа подвергся обновлению: появились 2D/3D-сенсоры изображения для более точного определения местоположения и расположения внутри помещения и упрощения процедуры смены окружающей обстановки. Соответственно, текущая конфигурация прототипа позволяет лучше оценивать расстояние на всех платформах, как внутри помещений, так и на открытом воздухе, а кроме того повышает общую производительность навигации и слежения.

Тестовая зона, на которой происходил сбор данных для данного исследования, показана на Рисунке 5. Она включает в себя открытую парковочную площадку, места с умеренным растительным покровом, узкую аллею между зданиями и одноэтажное здание для проведения тестов indoor-навигации. Вот три типичных сценария, которые были использованы:

1) Калибровка сенсора/платформы: GPSVan и персональный навигатор соединены и осуществляют навигацию вместе.
2) Обе платформы двигались на близком расстоянии друг от друга, а именно, GPSVan следовал по траектории персонального навигатора.
3) Обе платформы двигались независимо друг от друга.



Навигация на основе изображений

В этой статье особый интерес представляет сенсор изображения, включающий в себя два раздельных потока данных: изображение стандартной яркости и 3D-изображение для измерения расстояния (см. Рисунок 6). Сенсор состоит из группы инфракрасных детекторов с разрешением 640 х 480 точек. Рабочий диапазон сенсора составляет 0,8-10 метров, а разрешающая способность – 1 см на расстоянии 2 м.


Рисунок 6. Персональный навигатор захватил последовательность трехмерных изображений внутри здания

В исследовании рассматривалась навигация на основе изображений (без использования инерциальных измерительных блоков). Чтобы преодолеть это ограничение, для получения важной информации использовались изображения стандартной яркости, полученные одновременно с данными о расстоянии. Два изображения были обработаны с использованием алгоритма Scale Invariant Feature Transform (SIFT), предназначенного для обнаружения совпадений на двух плоских (2D) изображениях.

До настоящего времени алгоритм SIFT применялся к 1D- и 2D-изображениям; авторам неизвестны какие-либо попытки применения SIFT к трехмерным наборам данных в исследованиях позиционирования. Анализ в лаборатории подтверждает опубликованные результаты, касающиеся исключительных показателей SIFT в повторяемости и извлечении данных. Алгоритм устойчив к большинству повреждений изображений несмотря на то, что основным его недостатком является белый шум более 5%. Недостатки алгоритма проявляются в трех критических областях, касающихся обеспечения 3D-позиционирования. Во-первых, алгоритм тяжело масштабируется в вопросах числа описательных точек, а именно, алгоритм неприменим к большому числу пикселов (более 5000). Во-вторых, процесс совпадения не однозначен; для алгоритма легко выполнимо соотнести одну точку на одном изображении с несколькими точками на другом изображении. И, наконец, его возможности подбора схожих элементов работают с ошибками в триангуляции и трилатерации. Учитывая все перечисленные проблемы, алгоритм SIFT был признан неподходящим методом для позиционирования в режиме реального времени на основе наборов данных 3D Flash LIDAR.

Необходимый алгоритм был разработан и применен одним из соавторов исследования. В алгоритме используются «сигнатуры» собственных векторов точечных деталей как средство, облегчающее процесс поиска совпадений. Алгоритм состоит из 4-х шагов:

1) Сегментация.
2) Трансформация системы координат.
3) Сопоставление деталей.
4) Определение положения и ориентации.

Алгоритм использует дескрипторы собственных векторов для слияния точек настолько, насколько это возможно, переводя их на поверхность, и идентифицирует пикселы, соответствующие переходам между поверхностями. Используя первоначальные приблизительные расчеты системы на базе инерциальных измерительных блоков, результаты из предыдущей системы координат были переведены в текущую систему при помощи методологии RANSAC (Random Sampling Consensus). Совпадение статических переходных пикселов проходило посредством сравнения «сигнатур» собственных векторов внутри ограниченного поискового окна. После того как совпавшие детали были распознаны и признаны статическими, для определения положения и ориентации устройства захвата данных был использован кватернион закрытой формы, а результат обновил данные инерциальной системы аналогично GPS-приемнику в GPS/IMU-интеграции. Данный алгоритм уникален тем, что пороговые механизмы на каждом этапе получены из самих данных, а не на основе априорных ограничений. В связи с тем, что алгоритм использует для сопоставления только переходные пикселы, применяется значительное понижение размерности с последующим применением к более крупным блокам данных.

Ключевым элементом данного обзора является то, что в алгоритм трехмерного сопоставления необходимо внести приблизительную информацию о местоположении, чтобы в поисковом пространстве совпали сигнатуры собственных векторов. Так как данные инерциальных измерительных блоков были недоступны, совпадающие детали SIFT на изображениях стандартной яркости были соотнесены с соответствующими данными о пиксельных расстояниях, а эти данные о расстояниях затем были использованы в методе Хорна для получения приблизительных корректировок между последовательными блоками дальностных изображений. После этого запускается описанный выше алгоритм трехмерного сопоставления расстояний.

Использование алгоритма SIFT для получения начальных совпадений между изображениями влечет за собой принятие нескольких серьезных проблем помимо ранее перечисленных ограничений. Во-первых, так как алгоритм SIFT сравнивает 2D-детали на изображении, нет никакой гарантии того, что совпадающие детали представляют собой статические элементы в поле обзора. К примеру, SIFT может легко «сопоставить» логотип на футболке движущегося человека; так как полученные данные будут содержать информацию о нестатических элементах, итоговые корректировки могут содержать значительные отклонения (в положении). Если эти отклонения окажутся значительными, ограничение поискового пространства может оказаться недопустимым, так как в результате невозможно будет сгенерировать совпадения собственных векторов (в худшем случае) или увеличится поисковое время (в лучшем случае). В связи с тем, что алгоритм трехмерного сопоставления расстояний проверяет два дальностных изображения на соответствие перед началом сравнения, это смягчает конечный результат. Во-вторых, детали SIFT расположены в субпиксельном пространстве, поэтому соотношение с дальностным пиксельным изображением неизбежно приведет к ошибке в ±1 пиксел (строка и столбец). Из-за этой ошибки дальностные пикселы, используемые для грубых корректировок, могут оказаться некорректными; корректный дальностный пиксел для сопоставления может быть не выбран. В результате это приведет к еще большим ошибкам в процессе начальной (грубой) корректировки. В-третьих, недостоверность грубых корректировок неизвестна, а потому появляется необходимость в проведении априорных расчетов эллипса ошибок для построения поискового пространства собственных векторов. Размер и объем эллипсов ошибок не определен данными в реальном времени, что ослабляет один из ключевых элементов алгоритма трехмерного сопоставления. В-четвертых, ограниченная зона действия сенсора изображения приводит к ситуации, в которой детали изображения не содержат соответствующих данных о расстоянии (деталь находится вне зоны действия устройства). Это ограничивает эффективное использование возможностей алгоритма SIFT для грубого выравнивания. Как бы то ни было, использование яркостных изображений демонстрирует возможность алгоритма трехмерного сопоставления расстояний использовать информацию о грубых корректировках и конкретизировать результаты для обеспечения навигационного решения.

Анализ данных

В эксперименте, описанном в данной статье, персональный навигатор изначально передвигался на платформе GPSVan. После выполнения нескольких кругов на парковочной площадке (верхняя часть Рисунка 5) персональный навигатор покинул пределы транспортного средства и вошел в здание (см. Рисунок 7), покинул его, совершил траекторию вокруг второго здания (обозначенного как «смешанная зона» на Рисунке 5) и вернулся на парковочную площадку.


Рисунок 7. Здание, используемое в качестве элемента тестовой траектории для испытаний в закрытом и переходном пространстве; желтая линия: номинальные траектории персонального навигатора внутри здания; стрелки: направление движения персонального навигатора внутри здания; вставка: реконструированный участок траектории, основанный на навигации на базе изображений

И хотя кратковременное отсутствие GPS-сигнала возможно и под листвой деревьев, наиболее важная часть проделанной траектории – это траектория внутри здания, так как на этом участке платформа с персональным навигатором неспособна принимать сигналы GPS. Все попытки в исследовании нацелены на получение альтернативных методов позиционирования для преодоления этого важного промежутка.

Используя комбинированные яркостные изображения (для грубой корректировки с помощью алгоритма SIFT) и трехмерные данные о расстоянии, при помощи суперкомпьютера Университета штата Огайо была получена траектория для передвижения внутри здания. Между выходом из здания и фиксацией GPS-сигнала имеется ограниченный интервал времени, в течение которого получение информации о расстоянии недоступно; таким образом, общее расстояние, пройденное при отсутствии сигнала GPS не совпадает с расстоянием, где для позиционирования используются решения на основе трехмерного определения расстояния. По нашим оценкам, расстояние между точкой фиксации GPS-сигнала и последней точкой, полученной при помощи выше названных решений, составляет около 3-х метров. С учетом этого расчета расстояние, пройденное внутри здания, должно составлять примерно 53,5 метра (вперед), 9,5 метров (вправо) и 0,75 метров (по вертикали). На основе этих данных можно рассчитать общее расхождение на базе положений, полученных при помощи трехмерного определения расстояния. Данные представлены в Таблице 1. Звездочкой в третьей строке обозначен оценочный характер этих значений.


Таблица 1. Приблизительные позиционные результаты для траектории, полученные при помощи суперкомпьютера Университета штата Огайо

Средняя позиционная неточность отражает относительную межкадровую погрешность алгоритма во время траектории внутри здания. Она содержит данные как инерциальных измерительных блоков, так и решений для трехмерного расчета расстояния. Довольно большие расхождения в продольном и вертикальном направлениях являются следствием трех различных проблем. Во-первых, сенсор определения расстояния на основе изображения имеет ограниченную зону действия; на некоторых отрезках траектории сенсор становится практически «слепым» из-за отсутствия в зоне видимости деталей, поддающихся измерению. В этот промежуток времени алгоритм должен обращаться к данным инерциальных измерительных блоков, которые, как известно, отличаются сомнительностью. Во-вторых, взаимосвязь между деталями SIFT и пикселами с данными о расстоянии может привести к ошибкам. В-третьих, в данной демонстрации положения на основе трехмерного измерения расстояния и данные инерциальных измерительных блоков не были объединены; положения на основе измерения расстояния использовались для замены сигнала GPS, а инерциальные измерительные блоки находились в дрифте.

Исследование технической применимости, проводимое на другой площадке, было проведено с использованием той же платформы и методологии. В этом исследовании путь полностью был проложен внутри здания, формируя траекторию прямоугольной формы с возвращением на точку входа. Схематическое изображение полученных результатов показано на Рисунке 8. Расхождение не превышает 4-х метров в направлениях прямо (z) и вправо (x). Наряду с тем, что подобные результаты получаются при дрифте инерциальных измерительных блоков (из-за слабой интеграции с данными о расстояниях), возникает ряд проблем во взаимосвязи SIFT-деталей и пикселов с данными о расстоянии; стоит обратить внимание на «скопление» точек данных, на которых алгоритм пытается устранить разногласия между приблизительными положениями (на основе SIFT) и положениями, полученными на основе измерения расстояний.


Рисунок 8. Сценарий внутри помещения: траектория прямоугольной формы

Заключение

Определение положения на основе трехмерных дальностных измерений в будущем может иметь определенные потенциальные преимущества при возникновении проблем с навигацией в зонах отсутствия GPS-сигнала. Эксперимент демонстрирует несколько существенных фактов применения в ходе продолжающихся исследований. Во-первых, первостепенным является эффективная дальностная зона действия сенсора; банальная (но существенная) необходимость получения данных является основой успешного результата. Главная проблема – наличие совпадающих SIFT-деталей и отсутствие соответствующих дальностных измерений. Во-вторых, информация об ориентации настолько же критична, как и информация о положении; отсутствие этой информации значительно увеличивает время, затрачиваемое на сравнение деталей (через сигнатуры собственных векторов). В-третьих, очень важно, чтобы сенсор сканировал не только в продольном направлении (по ходу траектории), но также вправо/влево и вверх/вниз. Получение деталей по всем осям позволит минимизировать эффект дрифта инерциальных измерительных блоков, особенно по вертикали. Той же цели может способствовать расширенное поле обзора. И наконец, алгоритм не был полностью интегрирован в качестве замены GPS-позиционирования, а инерциальный измерительный блок находился в дрифте. В связи с тем, что алгоритм трехмерного сопоставления изображений не гарантирует единое решение для всех точек входа, дополнительно требуется позиционирование при помощи инерциальных измерительных блоков, способное заполнить отсутствующие информационные блоки.

Исследование показывает, что использование трехмерных изображений с информацией о расстоянии в будущем позволит достигнуть высоких результатов в indoor-навигации. Использование алгоритма SIFT для сравнивания яркостных изображений оказалось неудачной необходимостью; метод технически применим, но все попытки использования подтвердили значительные недостатки данного применения, как в вопросах эффективности, так и точности позиционирования. Для получения наилучшего результата рекомендуется использовать данные инерциальных измерительных блоков с данными об ориентации.