На сайте "iemag.ru", опубликована статья Я.Шпунт "Большие данные в большом городе". В ней рассказывается об обработке больших массивов данных на транспорте. Полностью с материалом можно ознакомиться по ссылке.

В последнее время тема обработки больших массивов данных стала чрезвычайно популярной. В том числе и потому, что внедрение средств анализа способно в короткие сроки дать осязаемый эффект. При использовании традиционных инструментов ничего подобного добиться было бы невозможно.

Именно такой эффект может быть получен в задачах, относящихся к управлению транспортом, где эти средства уже применяются, причем все более активно. А первые внедрения таких систем относятся к концу 90-х годов прошлого века.

Источники данных, это прежде всего видеокамеры, которые фиксируют номера, скорость движения транспортных средств, плотность потока и целый ряд других параметров, в частности уровень выброса выхлопных газов. Не менее активно применяются датчики, также способные фиксировать информацию о плотности потока и скорости движения, но существенно дешевле, чем видеокамеры. Кроме того, информация с датчиков не требует предварительной обработки, что позволяет более оперативно отслеживать ситуацию на отдельных участках дорог.

Источником информации до установки видеокамер и датчиков являются данные статистики. Тут ситуация двоякая. С одной стороны, они скорее всего уже есть в различных системах. С другой — этих систем может быть довольно много, и импорт данных из них может быть весьма непростой задачей. Например, потому, что они хранятся на устаревших носителях, которые невозможно прочитать, или в давно не используемых файловых форматах, не поддерживаемых современным ПО. Кроме того, в статистику попадает далеко не вся необходимая информация. Например, в Нидерландах фиксируется около 1,5 млн. ДТП в год, из которых полицией учитывается не более 300 тысяч. Остальные же не фиксируются, поскольку инциденты эти не отвечают признакам, описанным в соответствующих регламентах.

Не менее ценным источником информации являются системы спутникового мониторинга транспорта. Тем более, что оснащение такими системами отдельных видов и категорий является обязательным. Это, например, все без исключения морские суда и большая часть самолетов и вертолетов. В России, Швеции и Японии законодательство требует оснащать системами навигации автотранспорт, перевозящий пассажиров и опасные грузы, а также экстренные службы. Многие предприятия оборудуют свой транспорт навигационными системами в добровольном порядке, так как это позволяет решить многие проблемы, прежде всего связанные с обеспечением трудовой дисциплины и сокращением расхода горюче-смазочных материалов. Применяются навигационные системы и в целом ряде противоугонных средств, использование которых существенно снижает расходы на страхование. Данные с систем мониторинга могут считываться как в режиме онлайн, так и по прибытии в диспетчерский пункт.

Все эти источники в полном объеме относятся к категории больших данных. В отношении данных с камер, представляющих собой неструктурируемую информацию, для обработки которой необходимы средства анализа образов, это утверждение просто не требует доказательства. Да и информацию с датчиков принято обрабатывать с помощью методов анализа и разбора больших данных. К тому же они накапливаются за длительные периоды, иначе ни о какой аналитике не может быть и речи. В итоге приходится иметь дело с очень большими постоянно пополняющимися объемами.

Как уже было сказано выше, централизованные средства планирования и анализа транспортной ситуации с помощью геоинформационных систем (ГИС) начали использоваться с конца 90-х. Это дало возможность сопоставлять данные из разных источников, которые раньше хранились в различных системах. Скажем, в такой относительно небольшой стране, как Нидерланды, базы данных, относящиеся к разным элементам транспортной инфраструктуры, были созданы с использованием десяти языков программирования. И такая ситуация продолжалась до 1998 года, когда была внедрена централизованная ГИС. «Раньше, как только мы хотели обратиться к данным, чтобы выяснить, например, взаимосвязь между числом транспортных происшествий и состоянием дорожного покрытия на определенном участке дороги, мы могли связать информацию, находящуюся в разных базах данных, только вручную, — отметил Элс Рейниерс, менеджер по системным разработкам из Центра исследований Министерства транспорта, общественных работ и управления водными ресурсами Нидерландов. — Сегодня наша информация объединена, поэтому мы можем делать с ней гораздо больше, чем когда-либо прежде».

В частности, раньше решение такой задачи, как сопоставление количества ДТП и состояния дорожного покрытия, требовало большого объема операций и могло быть проведено, по большому счету, только в ручном режиме. Использование же ГИС позволяет, к примеру, планировать доставку грузов водным транспортом, учитывая глубину каналов и высоту мостов. Компании, в чьем ведении находится участок дороги, могут просмотреть информацию по данному участку, относящуюся к использованию транспортных средств в течение дня, чтобы определить, как строительство сказывается на дорожном движении, и выбрать оптимальное время для проведения дорожных работ.

Сюда же стоит отнести и такое хоть и непопулярное, но действенное средство, как автоматическое начисление штрафов за нарушение скоростного режима. А без анализа неструктурируемых данных об этом также не могло бы быть и речи.

Необходимо добавить, что довольно давно существуют средства, позволяющие определять оптимальную скорость движения в зависимости от загрузки того или иного участка дороги. Кстати, появился такой инструментарий благодаря операторам платных участков на автомагистралях, и цель его состояла в том, чтобы обеспечить балансировку нагрузки на пунктах оплаты. В самом скором времени средства автоматического контроля скорости движения будут внедрены и у нас, в частности, на трассе «Дон». Вместе с тем не все так просто. Например, в России указатель скорости на участке дороги, где работает такая система, не будет считаться дорожным знаком; в итоге нарушителя крайне трудно привлечь к ответственности.

Чего ждать в будущем? Прежде всего будут совершенствоваться системы, которые есть уже сейчас. Известно, что городская улица и скоростная трасса — это, как говорится, две большие разницы. В городе плотность потока больше, а длина участков меньше. В итоге требуется большая оперативность реагирования на те или иные события. Да и одной лишь скоростью управление движением не исчерпывается: есть и светофоры, и переход к одностороннему движению, а то и полностью закрытые участки для определенных видов транспорта. Так что система, рассчитанная на использование в городе, будет заметно сложнее. И тем не менее работы над такими системами, насколько нам известно, уже идут, и ждать их внедрения осталось совсем недолго.

Будут совершенствоваться и возможности, связанные с использованием средств анализа, в частности, выявляющих неявные закономерности. Тут даже на нынешнем уровне развития можно обнаружить целый ряд болевых точек и найти средства их устранения. Всё упирается в отсутствие подготовленных кадров. Впрочем, сфера интеллектуальных транспортных систем ИТС тут не исключение…

Другой перспективной областью применения может стать проектирование дорожной сети при расширении и реконструкции городов. При этом современные средства анализа позволяют не только оценить ситуацию на момент окончания работ, но и заглянуть в будущее, а значит, решить вопросы, которые пока незаметны, а в дальнейшем могут стать источником серьезных проблем.