Как на транспорте большие данные превратились в ценный актив. Большие данные для большого города Технология big data на транспорте

«Мегафон» разработал и представил в пользование «дочкам» РЖД тестовую версию сервиса для анализа пассажироперевозок, основанную на «больших данных», сообщает РБК со ссылкой на представителя оператора Максима Мотина. Инструмент помогает определить размер и подробные характеристики рынка перевозок, а также долю транспортной компании на нем в режиме, близком к реальному времени.

Сейчас идет подготовительная работа по внедрению системы для анализа Big Data, подтвердил начальник отдела ERP-систем (системы для планирования ресурсов предприятия) управления информационных технологий ФПК РЖД Олег Емченко. «В какой-то конкретный проект это может воплотиться только в 2016 году», - сказал Емченко.

Сервис геоаналитики «Мегафон» запустил еще в 2013 году, первоначальной целью было прогнозирование нагрузок на сеть. С его помощью можно оценить точный объем пассажиропотока, получить информацию о маршрутах (кто, когда, откуда и куда направляется), раскладку по видам транспорта. Сервис также оценивает платежеспособность пассажиров и характер путешествий (деловые поездки, туризм, личные нужды). Все данные обезличены.

Можно анализировать более 10 тысяч событий в секунду по более чем тысячи параметрам, уточнил директор «Мегафона» по сегментному маркетингу и клиентской аналитике Роман Постников. За три года накоплено уже более 5 петабайт информации - объем, сопоставимый с более чем 30 миллиардов фотографий на Facebook. Постников уверяет, что под каждого клиента определяется свой список параметров для анализа, то есть фактически речь идет об универсальном облачном решении, которым могут пользоваться абсолютно разные по типу заказчики, нуждающиеся в анализе больших массивов данных.

В «Мегафоне» подсчитали, что транспортные компании в России тратят на исследования пассажиропотоков более 1,2 миллиарда рублей ежегодно. «При этом сами компании могут собирать лишь часть доступных им данных, а наш сервис дает возможность увидеть всю картину рынка в целом», - утверждает Постников. Даже если благодаря внедрению сервиса перевозчик сможет увеличить свою долю на общем рынке пассажироперевозок на 1,5–2%, то это миллиарды рублей, говорит он.

Решения Big Data можно применять также для управления городской инфраструктурой. Экспертный центр электронного государства, правительство Москвы собирается заключить контракт, в рамках которого город в течение двух лет будет получать агрегированные обезличенные геопространственные данные пользователей местных операторов связи в 11 различных разрезах. Потребителями этой информации станут ГУП «НИ и ПИ Генплана Москвы», департамент транспорта и развития дорожно-транспортной инфраструктуры, департамент культуры и другие столичные ведомства.

Москва – огромный мегаполис с 11 979 529 жителей, по данным переписи населения 2013 года. Каждый из них ездит на работу, пользуется мобильным телефоном (а то и не одним), спускается в метро, стоит в пробках. За всем этим следят городские службы, государственные органы, частные компании, предоставляющие различные сервисы. Тысячи видеокамер, сотни тысяч датчиков, мониторов, которые контролируют жизнь города, миллионы мобильных телефонов, 3G/4G-модемов. А все вместе это миллиарды источников данных, обрабатывая которые можно получить информацию для дальнейшего планирования развития города, управления его транспортными потоками, обеспечения безопасности мегаполиса. Одним из немногих инструментов, способных справиться с обработкой такого количества информации, являются решения класса Big Data. Для начала рассмотрим, где они могут быть использованы.

Плотность проживания населения и данные о перемещении жителей

Основным инструментом определения численности и структуры населения, его распределения по местности на текущий момент является перепись. Основной недостаток переписи – стоимость её проведения и отсутствие данных о движении жителей. Источником информации для переписи служат сами жители, опрос которых проводится по месту их проживания.

Какие преимущества может предоставить использование решений Big Data? Для ответа на данный вопрос сначала определим, какие данные нам необходимы:

• где ночуют и работают жители;
• откуда и куда они ездят в будни и выходные;
• каким транспортом пользуются москвичи и гости столицы;
• откуда приезжают в город и зачем.

Для сбора этой информации нам в первую очередь необходимо определиться с источником данных и методом их анализа. Для определения местоположения жителя самым оптимальным является использование данных о местоположении его сотового телефона (он всегда с собой). Как это сделать?

Можно получить:

• данные от сотовых операторов о местоположении телефонного аппарата;
• данные от специализированных сервисов (таких, как “Яндекс.Пробки”);
• данные от мобильных приложений со встроенным функционалом определения местоположения, предоставляемых городом для удобства жителей.

Для анализа полученной информации могут быть использованы различные алгоритмы в зависимости от источника, формата, способа их предоставления. Но вот основные положения.

Определение места, где ночуют жители и где работают, может быть получено путем анализа данных о перемещении и совершённых действиях. Например, периодическое отсутствие звонков с 22:00 до 7:00 и отсутствие перемещения покажет, где человек живет, а отсутствие перемещений в рабочие часы – где тот же человек работает, причем одним из критериев, повышающих точность, будет наличие активности телефонного аппарата абонента в данном местоположении. Здесь же можно будет определить, как часто человек перемещается в рабочее время, сколько людей в городе занимают должности, связанные с постоянным передвижением (курьеры, водители и другие профессии).

Определение направления перемещений жителей осуществляется аналогично, по тем же данным о перемещении абонентов сотовой связи, и позволяет выделить основные потоки перемещений местных жителей, приезжих, трудовых мигрантов, собрать статистику перемещений по районам и направлениям, узнать, как часто жители и гости посещают магазины, культурные мероприятия, городские достопримечательности, а также насколько популярны те или иные места в городе.

Отслеживая скорость перемещения и посещённые места, можно выделить, каким транспортом пользуется человек: автомобиль, метро, наземный общественный транспорт, междугородный транспорт.

Анализ работы городской инфраструктуры и обеспечение безопасности населения

Большое количество светофоров, систем управления городским движением, систем видеорегистрации событий (камеры наблюдения), контроль общественного транспорта в рамках города с населением более миллиона человек требует скоординированного подхода в управлении и централизации данных. Одной из проблем, выявленных в свое время при внедрении систем общегородского видеонаблюдения, стала невозможность контроля происходящих событий (например, с целью выявления неправомерных действий) силами оперативных дежурных. Учитывая текущие возможности современных технологий, становится возможным создание единых распределённых систем, обеспечивающих как распознавание событий по различным источникам (системы регулирования движения, камеры наблюдения и прочие), так и их аналитику с целью оперативной реакции: вызов полиции, сотрудников ремонтных организаций, иных оперативных служб города. Другим применением решений Big Data является распределенное и длительное хранение собранной информации, осуществление поиска необходимых данных и связанных с ними событий. Чем было вызвано то или иное изменение ситуации в городе, какие события ему предшествовали, на кого они повлияли – вот маленькая часть вопросов, на которые позволяют ответить «большие данные».

Сопоставление данных

Одним из ключевых моментов происходящих событий является определение характеристик объектов, в них участвующих. Для сбора данных могут быть использованы совершенно различные источники: например, для данных, полученных от оператора сотовой связи, – характеристики физического лица, на которого зарегистрирована сим-карта, для систем наблюдения – сведения от систем распознавания лиц, ведомственные базы данных. Одним из ключевых моментов является возможность анонимизации информации, исключения персональных составляющих при передаче данных от различных владельцев, источников.

Основные проблемы

И всё же во всём этом есть ложка дегтя. Основной проблемой всех интеграционных решений, особенно если обмен данными осуществляется между разными ведомствами, организациями, являются законодательные ограничения, которые не позволяют предоставлять данные в том виде, в котором они существуют. Как следствие – требуется предварительная их обработка на стороне владельца.

Итого

Подводя итог, хотелось бы отметить, что современные технологии обработки “больших данных” позволяют предоставить городу значительно больше, чем существующие ИТ-сервисы. При этом не требуется обновлять существующую инфраструктуру, так как могут быть использованы те источники данных, которые есть в настоящий момент.

С помощью решений класса Big Data можно повысить удобство жителей города и его гостей, уменьшить количество пробок не за счёт ограничений на въезд в город, а путём управления транспортными потоками, снизить количество преступлений благодаря оперативной реакции, повысить качество предоставления городских услуг вследствие их оперативного и автоматического контроля.

Столице уже много лет предрекают транспортный коллапс из-за стремительного роста числа автомобилей на ее улицах. Однако интеллектуальная транспортная система, внедряемая в городе в последние годы, не дает этому прогнозу сбыться. О том, как в столице управляют дорожным движением, рассказал Александр Поляков, директор научно-исследовательского и проектного института городского транспорта города Москвы (ГУП «МосгортрансНИИпроект»), который с 2013 года курировал вопросы развития транспортной аналитики, построения информационных систем и разработки комплексных программ развития транспортной инфраструктуры, будучи в должности заместителя руководителя Центра организации дорожного движения Правительства Москвы. На форуме BIG DATA 2017, проведенном издательством «Открытые системы» 29 марта, он рассказал о том, как московский транспортный комплекс использует Большие Данные для развития интеллектуальной транспортной системы, как на их основе создаются системы, управляющие дорожным движением, о том, как для решения наших задач можно использовать средства виртуальной и дополненной реальности.

- Когда началась «оцифровка» московского транспорта?

Началось все с постановления о развитии интеллектуальной транспортной системы в городе, которое Правительство Москвы утвердило 11 января 2011 года.

С тех пор Департамент транспорта проводит работу по развитию транспортной инфраструктуры, применяя современные информационные системы.

В рамках проекта в 2014 году был создан ситуационный центр ЦОДД, специалисты которого отвечают за организацию дорожного движения и все задействованные в работе этого центра системы, в том числе позволяющие осуществлять управление светофорами и камерами телеобзора, мониторинг условий дорожного движения, визуальное информирование участников дорожного движения, фото- и видеофиксацию нарушений управления наземным городским пассажирским траспортом.

- Проекты каких стран брались за образцы?

Во внимание был принят опыт европейских государств, в частности Испании и Германии, учитывался также опыт Сингапура, Гонконга, ряда городов США. Но при этом мы понимали, что каждый город уникален, поэтому транспортная инфраструктура Москвы развивается по своему сценарию, не говоря уже о нагрузках на улицы. Сейчас, скажем, по Москве едут 683 тыс. автомобилей.

- Как сейчас устроено управление дорожной ситуацией в столице?

За последние годы в рамках транспортного комплекса Москвы создан ряд ИТ-систем, которые решают различные задачи в этой области, в том числе с использованием Больших Данных.

Статическая транспортная модель, построенная в 2013 году, позволяет прогнозировать ситуацию на долгосрочный период с учетом различных вариантов изменения дорожной обстановки. С ее помощью можно рассчитывать сценарии в масштабах всего города, будь то долгосрочные перекрытия движения или ввод в эксплуатацию новых путепроводов.

Эта модель, помимо прочего, учитывает данные о жителях, предоставляемые нам различными службами: о количестве людей, их возрасте, гендерных признаках, о социальном положении, сколько работающих, сколько неработающих и т. д. Москва разбивается на так называемые транспортные районы, и мы анализируем, куда ездят жители каждого такого района, зачем, в какое время.

Благодаря полученным данным мы анализируем матрицу корреспонденций - совокупность всех «обменов» трафиком между районами. Например, если в районе 600 дошкольников и 500 мест в детских садах, то очевидно, что сотню детей утром повезут в другой район. Для уточнения общей картины происходящего мы проводим опросы, помогающие понять, какой вид транспорта и в каких случаях люди выбирают: когда - личную машину, когда - общественный транспорт. Кроме того, нам нужно спрогнозировать, как на транспортных предпочтениях людей скажутся те или иные изменения в городской планировке или в схеме организации движения, к чему приведет перекрытие дороги в ходе строительства или, наоборот, открытие новой.

Текущую ситуацию мы отслеживаем с помощью динамической транспортной модели, которая дает полное представление о московском трафике в режиме реального времени и позволяет реагировать на возникающие проблемы. Для этого в ДТМ агрегируются данные, полученные с датчиков ГЛОНАСС, установленных на городском транспорте, камер фото- и видеофиксации, транспортных детекторов - радиолокационных датчиков, которые считывает интенсивность движения, скорость автомобилей и ряд других параметров.

ДТМ позволяет управлять светофорами, анализировать проблемные участки, например обнаруживать очаги аварийности, места, где все время возникают заторы; выявлять затруднения в движении пассажирского транспорта и устранять их; производить мониторинг работы мобильных комплексов фото- и видеофиксации (так называемых парконов, фиксирующих правонарушения), производить оценку транспортного спроса на основе ежедневной матрицы корреспонденций.

На базе ДТМ создана интерактивная карта дорожного движения Москвы, на которой в реальном времени отображается информация о загруженности дорог в баллах, о количестве ДТП, транспортных средств на данный момент и за сутки, наземного городского пассажирского транспорта, числе зафиксированных камерами нарушений ПДД.

В 2015 году специалистами ЦОДД на базе динамической модели была создана система виртуальной и дополненной реальности, имитирующая полет над городом и предоставляющая данные о дорожно-транспортной ситуации в режиме онлайн. Благодаря этой системе уже сейчас можно увидеть образовавшийся затор, подключившись к камере, которая показывает реальное трехмерное изображение этого участка, что позволяет лучше разобраться в ситуации.

Для граждан на этой карте представлена различная информация (текстовая, фото- и видео-) о значимых исторических, культурных и социальных объектах, по сути дополненная реальность.

- По каким каналам вы информируете граждан о дорожно-транспортной ситуации?

Данные, полученные из ДТМ, в реальном времени транслирует ряд радиостанций, мессенджер Telegram, дорожные табло. На телеканале «Москва 24» и его интернет-портале m24.ru демонстрируется карта текущей обстановки на дорогах города.

Такое информирование - тоже средство управления транспортными потоками. Москвичи видят, какая обстановка на интересующих их улицах, выбирают пути объезда, рассматривают возможность передвижения на других видах транспорта, например пересаживаются с личного на общественный.

- Есть какие-нибудь численные показатели эффективности вашей работы?

Комплексная схема организации дорожного движения, призванная оптимизировать управление транспортными потоками на улицах города, а также увеличить их пропускную способность, заработала в 2015 году. И уже за первый год удалось добиться немалых результатов.

Приведу такие цифры. В городе сейчас зарегистрировано 4,6 млн автомобилей, при этом уровень аварийности, по данным ГИБДД, самый низкий за последние десять лет. В 2016 году по сравнению с 2010-м количество ДТП сократилось на 45%, а количество погибших - на 56%. В центральной части города, внутри Третьего транспортного кольца, средняя скорость движения индивидуальных транспортных средств увеличилась на 11%, а пассажирского транспорта - на 7%. На введенных в 2016 году выделенных полосах пассажиропоток увеличился в среднем на 11%. Среднее время прибытия «скорой» сократилось с 21 минуты до 8, почти втрое, благодаря тому что появились полосы для общественного транспорта, а автобусы и троллейбусы могут уступить «скорой» дорогу, уйдя в «карманы» на остановках.

Если сравнивать более близкие периоды, то в 2016 году по сравнению с 2015-м на 18% снизилось число ДТП с материальным ущербом, на 12% - ДТП с пострадавшими и на 14% сократилось количество случаев наезда на пешеходов.

- На базе чьих решений построены разработки ЦОДД?

Мы берем лучшие западные наработки. Например, нынешняя система управления светофорами сделана на базе испанского решения, статическая транспортная модель выстроена на немецкой платформе. Но решение, объединяющее все эти разработки, отечественное. Интегрировали все эти системы наши специалисты.

На основе накопленного опыта мы создаем решения по управлению дорожной ситуацией для других городов как нашей страны, так и зарубежных. Например - для Тегерана.

- Мы пока только догоняем или в чем-то уже опережаем другие страны?

Мы на пути к новой модели управления. В прошлом году на базе автоматизированной системы управления дорожным движением был запущен пилотный проект по автоматическому управлению светофорами. Сейчас система функционирует на Алтуфьевском и Варшавском шоссе, а также на проспекте Андропова, где на основе данных ДТМ о загруженности магистралей автоматически меняются режимы работы светофоров. Такого нет ни в одном городе мира. Например, даже в лондонской системе управления транспортом Transport for London режимы работы светофоров акцептуют операторы.

Теперь мы ставим перед собой задачу распространить работу этой системы на другие магистрали. Сложность состоит в том, что все дороги между собой связаны, и надо, «расчищая» одни, не застопорить наглухо движение по другим.

- Какие новые проекты планируются?

Мы продолжим дальнейшее развитие системы прогнозирования дорожно-транспортных происшествий. Для осуществления прогноза она постоянно анализирует погодные условия, характеристики проблемных дорожных участков (конфигурации узких мест, степень снижения их пропускной способности), показатели транспортного потока (средний балл транспортных заторов в городе и на дорожном участке, скорость потока на дорожном участке и т. п.).

Мы должны быть готовы к тому, что в будущем появятся транспортные средства без водителей. В их навигаторах уже будет загружена информация, например, об ограничении скорости на том или ином участке, и автомобиль самостоятельно выберет безопасный скоростной режим.

К долгосрочным перспективам следует отнести развитие системы общественного транспорта, который должен стать привлекательной альтернативой личному автомобилю. Помимо прочего, развитая транспортная инфраструктура является важным экономическим фактором, который способствует конкуренции городов в привлечении туристов, предпринимателей и т. д.

Помогут разгрузить дороги и системы дополненной реальности. Если можно будет не ехать на конференцию, а посмотреть с рабочего места видео с выступлениями в формате 360° или даже принять в ней участие, причем не через специальные очки, а на экране смартфона, то многие предпочтут такой вариант.

Московский транспорт и управление движением в цифрах

В центре обработке данных, находящемся под зданием ситуационного центра ЦОДД, установлено более 100 серверов, на которых хранится в общей сложности около 2 Пбайт данных. Часть информации постоянно обновляется - например, данные, полученные с камер, хранятся на серверах в течение семи дней. В связи с постоянным ростом потока данных планируется существенно увеличить серверные мощности.

В рядовое рабочее утро на основные «транспортные артерии» Москвы выезжает около 700 тыс. автомобилей.

В час пик 71% пассажиропотока приходится на общественный транспорт, поэтому именно его интересы в Департаменте транспорта ставят во главу угла.

Камеры видеофиксации распознают до 22 видов правонарушений - среди них езда по обочине или выделенной полосе, поворот из второго ряда, выезд на загруженный перекресток, непропуск пешехода, проезд грузовиков без пропуска и т. д. За сутки они передают в ГИБДД информацию о 100 тыс. нарушений (округленное значение).

Есть понятия «транспортный полдень» и «транспортная полночь». В Москве они смещены - «полдень» длится с 14:00 до 15:00, а «полночь» наступает» в 3 часа ночи.

Подобные документы

Принципы технологий "Умный дом". Выбор управляющего элемента для системы. Разработка программного обеспечения сегментов системы управления помещением: измерение влажности и температуры, автономный контроллер и освещение. Вывод информации пользователю.

дипломная работа, добавлен 07.08.2018


Применение технологии блокчейн в финансовой сфере, игровой индустрии, госуправлении. Создание концепции объединения блокчейн и Интернета вещей для работы сети "Умный дом", ее реализация в сочетании с технологией Big Data и искусственным интеллектом.

статья, добавлен 20.11.2018


Понятие, принцип работы и элементы системы "умный дом". Протоколы обмена данными между управляющими, передающими и исполнительными элементами. Пример практической реализации проекта. Описание основных программных элементов прототипа "умного дома".

дипломная работа, добавлен 30.07.2017


Рассмотрение существующих проблем управления городским пассажирским транспортом в России. Методика автоматизации системы диспетчерского контроля. Анализ безотказности работы экспертной системы пассажирского транспорта в программной среде AnyLogic.

статья, добавлен 01.03.2019


Описания конструкции и особенностей роботов для развлечений и охраны. Управление роботом-пылесосом. Движения и внешность андроидов. Изучение общего алгоритма работы системы "Умный Дом". Механизм интеллектуального управления в жилых и офисных помещениях.

реферат, добавлен 10.02.2015


Исследование таких технологических решений для городской среды, как "умная улица", "умная парковка", "умный город". Описание основных принципов работы и функциональных возможностей интернет вещей, обозначение эффекта от их внедрения и главные достоинства.

статья, добавлен 18.08.2018


Рассмотрение схемы устройств "Умного дома" и программного обеспечения. Разработка связи между элементами. Выбор объектов элементов. Подготовка технической документации. Характеристика процесса внедрения и тестирования. Изучение используемых технологий.

дипломная работа, добавлен 20.03.2017


Рассмотрение вопросов, связанных с комплексной разработкой и внедрением технологий типа "Умного города". Знакомство с основными тенденциями в развитии информационной безопасности. Угроза как потенциальная возможность нарушить информационную безопасность.

статья, добавлен 05.06.2018


Рассматривается модель умного города IBM, состоящая из трёх стадий: "инструментальность", "взаимосвязанность", "интеллектуальность". Способы внедрения энергосберегающих технологий и экологически безопасным развитием городских систем, их эффективность.

статья, добавлен 31.10.2017


Понятие информационной системы, ее использование для обработки информации, ее хранения и распространения. Информационные технологии в отрасли водного транспорта. Береговые и бортовые информационные системы. Тренажерные и портовые технологические системы.