На сайте "N+1" опубликована статья Г. Копиева "Нейросеть превратила спутниковые снимки в обычные фотографии с земли". Полностью с материалом можно ознакомиться по ссылке.

Американские исследователи создали нейросеть, которая превращает спутниковые снимки в фотографии той же местности с уровня земли. Разработчики считают, что в будущем алгоритм можно использовать для увеличения эффективности определения покрытия и использования территории по спутниковым снимкам, сообщается в работе, опубликованной на arXiv.org.

Обычно для удаленного изучения местности используются спутниковые снимки или даже видеозаписи. Тем не менее, часто они имеют низкое разрешение, а также, как и любые снимки сверху, не так удобны и информативны, как обычные снимки с уровня земли. В качестве решения этой проблемы ученые также используют фотографии из социальных сетей или других сайтов, снабженные геометками, и панорамные снимки с картографических сервисов. Но эти снимки покрывают очень малую долю всей поверхности Земли и распределены неравномерно.

Группа исследователей из Университета Калифорнии в Мерседе под руководством Шона Ньюсэма (Shawn Newsam) предположила, что снимки с уровня земли можно синтезировать искусственно на основе снимков той же местности, сделанных с орбиты. Для этого исследователи выбрали генеративно-состязательную нейросеть на основе сверточных нейросетей, состоящую из двух основных элементов — генератора и дискриминатора. Генератор получает в качестве исходных данных вектор, созданный из небольшого фрагмента спутникового снимка, и дополнительный случайный вектор. После этого он создает на основе исходных данных изображение, которое отдается на проверку дискриминатору. Тот сравнивает это изображение с настоящими фотографиями из датасета, сделанными с уровня земли, и определяет, настоящее оно или сгенерированное нейросетью. В результате обе сети постепенно обучаются — генератор, получая оценку от дискриминатора, начинает создавать все более правдоподобные изображения, а дискриминатор учится точнее распознавать синтетические изображения.


Архитектура нейросети
Xueqing Deng et al. / arXiv.org, 2018

В качестве данных для обучения нейросети исследователи собрали датасет, состоящий из спутниковых снимков с Google Maps и соответствующих им фотографий местности с сайта Geograph. После этого разработчики обучили нейросеть на четырех тысячах таких пар. Авторы работы признают, что созданные нейросетью изображения сложно перепутать с настоящими фотографиями, но они были созданы на основе спутникового снимка размером 10 на 10 пикселей, и, тем не менее, хорошо отражают реальную обстановку на земле.


Примеры исходных спутниковых снимков, сгенерированных нейросетью изображений и настоящих фотографий того же места
Xueqing Deng et al. / arXiv.org, 2018

Исследователи также решили выяснить, подходят ли создаваемые нейросетью изображения для классификации территории по типу покрытия (трава, лес, асфальт и другое). Для этого они создали 20 тысяч пар спутниковых снимков и фотографий, аналогичных исходному датасету, а также использовали базу данных покрытия территории Великобритании за 2015 год. После этого авторы провели классификацию с помощью метода опорных векторов и выяснили, что данные, полученные с помощью синтезированных изображений, имеют точность 82 процента — выше, чем для настоящих фотографий, но ниже, чем у спутниковых снимков.

Кроме того, авторы проверили способность нейросети создавать карту признаков для классификации территории на городскую и сельскохозяйственную. Они модифицировали нейросеть и снова применили для классификации метод опорных векторов. После этого результаты сравнивали с другими классификаторами, которые использовали в качестве исходных данных реальные фотографии, а также интерполировали данные для местности, для которой не было настоящих фотографий. Тесты показали, что классификация с использованием сгенерированных из спутниковых снимков изображений оказалась самой точной и имела точность 73 процента.

В прошлом году канадские исследователи использовали генеративно-состязательную нейросеть для воссоздания из спутниковых снимков карты высоты и текстуры местности. А в 2016 году американские исследователи обучили нейросеть поиску бедных регионов на основе снимков со спутника.