Географические информационные системы в геопространственном интеллекте — geographic information systems in geospatial intelligence

Введение в геоаналитику и геомаркетинг

Проще говоря, геоаналитика — это набор инструментов и методов по работе с пространственными данными, т. е. гео (координаты, геометрии (полигоны, линии и пр.)) + аналитика (обработка, визуализация, выводы), а геомаркетинг — это дисциплина, направленная на исследование локации на предмет состава проживающей/работающей/проходящей аудитории для открытия бизнеса/проведения маркетинговых кампаний

Области применения:

• розничная торговля продуктами питания (FMCG)

• здравоохранение (аптеки, частные клиники)

• общепит (кафе, рестораны, бары)

• банковский сектор и страхование

• бьюти — индустрия (салоны красоты, магазины парфюмерии и косметики)

• DIY (строительные магазины)

• девелопмент торговых центров и др.

Типовые задачи:

• выбор оптимального размещения нового объекта

• оценка потенциального объема продаж, определение класса (масс-маркет, бизнес, люкс) и состава реализуемой продукции/услуг

• определение эффективного пути использования имеющегося объекта

• выбор оптимальной локации для размещения наружной рекламы и др. маркетинговых оффлайн активностей

4 принципа масштабирования сети:

4 принципа масштабирования сети

1) Перехват трафика

Этот принцип подразумевает открытие сетевых точек в зонах с высоким пешеходным трафиком (важно: высокий пешеходный трафик не всегда равен большому количеству целевой аудитории (ЦА) => анализируем состав ЦА), а также вблизи уже открытых точек конкурентов (важно: конкурентное преимущество)

2) Синергия

Эффект синергии достигается благодаря открытию смежных ниш бизнеса. Например: рядом с детскими товарами открывается магазин с товарами для дома/мам и пр.

3) Доступность

Принцип наименьших усилий (подробнее) — это   принцип, который основан на том, что человек по природе своей стремится приложить как можно меньше усилий для получения желаемого. При наличии различных возможностей  – клиент пойдёт туда, где ближе/привычнее/комфортнее. Критерии: радиус охвата, пешеходная доступность, транспортная доступность

4) Кластеризация

Торговые точки должны быть кластеризованы (распределены на группы) как минимум по следующим категориям: бюджет района, тип населенного пункта (большой/малый, поселки и пр.), формат торговой точки. Это означает, что для каждой группы необходима индивидуальная стратегия масштабирования, ценообразования, ассортиментной политики и т.д.

Его величество, BIG DATA

Развитие технологий получения, обработки и хранения геоданных позволяют творить потрясающие вещи в рамках геомаркетинговых исследований.

• Используя различные приложения вы делитесь своей геопозицией

• Совершая звонки, смс, используя интернет, вы автоматом попадаете в базы данных телеком операторов, поисковых порталов, а также web-сервисов

• Подключаясь к WIFI в кафе, ТЦ, вы тоже попадаете в чью-то базу

И это еще не весь список, но важно отметить, что в любом геомаркетинговом исследовании эти данные обезличены и выглядят примерно так: «в радиусе 500 м проживает 666 женщин и 999 мужчин»

Какую информацию может содержать геомаркетинговое исследование локации?

Трафик (автомобильный, пешеходный):

• Активность (кол-во пешеходов, кол-во автомобилей, кол-во проживающих/работающих)

• Социально — демографический профиль: пол, возраст, доходы

• Экономическая активность: количество чеков по категориям покупок, средний чек (ОФД)

• Интересы (основаны на поисковых запросах, часто посещаемых приложениях и пр.) и др.

Геоданные:

Количество магазинов, школ, остановок, офисов, ТЦ, пешеходных переходов, парков, достопримечательностей, в общем — все, что вы можете найти на карте

На сегодняшний день, услуги по геоаналитике, геомеркетингу, внутренним ГИС — системам предоставляют компании — владельцы таких данных, а также подрядчики, которые эти данные покупают у владельцев.

Это действительно один из самых мощных способов снизить риск «вложить кучу денег в открытие, но прогадать с местом», а автоматизация процесса поиска потенциальных мест открытия и их анализа помогает быстрее масштабировать сеть. Федеральные сети уже давно сформировали собственные отделы геоаналитики и активно закупают данные. Но как быть предпринимателям и микро бизнесу, который не готов тратить миллионы?

Гексагоны (H3: Uber’s Hexagonal Hierarchical Spatial Index)

Uber опубликовал open source проект, с помощью которого можно легко и просто нанести на карту красивые шестиугольники Подробнее.

Сделаем сразу импорт всех библиотек:

Посмотрим как выглядит гексагон для рандомной точки в г. Краснодар:

Размеры гексагонов:

Задачи ГИС

• Манипулирование данными (например, масштабирование).
• Управление данными. В небольших проектах географическая информация может храниться в виде обычных файлов, а при увеличении объема информации и росте числа пользователей для хранения, структурирования и управления данными применяются СУБД.
• Запрос и анализ данных — получение ответов на различные вопросы (например, кто владелец данного земельного участка? На каком расстоянии друг от друга расположены эти объекты? Где расположена данная промышленная зона? Где есть места для строительства нового дома? Каков основный тип почв под еловыми лесами? Как повлияет на движение транспорта строительство новой дороги?).
• Визуализация данных. Например, представление данных в виде карты или графика.

Spatial Join

Теперь, нам надо сджойнить полученные объекты с гексагонами:

Посмотрим как по городу распределены кофейни:

Выгрузим доступную инфу о жилых многоэтажных зданиях:

Давайте посчитаем сколько людей проживает в этих домах, основываясь на следующих предположениях:

Ok, Гугл: сколько в среднем квартир на этаже?

Гугл вещает, что кол-во квартир напрямую зависит от класса жилья:

• эконом — в среднем 10

• комфорт — в среднем 6-8

• бизнес — в среднем 4-6

Мы можем (как отчаянные дата — сатанисты) углубиться в эту тему и парсить объявления авито/циан и на основе стоимости 1 кв. м определять класс объекта, да и данных по объектам недвижимости будет больше, чем с OSM

Но мы здесь собрались не для того, чтобы парсить авито/циан, поэтому дальше будем использовать в среднем 10 квартир на этаж (доля бизнес и комфорт класса не так велика в Краснодаре)

Посмотрим что у нас вышло с плотностью «гипотетического» населения в Краснодаре:

ля какая красота (не сильно точные данные у OSM, но дареному коню в зубы не смотрят!)

Форматы геопространственных данных

Таких стандартных форматов может быть несколько. В них хранятся геометрические данные и другие описательные атрибуты географических объектов. Например, в таких данных могут храниться координаты дорожных маршрутов с указанием типа и ширины дорожного покрытия, данные об ограничениях скорости на участках дороги, типе дороги (городская улица, автострада и пр.).

Самые часто используемые форматы:

• Векторный формат (самый древний и самый распространённый стандарт. Файл в векторном формате фактически представляет собой набор файлов: в одном файле хранятся геометрические данные, в другом — специальные атрибуты данных и т. п.).

• GeoPackage (более новый стандарт, набирающий популярность. Данные хранятся в одном небольшом по размеру файле, реализованном в виде контейнера базы данных SQLLite).

• GeoJSON (использует стандартный текстовый формат JSON).

Геометрические геоданные хранятся в виде векторных объектов:

• точка: например местоположения зданий, домов, ресторанов, стоянок такси;

• ломаная: например улицы, реки, железные дороги;

• полигон: определяет зоны, например регионы, районы, озера, штаты, страны;

• мультиполигон: набор полигонов.

В геоинформационных данных используются структуры данных Точка, Ломаная, Полигон и пр.

Помимо хранения отдельных объектов в геоинформационных данных также может содержаться топологическая информация, то есть информация о связях между объектами. В ней определяются дополнительные объекты:

• дуга: аналогично ломаной;

• узел: точка пересечения различных дуг или полигонов;

• вершины: излом ломаной.

Географические объекты представляют географические особенности и отношения между ними

Они используют структуры данных, определяющие связь между такими объектами, например:

• Какие объекты находятся рядом друг с другом?

• Какие дуги соединяются друг с другом?

• Какие объекты находятся внутри других полигонов?

Эволюция баз данных

II. MPP

• эти устройства MPP, продаваемые такими компаниями, как Oracle, Teradata, Netezza и т.д., были крайне дорогими;
• масштабирование по-прежнему было проблемой, вы могли купить самое большое устройство (и масштабировать его по вертикали), однако не было простого способа горизонтально масштабироваться, то есть добавить больше вычислений или хранилища к существующему устройству.

IV. Distributed FS

• Парадигма MapReduce была написана Java-разработчиками, и было очень затратно писать подробные Java-программы для простых операций с базами данных (примерно в 2010 году Facebook изобрел Hive — интерфейс SQL поверх MapReduce для решения этой проблемы). Кроме того, внедрение кластеров Hadoop и управление ими может стать сложным процессом и потребовать большой команды инженеров-разработчиков.
• MapReduce также использует чтение с диска (хотя и параллельно), которое в целом является медленным.

Задний план

Географические информационные системы (ГИС)

ГИС — это система, которая включает в себя программное обеспечение, оборудование и данные для сбора, управления, анализа и отображения информации с географической привязкой. Это позволяет пользователю просматривать, понимать, манипулировать и визуализировать данные, чтобы выявить взаимосвязи и шаблоны, которые решают проблемы. Затем пользователь может представить данные в легко понятных и распространяемых формах, таких как карты, отчеты или диаграммы.

Пользователь может вводить в ГИС различные виды данных в виде карты, чтобы начать анализ, например, данные цифрового линейного графика Геологической службы США (USGS), контурные линии, карты высот, топографические карты , геологические карты и спутниковые изображения. Пользователь также может преобразовывать цифровую информацию в формы, которые ГИС может идентифицировать и использовать, такие как табличные данные переписи или файлы Microsoft Excel. Пользователи могут легко собирать цифровые данные в ГИС. Если данные не являются цифровыми, то пользователям потребуется использовать различные методы для сбора данных, такие как оцифровка карт путем отслеживания руки с помощью компьютерной мыши, использование планшета оцифровки для сбора координат объектов, использование электронных сканеров или загрузка данных глобального позиционирования. Системные (GPS) координаты.

ГИС применяется к географическим аспектам различных аспектов повседневной жизни, таких как транспорт, логистика, медицина, маркетинг, социология, экология , чистые и прикладные науки, управление чрезвычайными ситуациями и криминология . ГИС также используется во всех трех областях разведки: разведка национальной безопасности, разведка правоохранительных органов и конкурентная разведка.

Геопространственный интеллект (GEOINT)

GEOINT, ранее известная как визуальная разведка (IMINT), представляет собой дисциплину сбора разведывательной информации, которая применяется к разведке национальной безопасности, разведке правоохранительных органов и конкурентной разведке. Например, аналитик может использовать GEOINT для определения маршрута наименьшего сопротивления для вооруженных сил во враждебной стране, для обнаружения закономерностей в местах заявленных краж со взломом в районе или для создания карты и сравнения неудачных предприятий, которые компания скорее всего купит. GEOINT также является геопространственным продуктом процесса , ориентированного извне, призванного снизить уровень неопределенности для лиц, принимающих решения, и который использует информацию, полученную из всех источников. Национальное агентство геопространственной разведки (NGA), который несет полную ответственность за GeoINT в США Intelligence Community (IC), определяет GeoINT как «информация о каком — либо объекте натуральный или искусственный, что можно наблюдать или ссылаться на Землю, и имеет последствия для национальной безопасности «.

Некоторыми из источников информации, собранной для GEOINT, являются спутниковые снимки, камеры самолетов, беспилотные летательные аппараты (БПЛА) и дроны, портативные камеры, карты или координаты GPS. В последнее время NGA и IC расширили использование коммерческих спутниковых изображений для поддержки разведки, таких как использование спутников IKONOS , Landsat или SPOT . Эти источники создают цифровые изображения с помощью электронно-оптических систем , радаров , инфракрасного излучения , видимого света, мультиспектральных или гиперспектральных изображений.

Преимущества GEOINT заключаются в том, что изображения легко усваиваются и понятны лицам, принимающим решения, имеют низкий риск для жизни человека, отображают возможности цели и ее географическое отношение к другим объектам, и что аналитики могут использовать изображения по всему миру в короткие сроки. С другой стороны, недостатки GEOINT заключаются в том, что изображения — это всего лишь моментальный снимок момента времени, они могут быть слишком убедительными и приводить к необоснованным решениям, игнорирующим другие данные, статичны и уязвимы для обмана и обмана, не отображают намерения цели, и это дорого и может быть связано с экологическими проблемами.

Цели

1. Масштабируемость — добавление нового функционала не должно вызывать панику, все должно быть спроектировано с учетом дальнейшего расширения функциональных возможностей и данных.
2. Производительность — Загрузка данных и доступ к ним для всех заинтересованных сторон должны быть адекватными. Примечание для менеджмента: для обеспечения сверхвысокой производительности может потребоваться больше инвестиций в технический стек.
3. Техническое обслуживание — Технологический стек и инфраструктура должны обеспечить легкую поддержку и возможность обновлений. Команды разработчиков не должны страдать из-за вещей, касающихся dev-ops.
4. Проблемы с данными — Любой человек в команде (включая QA, аналитика данных и дата сайнтиста) должен иметь возможность проанализировать проблему производственных данных и решить ее эффективно, без разрозненности или незаменимых членов команды.
5. Повторы — Все должно быть написано с учетом того, что данные могут оказаться плохими и их можно будет исправить. Без или с минимальным ручным участием при повторах.
6. Отсутствие разрозненности экспертизы — Каждый инженер по обработке данных должен уметь работать со всеми частями продукта, и при этом работать продуктивно. Процесс должен быть последовательным и простым.
7. Мониторинг и оповещения — Поток данных следует отслеживать и генерировать разумное количество значимых оповещений (не слишком много и не слишком мало).

Алгоритм построения зон доставки

1. Вокруг ресторана строим лучи, вдоль которых создаем набор точек, а затем с помощью маршрутизатора рассчитываем расстояние от ресторана до каждой из точек.
2. Убираем точки-выбросы. Анализируем все постройки и сразу отбрасываем те, которые нас не интересуют. Например, какие-то мелкие нежилые объекты. Далее с помощью DBSCAN формируем кластеры точек и отбрасываем те, которые для нас не являются важными: например, если кластер находится далеко от ресторана или нам экономически невыгодно доставлять туда.
3. Далее на основе очищенного набора точек применяем триангуляцию Делоне.
4. Создаем сетку гексагонов H3.
5. Определяем, к какому треугольнику принадлежит каждый гексагон H3, и для этого гексагона определяем расстояние от ресторана с помощью аппроксимации по трем вершинам треугольника (кто хочет чуть больше разобраться в геоматематике и понять рациональность использования тех или иных геоформ, вот ссылка на оригинал статьи Uber).

6. Далее оптимизируем функцию ошибки, которая зависит от нашей задачи, постепенно удаляя с внешней стороны зоны по одному гексагону. При этом мы следим за формой нашей зоны, она должна оставаться цельной.

   В текущей версии алгоритма мы используем следующие функции ошибок:

   • минимизацию времени доставки при фиксированном покрытии;
   • максимизацию охвата пользователей при фиксированном времени доставки.

   Пример функции ошибки для минимизации времени доставки:

   где — функция ошибки минимизации времени доставки с фиксированным покрытием, — время от ресторана i до клиента, — количество клиентов в зоне доставки.

7. Далее строим временной градиент в получившихся зонах (с очищенными выбросами) и с заранее определенными интервалами (например, по 10-минутным отрезкам пешего пути).

Общие сведения о пространственных данных

Пространственные данные описывают положение и форму объектов в пространстве. В большинстве приложений они соответствуют объектам на поверхности Земли и геопространственным данным. Пространственные данные могут использоваться для представления местонахождения человека, мест, представляющих интерес, или границ города или озера.

API SQL службы Azure Cosmos DB поддерживает два типа пространственных данных: geometry и geography.

• Тип данных geometry представляет данные в евклидовой (плоской) системе координат.
• Пространственный тип данных geography представляет данные в системе координат для сферической Земли.

Расширенное определение

GEOINT охватывает все аспекты изображений (в том числе возможности, ранее называвшиеся Advanced Geospatial Intelligence, измерения и сигнатурный интеллект на основе изображений (MASINT), а также геопространственную информацию и услуги (GIS); ранее называемые картированием, составлением диаграмм и геодезией). Он включает, помимо прочего, данные в диапазоне от ультрафиолетовых до микроволновых участков электромагнитного спектра, а также информацию, полученную в результате анализа буквальных изображений; геопространственные данные; социальные сети с географической привязкой; и информация, технически полученная в результате обработки, использования, буквального и небуквального анализа спектральных, пространственных, временных, радиометрических, фазовых данных, поляриметрических данных, объединенных продуктов (продуктов, созданных из двух или более источников данных) и вспомогательных данных необходимые для обработки и использования данных, а также информация о подписи (включая разработку, проверку, моделирование, архивирование и распространение данных). Эти типы данных могут быть собраны по стационарным и движущимся целям с помощью электрооптических средств (включая ИК, MWIR, SWIR TIR, Spectral, MSI, HSI, HD), SAR (включая MTI), связанных программ датчиков (как активных, так и пассивных). ) и нетехнических средств (для включения геопространственной информации, полученной персоналом в полевых условиях).

Здесь геопространственный интеллект, или часто используемый термин GEOINT , представляет собой интеллектуальную дисциплину, включающую использование и анализ геопространственных данных и информации для описания, оценки и визуального изображения физических объектов (как естественных, так и построенных) и географической привязки деятельности на Земле. Источники данных геопространственного интеллекта включают изображения и картографические данные, собранные коммерческими спутниками, правительственными спутниками, самолетами (например, беспилотными летательными аппаратами или разведывательными самолетами) или другими средствами, такими как карты и коммерческие базы данных, данные переписи населения, GPS. путевые точки, схемы инженерных сетей или любые отдельные данные, которые имеют местоположения на Земле

Растет признание того, что человеческая география, социокультурный интеллект и другие аспекты человеческой области являются критически важной областью данных GEOINT из-за широко распространенной географической привязки данных демографической, этнографической и политической стабильности. Растет понимание того, что «это юридическое определение рисует широким мазком представление о ширине и глубине GEOINT» и «GEOINT должен развиваться еще дальше, чтобы интегрировать формы разведки и информации, выходящие за рамки традиционных источников геопространственной информации и изображений, и необходимо перейти от акцента на данных и анализе к акценту на знаниях «.

Формат растровых данных

Растровые данные тоже имеют определенные типы файлов. Поскольку они составлены из сетки, они, в большинстве случаев, являются регулярными пробелами и квадратами, но не всегда. Вот некоторые из них.

1. GeoTIFFТип файла- .tif, .tiff, .ovrОписание- Для приложений ГИС и спутникового дистанционного зондирования GeoTIFF стал отраслевым стандартом. Он состоит из трех файлов, как указано выше, но может сопровождаться другими файлами: .tfw, .xml и .aux.
2. ERDAS ВообразиТип файла- .imgОписание- Это собственный формат файла, разработанный Hexagon Geospatial. Эти файлы обычно используются для растровых данных для хранения одного и нескольких диапазонов спутниковых данных. Представьте, что файлы используют иерархический формат, который является необязательным для хранения фундаментальной информации о файле.
3. ИДРИСИ РастрТип файла- .rst, .rdcОписание- IDRISI связывает RST со всеми растровыми слоями, которые состоят из значений ячеек числовой матрицы в виде действительных чисел, целых чисел и байтов. RDC (растровая документация) — это сопутствующий текстовый файл для файлов RST.

Источники данных

Теперь мы знаем, какие типы файлов существуют в геопространственных работах. Но где мы их получаем? Мы должны получать данные из надежных источников, чтобы файлы данных, которые мы получаем, имели менее необычные форматы.

1. Esri Open DataТип данных — электронные таблицы, KML, шейп-файл, GeoJSON и другие.Это как скрытое сокровище бесплатных данных ГИС с более чем 67 300 открытыми данными из более чем 4000 организаций. В некоторых случаях вам может потребоваться объединить ваши загрузки в одну. Но, несмотря на все усилия, этот единственный источник — ваш лучший шанс найти именно то, что вы ищете.
2. Данные о ЗемлеТип данных — культурные, физические и растровые (базовая карта) данные.Это делает отличную работу, чтобы соответствовать потребностям картографов. В больших масштабах доступны все ключевые данные ГИС культурного и физического вектора. И лучшая часть? Это в свободном доступе. Это означает, что вы имеете право изменять данные любым способом для вашего использования.
3. USGD Earth ExplorerТип данных — данные дистанционного зондированияДля людей, наблюдающих за Землей и ищущих данные дистанционного зондирования, это ваш единственный пункт назначения. Он имеет удобный интерфейс и предоставляет вам доступ к одной из крупнейших баз данных аэрофотоснимков и спутниковых изображений. В дополнение к этому, у него даже есть приложение для массовой загрузки, на тот случай, если вам это нужно.
4. Центр социально-экономических данных и приложений НАСАТип данных — социально-экономические данныеSEDAC — все о взаимодействии человека с окружающей средой. Он имеет широкий спектр данных, включая (но не ограничиваясь ими) сельское хозяйство, опасности, здоровье, население, устойчивость, бедность и воду.
5. Исследователь экологических данных ЮНЕПТип данных — пресная вода, население, леса, климат, выбросы.Он содержит более 500 переменных, но из-за интерфейса исследовать ГИС-данные довольно сложно. Если вы идете туда, вы можете отфильтровать «Наборы геопространственных данных» и загрузить данные.
6. DIVA-GISТип данных — Страна, Данные глобального уровняDIVA-GIS — бесплатная компьютерная программа для картографирования и анализа географических данных. Но на странице данных вы найдете хороший список наборов данных, начиная от глобального климата до данных о происхождении видов.

Системы координат

Так как Земля имеет неправильную форму, координаты геопространственных данных типа geography представляются во многих системах координат, каждая из которых имеет собственные границы отсчета и единицы измерения. Например, «Национальная система координат Великобритании» (National Grid of Britain) обладает точностью в Великобритании, но не за ее пределами.

Самой популярной системой координат на данный момент является WGS-84. WGS-84 используют устройства GPS и многие службы географических карт, в том числе Карты Google и API-интерфейсы Карт Bing. Azure Cosmos DB поддерживает индексирование и опрашивание геопространственных данных типа geography только с использованием WGS-84.

[править] Резюме

Использование геопространственной информации стремительно нарастает. Как в правительственных кругах, так и в бизнес-сфере, растёт осознание того, что понимание месторасположения и размещения — жизненно важный компонент эффективного принятия решений. Граждане, не являющиеся экспертами в геопространственной информации, и которые вряд ли даже знакомы с этим термином, также всё чаще используют её, взаимодействуют с ней, и во многих случаях даже вносят свой вклад в её сбор.

Как и для всех технологически-ориентированных отраслей, будущее в данном случае предсказать трудно. Однако, эта статья отражает мнения признанных групп экспертов из самых разных областей, связанных с геопространственными данными, и их попытки предложить некоторое видение того, как всё это будет развиваться в течение ближайших 5-10 лет.

Чтобы попытаться дать видение, куда движется наше сообщество: поставщики, практики и пользователи — эта статья затронет целый ряд аспектов геопространственных данных. На основе полученных ответов от экспертов, эти тенденции были разбиты на общие темы, охватывающие основные аспекты геопространственных данных, а именно: создание данных, поддержка и управление; использование геопространственных данных; технологические тенденции; развитие законотворчества и политики; требования к навыкам и подходы к обучению; будущая роль национальных картографических ведомств; роль коммерческой и волонтёрской географической информации.

ГИС в России

Рынок ГИС России

В 2012 году рынок геоинформационных услуг в России сохранил динамику роста, увеличившись на 20%. Такой же показатель отмечался и в 2011 году; тогда в денежном выражении объем отечественного рынка геоинформатики составил 1,2 млрд. долларов США. В 2012 году эта цифра достигла $ 1,5 млрд; из них порядка 15% приходится на собственно разработку, внедрение и сопровождение информационных систем (в том числе, корпоративные ГИС), 40% – на сектор спутниковой навигации, еще 25% составляет сегмент, связанный со сбором, обработкой и генерированием пространственных данных. Оставшиеся 20% включают в себя геодезические/картографические услуги и специализированное оборудование.

Заместитель директора Esri CIS Сергей Щербина рассказал TAdviser, что существует два прогноза развития рынка ГИС в России на 2013 год: позитивный сценарий предполагает рост на 25%, негативный — рост на 15%.

«Разница в 10 процентных пунктов — это возможность государства внедрять ГИС-системы. Желание и понимание необходимости со стороны государства есть, однако все упирается в финансирование», — рассказал TAdviser Щербина. — Если существующие проекты не будут буксовать, а средства выделяться из бюджета, то оправдается позитивный сценарий. Если не оправдается, то возрастающий интерес со стороны коммерческих организаций позволит рынку вырасти примерно на 15%».

Программное обеспечение с открытым исходным кодом

Разработка программного обеспечения ГИС с открытым исходным кодом имеет — с точки зрения истории программного обеспечения — давнюю традицию с появлением первой системы в 1978 году. Доступны многочисленные системы, которые охватывают все секторы обработки геопространственных данных.

Настольная ГИС

Capaware RC1 0.1

GRASS GIS 6.4

gvSIG 1.0

IDRISI Тайга 16.05

САГА-ГИС версии 2.0.3

Следующие проекты настольных ГИС с открытым исходным кодом рассмотрены в Steiniger and Bocher (2008/9):

• GRASS GIS — управление геопространственными данными, обработка векторных и растровых данных — разработано Инженерным корпусом армии США.
• gvSIG — картографирование и геообработка с помощью плагина 3D-рендеринга
• ILWIS (Интегрированная информационная система по земле и воде) — объединяет изображения, векторные и тематические данные.
• ПРЫЖОК ГИС / OpenJUMP ((Open) Java Unified Mapping Platform) — На рабочем столе ГИС OpenJUMP, SkyJump, deeJUMP и Космо все вышли из СКАЧКООБРАЗНЫХ.
• MapWindow GIS — Бесплатное настольное приложение с плагинами и библиотекой для программистов
• QGIS (ранее известный как Quantum GIS) — мощные инструменты обработки картографических и геопространственных данных с обширной поддержкой плагинов.
• SAGA GIS (система автоматизированного геонаучного анализа) — инструменты для моделирования окружающей среды, анализа местности и 3D-карт
• uDig — API и исходный код (Java) доступны.

Помимо этого, существуют другие инструменты ГИС с открытым исходным кодом:

Capaware — C ++ 3D GIS Framework с архитектурой нескольких плагинов для географического графического анализа и визуализации.

Generic Mapping Tools — набор инструментов командной строки для управления географическими и декартовыми наборами данных и создания иллюстраций PostScript.

FalconView — картографическая система, созданная Технологическим научно-исследовательским институтом Джорджии для семейства операционных систем Windows. Доступна бесплатная версия с открытым исходным кодом.

Калипсо — использует Java и GML3

Основное внимание уделяется численному моделированию в управлении водными ресурсами.

TerraView — обрабатывает векторные и растровые данные, хранящиеся в реляционной или геореляционной базе данных, то есть во внешнем интерфейсе TerraLib .

Whitebox GAT — кроссплатформенное бесплатное ПО ГИС с открытым исходным кодом.

Картографические веб-серверы

• GeoServer — написан на Java и основан на GeoTools . Позволяет пользователям обмениваться и редактировать геопространственные данные.
• MapGuide с открытым исходным кодом — работает в Linux или Windows, поддерживает веб-серверы Apache и IIS и имеет API (PHP, .NET, Java и JavaScript) для разработки приложений.
• Mapnik — библиотека C ++ / Python для рендеринга — используется OpenStreetMap .
• MapServer — Написано на C. Разработано в Университете Миннесоты .

Системы управления пространственными базами данных

• PostGIS — Пространственные расширения для базы данных PostgreSQL с открытым исходным кодом , позволяющие выполнять геопространственные запросы.
• ArangoDB — встроенные функции, доступные для управления пространственными данными, позволяющие выполнять геопространственные запросы.
• SpatiaLite — Пространственные расширения для базы данных SQLite с открытым исходным кодом , позволяющие выполнять геопространственные запросы.
• TerraLib — предоставляет расширенные функции для анализа ГИС.
• OrientDB — встроенные функции, доступные для управления пространственными данными, позволяющие выполнять геопространственные запросы.

Фреймворки и библиотеки для разработки программного обеспечения (для веб-приложений)

• GeoBase (программное обеспечение Telogis GIS) — программное обеспечение для геопространственного картографирования, доступное как комплект для разработки программного обеспечения .
• OpenLayers — библиотека AJAX с открытым исходным кодом для доступа к слоям географических данных всех видов, первоначально разработанная и спонсируемая MetaCarta .
• Leafletjs — библиотека JavaScript с открытым исходным кодом для мобильных интерактивных карт

Фреймворки и библиотеки для разработки программного обеспечения (не в Интернете)

• GeoTools — набор инструментов ГИС с открытым исходным кодом, написанный на Java , с использованием спецификаций Open Geospatial Consortium .
• ГДАЛ / ОГР
• Набор инструментов Orfeo

Предварительная обработка геоданных (базовые системы координат)

Геоданные содержат координаты (x, y) географических мест, как правило, в виде значений широты и долготы. Однако, как ни странно, сами по себе эти координаты не могут быть привязаны к физическому местоположению.

Такие координаты — не более чем числа в произвольном пространстве. Для того чтобы они могли однозначно отображать реальное место в реальном мире, они должны быть связаны с системой координат. Такая система координат называется базовой (CRS).

Базовая система координат привязывает координаты широты/долготы к реальной точке на Земле

Нам сейчас просто важно понять, что, поскольку Земля не является идеальной сферой, идеальных универсальных базовых систем координат просто не существует. Систем CRS множество, и каждая оптимизирована под конкретные цели или различные участки Земли

Принципы работы с большими данными

Исходя из определения Big Data, можно сформулировать основные принципы работы с такими данными:

1. Горизонтальная масштабируемость. Поскольку данных может быть сколь угодно много – любая система, которая подразумевает обработку больших данных, должна быть расширяемой. В 2 раза вырос объём данных – в 2 раза увеличили количество железа в кластере и всё продолжило работать.

3. Локальность данных. В больших распределённых системах данные распределены по большому количеству машин. Если данные физически находятся на одном сервере, а обрабатываются на другом – расходы на передачу данных могут превысить расходы на саму обработку. Поэтому одним из важнейших принципов проектирования BigData-решений является принцип локальности данных – по возможности обрабатываем данные на той же машине, на которой их храним.

Все современные средства работы с большими данными так или иначе следуют этим трём принципам. Для того, чтобы им следовать – необходимо придумывать какие-то методы, способы и парадигмы разработки средств разработки данных. Один из самых классических методов я разберу в сегодняшней статье.

Преимущества технологии H3

1. Существует хорошая библиотека для работы с H3, которую и выбрала наша команда в качестве основного инструмента. Библиотека поддерживает многие языки программирования (Python, Go и другие), в которых уже реализованы основные функции для работы с гексагонами.
2. Наша реляционная аналитическая база Postgres поддерживает работу с нативными функциями H3.
3. При использовании гексагональной сетки благодаря ряду алгоритмов, работающих с индексами, можно очень быстро получить точную информацию о признаках в соседних ячейках, например, определить вхождение точки в гексагон.
4. Преимуществом гексагонов является возможность хранить информацию о признаках не только в конкретных точках, но и в целых областях.