Ариадна. Зачем Нам Нужен Еще Один Геокодер Для Osm?

Всем привет! Буквально недавно я закончил делать геокодер для своих целей Ариадна Под катом рассказ о том, почему я это сделал и на что он способен.

В этой статье не будет ни строчки кода Go. Зато будет полное описание работы геокодера и проблем, с которыми я столкнулся.

И вы можете посмотреть код на Github.

Фон

Мы решили оптимизировать расположение координат по адресу для более оптимального распределения заказов.

Чего у нас нет:

• Полная карта Яндекса, Гугла или 2ГИС
• Доверяйте данным GPS

• Очень разнообразные входные данные
• Openstreetmap
• Собственная накопленная база адресов с координатами

Что могут ввести пользователи?

• Уличный дом
• Перекресток
• Название заведения
• Имя точки
• микрорайонный дом
• микрорайон улица дом

Постановка задачи

Язык поиска только русский.

Как вы попали в эту жизнь?

Были:

• Пелиас
• Номинация
• Фотон

• Сложно само по себе
• Сделано на PHP+C (Это не потому, что PHP плохой, а потому, что только для этого инструмента у нас есть Apache и PHP)
• Сложная логика в хранимых процедурах Postgresql

• Может работать со многими источниками геоданных
• Поиск организован на ElasticSearch.

1. Я хочу отсортировать данные в OSM и импортировать только то, что нужно для поиска.

2. Я могу обрабатывать геоданные перед их индексацией
3. Яваскрипт и node.js не люблю, отсюда и отсутствие желания делать поиск по Пелиасу

Дизайн

1. Сначала получаем геометрию для крупных населенных пунктов (городов, столиц, сел, жилых массивов)
2. Выгружаем все возможные адреса и соотносим их с желаемым жилым районом, городом или другим населенным пунктом, задавая нужное значение
3. Разгрузка всех дорог
4. Ищем перекрёсток дорог
5. Ставим все в индекс
6. Ищем

Я также хотел улучшить свои навыки в этом.

Выполнение

Были трудности с поиском англоязычных имен на русском языке.

Как я пытался это решить:

1. Простая автоматическая транслитерация на русский язык.

   В результате получилось абсурдно и неправильно.

   Пример преобразования данных: Городской Дом -> Городской Дом.

2. Попробуем конвертировать вот так.

   Получите транскрипцию слова и затем транслитерируйте его.

   Получилось что-то вроде Adrenaline Rush -> Эrdenaline Rush. Сносно, но нужен русский акцент, например Adrenaline Rush.

3. Такой механизм появился.

   Мы автоматически транслитерируем все данные, используя словарь замены.

   Тем не менее, простая и глупая транслитерация работает вполне сносно.

   Словарь быстро заполнился после нескольких прогонов данных.

1. Нормализовали и довели до русского языка
2. адреса указываются в формате Страна, город, село или поселок, микрорайон или жилой район, улица, дом

Я сделал это быстро и получил очень медленную реализацию со сложностью O(n^2).

В качестве временного решения я использую Postgres+postgis для поиска пересечений, пока не найду хороший алгоритм поиска пересечений.

В результате получается хороший парсер данных с osm, который помещает данные в ElasticSearch. Получивший простое название импортер

Автоматизируйте это

Также есть автоматическая конфигурация в формате JSON. Автоматизирован процесс скачивания файла и импорта его в Elastic Search. Плюс появилась возможность обновлять данные в ElasticServch без простоев, благодаря псевдонимам.

Как это работает:

1. Программа обновления загружает файл
2. Узнает текущую версию индекса из конфига
3. Увеличивает версию и создает новый индекс
4. Заполняет его данными
5. Изменяет псевдонимы
6. Удаляет старый индекс

1. Написание конфигурации
2. Запустите обновление .

   /ariadna

3. пойдем попьем кофе
4. Получаем готовый настроенный индекс.

Автоматическое пополнение данных

Соответственно, у нас есть имя и координаты.

Была сделана следующая схема:

1. Треки драйверов хранятся в индексе driver_data.
2. Данные из OSM хранятся в индексе osm_data.
3. Их объединяет адрес-псевдоним, который используется для поиска адресов.

Общий

1. Найдите координаты, используя синонимы.

   например ШВК - ШампанскоеВинКомбинат

2. Может искать адреса в определенном радиусе (например, для себя делал поиск адресов в 30 км от центра города)
3. Поиск по названию заведения (кафе у Ашота например)
4. Поиск пересечений
5. Поиск адресов в микрорайонах и спальных районах
6. Выполнить обратное геокодирование
7. Будет автоматически обновляться новыми данными от водителей.

1. Импортер данных
2. Средство обновления данных
3. веб интерфейс

Минусы

1. Протестировано только для Кыргызстана.

2. Нет демо
3. Нет поддержки всех схем адресации.

Если кому-то проект покажется интересным, то я не против никакой критики, пула запросов, вопросов на Github и отзывов в целом.

Теги: #поиск #геокодирование #обратное геокодирование #osm #OpenStreetMap #OpenStreetMap #Go #Геоинформационные сервисы

• Электронные Книги: Проявив Смелость И Терпение, Мы Идем К Цели

  19 Oct, 24

• Важность Использования Купонов На Хостинг

  19 Oct, 24

• Консультации По Технологиям Sap Business One Или Проекты Интеграции

  19 Oct, 24

• Какие Мягкие Навыки Нужны Разработчику? Мнения От Яндекса

  19 Oct, 24

• Беспроводной Звук Для Домашнего Кинотеатра: Муки Выбора – Обилие Форматов, Возможностей И Проблем

  19 Oct, 24

• Резерв Российского Фриланса

  19 Oct, 24

• [Обновление] После Нескольких Дней Молчания Lightsail Снова На Связи

  19 Oct, 24

• Весна + Жар-Птица + Отдых. Часть 1. Конфигурация Проекта

  19 Oct, 24

• Кейс: Как С Помощью Виджетов Повысить Конверсию Коммерческих Сайтов В Среднем На 19%

  19 Oct, 24

• Вконтакте Не Платит Пользователям За Найденные Уязвимости

  19 Oct, 24