Раньше, когда Google (или любой из его плохо настроенных ИИ) хотел уничтожить ваш бизнес, он обычно отказывал вам в доступе к одному из своих сервисов, и это срабатывало.
Вы наверняка слышали страшилки:
- Веб-сайты исчезают из поиска Google и уйти в небытие
- Видео на YouTube демонетизирован , а создатели теряют источник дохода
- Android-приложения исчезнуть из каталога Google Play и не может связаться со своими пользователями
- API резко подорожать или просто устарел
- И последнее, но не менее важное: личный аналог всего вышеперечисленного: люди.
потерять доступ к учетным записям Gmail и всей своей цифровой жизни
Клянусь, я прочитал FAQ! Все происходит по тому же сценарию.
Бизнес прежде всего сознательно использует сервисы Google таким образом, что его выживание полностью зависит от них.
Затем автоматизированный гигант Google делает свое дело: он незаметно перемещает свою задницу на кожаное кресло размером с планету и, не замечая этого, уничтожает множество (относительно) небольших компаний размером с муравья.
И, наконец, компании размером с муравья отчаянно пытаются сказать Google, что они раздавлены, но могут общаться только с помощью автоматической формы предложения.
Иногда генеральный директор размером с муравья знает кого-то в Google, потому что они были приятелями по колледжу, или технический директор пишет сообщение, которое каким-то образом попадает на первую страницу Hacker News. Затем Google замечает проблему и иногда считает, что ее стоит решить, обычно из-за страха перед регулятивными последствиями, которые может повлечь за собой муравьиная революция.
По этой причине общепринятая мудрость подсказывает, что вам не следует чрезмерно полагаться на сервисы Google. И если вам удастся избежать этой зависимости, все должно быть хорошо.
Такая плоская синяя поверхность с крутой красной крышей! Так удобно!
Что нового под луной
В сегодняшнем выпуске «Интернет уже не тот, что был раньше» мы поговорим о новом способе, которым Google может непреднамеренно уничтожить ваш стартап.
Он не требует от вас использования сервисов Google каким-либо (намеренным) способом .
Знаете ли вы, что ваши домены могут быть занесены в черный список Google без какой-либо конкретной причины и что этот черный список используется не только Google Chrome, но и некоторыми другими поставщиками программного и аппаратного обеспечения? Знаете ли вы, что эти другие поставщики синхронизируют список с сильно меняющимися таймингами и интерпретациями, что делает решение любых проблем чрезвычайно напряженным и непредсказуемым? При этом сроки рассмотрения жалоб на черный список в Google измеряются неделями? 
Вот как выглядит ваш веб-сайт или SaaS-приложение.
Эта «функция» черного списка называется Безопасный просмотр Google , а на изображении выше вы можете прочитать сообщение, которое видят посетители вашего сайта, включен ли один из доменов в базу данных безопасного просмотра.
Тексты предупреждений варьируются от «Сайт-мошенник» до «Сайт содержит вредоносное ПО» (полный список Здесь ), но все они на одном страшном красном фоне, который пытается максимально удержать пользователя от перехода на сайт. Впервые нам стало известно об этой проблеме из-за резкого роста жалоб от клиентов, которые столкнулись с этим красным предупреждением при попытке использовать наше SaaS-приложение.
Во второй раз мы подготовились лучше, поэтому у нас уже есть свободное время для написания этого поста.
Наша компания ИнвГейт — это SaaS-платформа для ИТ-отделов, работающая на AWS. Он обслуживает более 1000 корпоративных клиентов и миллионы конечных пользователей.
Фирмы используют продукт для управления заявками и запросами своих пользователей.
Вы можете себе представить реакцию ИТ-менеджеров, когда их система обработки заявок внезапно начинает показывать конечным пользователям такие зловещие предупреждения безопасности.
Когда мы впервые столкнулись с этой проблемой, мы отчаянно пытались разобраться, что происходит, и разобраться, как работает Google Safe Browsing (GSB), в то время как техническая поддержка пыталась справиться с наплывом запросов клиентов.
Мы быстро поняли, что база данных GSB содержит URL-адрес CDN Amazon Cloudfront , из которого мы обслуживали статические ресурсы (CSS, Javascript и т. д.), и это приводило к сбою всего приложения для клиентов, использующих именно этот CDN. Быстрый просмотр помеченной системы показал, что все выглядит нормально.
Пока команда разработчиков усердно работала над настройкой новой CDN и подготовкой перемещения клиентов в новый домен, я обнаружил в документации Google, что.
Консоль поиска Google (GSC) вы можете получить дополнительные разъяснения о причинах пометки сайта в базе данных.
Не буду утомлять вас подробностями, но чтобы получить доступ к этой информации, вам необходимо доказать право собственности на сайт , для этого настройте собственную запись DNS или загрузите несколько файлов в корень домена.
Мы это сделали — и уже через 20 минут получили отчет на нашем сайте.
Отчет выглядел примерно так: 
Это.
не особо информативно.
В отчете также была кнопка «Запросить проверку», которую я быстро нажал, не предприняв никаких действий на сайте, поскольку не было никакой информации о предполагаемой проблеме.
Я отправил заявку с пометкой о том, что у меня нет в списке вредоносных URL-адресов, хотя в документации указано, что Google всегда предоставляет примеры URL-адресов, чтобы помочь веб-мастерам выявить проблемы.
Большой! Запрос на проверку недействительного отчета может привести к тому, что будущие проверки будут выполняться еще медленнее.
Примерно через час сайт был удален из базы данных ГСБ; мы даже не закончили переводить клиентов из этого CDN. Примерно через два часа я получил автоматическое электронное письмо, подтверждающее, что проверка прошла успешно.
Никаких объяснений относительно того, что вызвало проблему.
Что произошло дальше В течение недели после инцидента мы продолжали периодически получать сообщения от клиентов о проблемах с доступом.
Google Safe Browsing предоставляет два разных API для использования в коммерческих и некоммерческих продуктах.
В нашем случае проблема воспроизводилась по крайней мере для некоторых пользователей Firefox, а также для некоторых антивирусных и сетевых устройств безопасности.
Они отметили наш сайт и заблокировали к нему доступ.
много дней спустя .
Мы продолжили миграцию всех клиентов со старой CDN на новую и, наконец, окончательно решили проблему.
Мы так и не выяснили причину и списали все на какой-то обкуренный искусственный интеллект в штаб-квартире Google. Как запретить Google Safe Browsing помечать ваш сайт Если вы управляете бизнесом SaaS и обещаете своим клиентам гарантированную доступность, добавление Google Safe Browsing без какой-либо конкретной причины представляет собой вполне реальный риск для бизнеса.
К сожалению, учитывая чисто гугл непрозрачность механизма тегирования и просмотра сайтов, вряд ли этого можно гарантированно избежать.
Но вы, безусловно, можете спроектировать свое приложение и процессы так, чтобы свести к минимуму вероятность этого, уменьшить влияние фактического внесения в черный список и минимизировать время, необходимое для решения проблемы.
Вот шаги, которые мы предпринимаем сами и которые я могу порекомендовать:
- Не храните все яйца в одном домене .
Судя по всему, GSB помечает целые домены или поддомены.
Поэтому лучше распределять приложения по нескольким доменам, так как это снизит ущерб от потери любого из них.
Например, Company.com для веб-сайта, app.company.net для приложения, eucdn.company.net для клиентов в Европе, useastcdn.company.net для клиентов на восточном побережье США и т. д.
- Не размещайте данные клиентов на основных доменах .
Домены часто попадают в черный список из-за того, что клиенты SaaS по незнанию загружают на сервер вредоносные файлы.
Эти файлы безвредны для систем, но само их существование может привести к попаданию в черный список всего домена.
Все, что ваши пользователи загружают в ваши приложения, должно размещаться за пределами ваших основных доменов.
Например, используйте Companyusercontent.com для хранения клиентских файлов.
- Активно заявляйте права владения доменом в консоли поиска Google. .
Это не предотвратит занесение сайта в черный список, но вы получите электронное письмо, которое позволит вам быстро отреагировать на проблему.
Реагирование на такие инциденты требует времени, и это ценное время, в течение которого страдают ваши клиенты.
- Будьте готовы сменить домен, если это необходимо.
.
Это самое сложное, но это единственный эффективный инструмент против попадания в черный список: спроектируйте системы так, чтобы имена доменов служб можно было легко изменить (с помощью скриптов или инструментов оркестрации).
Например, пусть у eucdn.company2.net есть запись CNAME eucdn.company.net, и если первая из них заблокирована, обновите конфигурацию приложения для загрузки ресурсов из альтернативного домена.
- Если вы можете легко и быстро переключить свое приложение на другой домен, это единственный способ надежно, быстро и якобы окончательно разрешить инцидент .
Если можете, сделайте это.
Вот и все.
- В противном случае, как только вы обнаружите заблокированный домен, просмотрите отчеты в консоли поиска Google. Если вы еще не заявили права собственности на домен, вам придется сделать это прямо сейчас, что займет некоторое время.
- Если сайт действительно взломан, устраните проблему (например, удалите оскорбительный контент или взломанные страницы), а затем запросите проверку безопасности.
Если сайт не взломан или отчет о безопасном просмотре не имеет смысла, все равно запросите проверку безопасности и заявите, что отчет неполный.
- Тогда вместо того, чтобы метаться в агонии, представляя себе размер ущерба во время ожидания, все равно приступайте к переходу на новый домен.
Проверка может занять несколько недель.
Через несколько часов я как администратор домена G Suite получил еще одно интересное письмо, которое вы можете прочитать ниже.
«sc» в [email protected] означает Search Console.
Объясню своими словами, что это такое, потому что это просто умопомрачительно.
Речь идет о предупреждающем письме от Search Console о занесении в черный список.
Во втором письме говорится, что Автоматический фильтр фишинга электронной почты G Suite учитывается фальшивый это письмо из Google Search Console .
Конечно, это не так , поскольку наш домен действительно был занесен в черный список.
Так что Google даже не может решить, являются ли собственные оповещения о фишинге фишингом .
(РЖУ НЕ МОГУ?) Несколько неприятных мыслей о будущем Интернета Каждому, кто работает в сфере технологий, совершенно ясно, что крупные технологические гиганты в основном являются хранителями Интернета.
Но раньше я интерпретировал это в свободном, метафорическом смысле.
Описанный здесь инцидент с безопасным просмотром ясно показал, что Google буквально контролирует, кто может получить доступ к вашему сайту, независимо от того, где и как вы им управляете.
Поскольку Chrome занимает около 70% рынка, а Firefox и Safari в той или иной степени используют базу данных GSB, Google может сделать практически недоступным в Интернете любой сайт одним движением пальца.
Теги: #Разработка стартапов #Google #браузеры #Антивирусная защита #стартап #saas #Администрирование доменных имен #SaaS / S+S #черный список #Безопасный просмотр Google #Google Search Console
-
Шухардт, Хуго (Гуго)
19 Oct, 24 -
Покадровое Сравнение H.264 И Vp8
19 Oct, 24
