Автор: Петр | 111108 | 19.09.2023 12:17 |
День добрый!
Есть ГИС, которая представляет из себя сайт-региональную публичную торговую площадку. Стоит задача защитить сервис от ботов парсеров. Один из самых доступных отечественных сервисов является Яндекс Смарткапча, которая прогоняет запросы к площадке через свое облако и отбрасывает ботов. Вопрос насколько это безопасно передавать такие данные. Нашел информацию, что большие сервисы собирают информацию о пользователях, их активности и поведении. Можно ли использовать подобные сервисы для защиты ГИС от ботов парсеров? Или все же это не безопасно? Большое спасибо! |
Автор: oko | 111109 | 19.09.2023 18:43 |
В "чистом" виде ни один сторонний сервис или провайдер юзать не будет безопасно. Между вами должно быть соглашение, определяющее перечень возможностей, методов и т.п., а так же ответственность сторон за его нарушение и иные риски. Но такое мало кто согласен подписывать (за исключением случая тупой и бессмысленной типовухи, в которой уже учтено "мелким шрифтом", что никто, ни за что и т.д., ага)...
И причем тут парсеры? В закрытые разделы они мимо ИАФ пролезть не должны, а о крытые и так всем должны быть доступны. Или их деятельность негативно сказывается на мощностях/канале? Так расширяйте канал/мощности - это дешевле выйдет, чем кому-то за фильтрацию платить... Или все-таки не парсеры, а автомат.боты (автоботы, ага), осуществляющие попытки несанкионированной регистрации, отправления заявок и т.п.? Насколько понимаю, заявки только после регистрации. Значит, надо тюнить форму регистрации (и той самой ИАФ). Включая разделение сервисов и увеличение мощностей... ЗЫ безотносительно вышесказанного, по требованиям для ГИС в явном виде нет запрета на означенный вопрос. Но это наверняка потребует значительной переработки модели угроз со всеми вытекающими... |
Автор: Петр | 111110 | 20.09.2023 09:10 |
2 oko
В закрытые разделы никто не ходит. Регистрация по квалифицированной электронной подписи. Но по факту ходить по закрытым разделам этим парсерам и не требуется. Почти все данные открыты, кроме раздела оферт и личных кабинетов.Канал и так достаточно широкий 300. Речь идёт именно о поисковых ботах-парсерах. Во-первых, мощности не вывозят, в том числе база данных. Возможно площадка написана криво и тд. Тут никто не знает, а то что база данных падает в пики нагрузки это факт. Во-вторых, желание руководства, чтобы нас не парсили) а желание руководства почти закон. А вот например канал связи при передаче запросов в чужое облако для анализа не должен в данном случае быть построен сертифицированными Фсб средствами? Или сами запросы не конфиденциальны и это излишне? |
Автор: oko | 111111 | 21.09.2023 00:54 |
Раз все-таки парсеры и шерстят открытую/публичную (подчеркиваю) часть, то о какой конфиденциальности в запросах может идти речь?
И раз падает БД, то проблема в БД, в приложениях или в конфигах ОС. Копать, imho, нужно в эту сторону, а не в желание удовлетворить хотелки руководства. Нельзя закрыть от автомат.парсинга то, что публично выставляется на всеобщее обозрение. И капчеподобные сервисы тут не панацея, ибо тоже обходятся. Можно либо лишить атаку смысла (типа перенести все в закрытую часть, а в открытой только статическая визитка), либо расширить мощность (масштабировать app, БД и т.д.), либо ввести лимиты на запросы с одного уникального адреса (например, в минуту). Если я правильно понимаю, что парсят именно выдачу поля поиска, а не тупо перебор всех разделов сайта (от этого тоже методы есть). И все это, прошу заметить, без внедрения лишних СЗИ и сервисов. Короче, тут должны разрабы этой площадки работать головой + сетевик/инфраструктурщик (девопес, ага), а не пытаться подпереть кривое здание сторонними костылями... ЗЫ СКЗИ вам нужны при передаче ПДн и иной охраняемой законом информации по открытым каналам связи. И то не всегда. Но если вы те же ПДн уже в открытом виде публикуете всем без ограничений (или отображаете по запросу), то шифровать их в рамках передачи таких запросов на доп.обработку - это бред. Если же вы боитесь утечки метаданных юзеров через вас к стороннему сервису, то... тут нужно смотреть конкретику, но в общем случае это тоже бессмысленно - крупный сервис те же данные от таких юзеров получит и без вас, ага... |
Автор: Петр | 111113 | 22.09.2023 13:55 |
2 oko благодарю!
|
Просмотров темы: 323