Контакты
Подписка
МЕНЮ
Контакты
Подписка

Боты парсеры торговой площадки ГИС - Форум по вопросам информационной безопасности

Боты парсеры торговой площадки ГИС - Форум по вопросам информационной безопасности

К списку тем | Добавить сообщение


Автор: Петр | 111108 19.09.2023 12:17
День добрый!
Есть ГИС, которая представляет из себя сайт-региональную публичную торговую площадку.
Стоит задача защитить сервис от ботов парсеров.

Один из самых доступных отечественных сервисов является Яндекс Смарткапча, которая прогоняет запросы к площадке через свое облако и отбрасывает ботов. Вопрос насколько это безопасно передавать такие данные. Нашел информацию, что большие сервисы собирают информацию о пользователях, их активности и поведении.

Можно ли использовать подобные сервисы для защиты ГИС от ботов парсеров? Или все же это не безопасно?

Большое спасибо!

Автор: oko | 111109 19.09.2023 18:43
В "чистом" виде ни один сторонний сервис или провайдер юзать не будет безопасно. Между вами должно быть соглашение, определяющее перечень возможностей, методов и т.п., а так же ответственность сторон за его нарушение и иные риски. Но такое мало кто согласен подписывать (за исключением случая тупой и бессмысленной типовухи, в которой уже учтено "мелким шрифтом", что никто, ни за что и т.д., ага)...
И причем тут парсеры? В закрытые разделы они мимо ИАФ пролезть не должны, а о крытые и так всем должны быть доступны. Или их деятельность негативно сказывается на мощностях/канале? Так расширяйте канал/мощности - это дешевле выйдет, чем кому-то за фильтрацию платить...
Или все-таки не парсеры, а автомат.боты (автоботы, ага), осуществляющие попытки несанкионированной регистрации, отправления заявок и т.п.? Насколько понимаю, заявки только после регистрации. Значит, надо тюнить форму регистрации (и той самой ИАФ). Включая разделение сервисов и увеличение мощностей...

ЗЫ безотносительно вышесказанного, по требованиям для ГИС в явном виде нет запрета на означенный вопрос. Но это наверняка потребует значительной переработки модели угроз со всеми вытекающими...

Автор: Петр | 111110 20.09.2023 09:10
2 oko
В закрытые разделы никто не ходит. Регистрация по квалифицированной электронной подписи. Но по факту ходить по закрытым разделам этим парсерам и не требуется. Почти все данные открыты, кроме раздела оферт и личных кабинетов.Канал и так достаточно широкий 300.

Речь идёт именно о поисковых ботах-парсерах. Во-первых, мощности не вывозят, в том числе база данных. Возможно площадка написана криво и тд. Тут никто не знает, а то что база данных падает в пики нагрузки это факт. Во-вторых, желание руководства, чтобы нас не парсили) а желание руководства почти закон.

А вот например канал связи при передаче запросов в чужое облако для анализа не должен в данном случае быть построен сертифицированными Фсб средствами? Или сами запросы не конфиденциальны и это излишне?

Автор: oko | 111111 21.09.2023 00:54
Раз все-таки парсеры и шерстят открытую/публичную (подчеркиваю) часть, то о какой конфиденциальности в запросах может идти речь?
И раз падает БД, то проблема в БД, в приложениях или в конфигах ОС. Копать, imho, нужно в эту сторону, а не в желание удовлетворить хотелки руководства. Нельзя закрыть от автомат.парсинга то, что публично выставляется на всеобщее обозрение. И капчеподобные сервисы тут не панацея, ибо тоже обходятся. Можно либо лишить атаку смысла (типа перенести все в закрытую часть, а в открытой только статическая визитка), либо расширить мощность (масштабировать app, БД и т.д.), либо ввести лимиты на запросы с одного уникального адреса (например, в минуту). Если я правильно понимаю, что парсят именно выдачу поля поиска, а не тупо перебор всех разделов сайта (от этого тоже методы есть). И все это, прошу заметить, без внедрения лишних СЗИ и сервисов. Короче, тут должны разрабы этой площадки работать головой + сетевик/инфраструктурщик (девопес, ага), а не пытаться подпереть кривое здание сторонними костылями...

ЗЫ СКЗИ вам нужны при передаче ПДн и иной охраняемой законом информации по открытым каналам связи. И то не всегда. Но если вы те же ПДн уже в открытом виде публикуете всем без ограничений (или отображаете по запросу), то шифровать их в рамках передачи таких запросов на доп.обработку - это бред. Если же вы боитесь утечки метаданных юзеров через вас к стороннему сервису, то... тут нужно смотреть конкретику, но в общем случае это тоже бессмысленно - крупный сервис те же данные от таких юзеров получит и без вас, ага...

Автор: Петр | 111113 22.09.2023 13:55
2 oko благодарю!

Просмотров темы: 259

К списку тем | Добавить сообщение



Добавить сообщение

Автор*
Компания
E-mail
Присылать уведомления да
нет
Текст сообщения*
Введите код*