linkДокументация по модулю "Антибот"

Боты ‒ это специальные программы, выполняющие автоматически и/или по заданному расписанию какие-либо действия на сайте. Обычно боты предназначены для выполнения однообразных и повторяемых работ с максимально возможной скоростью, вызывая значительную нагрузку на сервер.

Для индексации сайтов поисковые системы Google, Yandex, Yahoo и многий другие используют свои собственные боты, например: "AdsBot-Google", "Googlebot-Image", "Googlebot" и другие ‒ это боты из Белого списка их работа полезна.

Но существует и вредоносное использование ботов для DDoS- и DoS-атак, сбора адресов e-mail из контактных форм, аналитики, видео и другой информации сайта ‒ это все боты из Черного спика, которым можно и нужно ограничивать контент.
Эти боты, игнорируя все правила, создают огромную нагрузку на сервер, пытаясь одновременно открыть большое количество страниц магазина, в том числе технических страниц (сортировок, фильтров, страниц пагинаций и их комбинаций).
Выход из этой ситуации есть: отдавать таким ботам страницы, на которых нет лишних ссылок (по которым они могут ходить бесконечно), нет блоков, вывод которых требует сложных вычислений сервером (например, фильтры, сортировки товаров, выбор количества товаров на страницу и др.).
То есть, реальный пользователь получает полную версию страницы сайта (без изменений), бот получает урезанную версию страницы (в ее коде нет ничего того, что может вызвать нагрузку сервера или возможность большого числа переходов по страницам).

Модуль Антибот ‒ это решение, которое одновременно работает для снижения нагрузки ботами на сервер и для скрытия не желаемого контента от индексации, поэтому модуль входит в поставку двух пакетов модулей Пакет модулей SEO для CS-Cart проектов и Пакет Speed-Up.

Модуль приходит на замену модуля SEOhide в SEO пакете модулей, как более гибкое и эффективное решение (совместимость с темами UniTheme2 и YoupiTheme сохранена).

Как работает модуль Антибот для CS-Cart

• Ограничивает видимость контента блоков или участков шаблона страниц для ботов (боты получают страницы, в исходном HTML, в котором вырезаны необходимые участки содержимого (блоков или частей шаблонов страниц)), при этом пользователь работает с полным содержимым страниц;
• Модуль позволяет управлять справочниками Белый список ботов и Черный список ботов;
• Белый список ботов включает "хорошие" боты, которым есть смысл видеть контент нашего сайта (к таким ботам относятся, например, боты поисковых систем Google и Yandex);
• Черный список ботов включает "плохие" боты, которым мы не хотим показывать контент нашего сайта (эти боты, постоянно сканируя страницы сайта, приводят лишь к повышенной нагрузке на сервер);
• Списки ботов наполнены по умолчанию при установке модуля (благодарим за участие в разработке команду специализированного CS-Cart облачного хостинга zahid.host) однако в случае необходимости внесения изменений администратор магазина может добавлять, удалять и редактировать ботов в списках;
• Модуль позволяет управлять видимостью блоков для ботов (добавляет дополнительную настройку в настройки блока с такими вариантами: Не скрывать, Скрыть для всех ботов (кроме ботов из Белого списка), Скрыть для всех ботов);
• Если требуется скрытие контента, который отображается при помощи шаблонов страниц, предусмотрена возможность вставки специального Smarty-тега ab__hide_content;
• В документации к модулю предлагается список блоков, которые рекомендуется скрыть для Черного и Белого списка ботов;
• Темы UniTheme2 (начиная с версии 4.11.4.a) и YoupiTheme (начиная с версии 4.11.4.a) уже имеют разметку скрытия участков шаблонов страниц для модуля Антибот (темы сторонних разработчиков для использования).

Что дает Вам использование модуля?

• позволяет отдавать хорошим ботам из Белого списка более "чистые" страницы в плане SEO (поисковой машине совсем не нужно индексировать блоки личного кабинета пользователя, корзины, сортировок и других частей страниц со служебным содержимым);
• снижает нагрузку на сервер в среднем на 20%.

Перейдите на страницу Панель администратора → Дизайн → Макеты → макет "По умолчанию"
(названия блоков для макета темы Responsive)

Перейдите на страницу Панель администратора → Дизайн → Макеты → макет "Домашняя страница"
(названия блоков для макета темы Responsive)

Перейдите на страницу Панель администратора → Дизайн → Макеты → макет "Товары"
(названия блоков для макета темы Responsive)

Перейдите на страницу Панель администратора → Дизайн → Макеты → макет "Категории"
(названия блоков для макета темы Responsive)

Модуль совместим со следующими Темами:

• YoupiTheme (совместимых с соответствующей версией CS-Cart);
• UniTheme2 (совместимых с соответствующей версией CS-Cart);
• Responsive.

Общие условия технической поддержки доступны по этой ссылке (обязательно изучите эти условия, все решения от команды разработчиков AlexBranding поставляются с ограниченной технической поддержкой).

Для того, чтобы воспользоваться нашей технической поддержкой, выполняйте следующую последовательность действий:

1. На сайте https://cs-cart.alexbranding.com авторизуйтесь под своей учетной записью владельца заказа;
2. Перейдите на страницу Мой профиль → Заказы;
3. Найдите соответствующий заказ с решением (по которому у Вас есть проблема) в списке заказов и перейдите к его деталям;
4. Найдите ссылку Техническая поддержка рядом с названием модуля (по которому вам необходима помощь) и нажмите ее;
5. Заполните данные с проблемой, предоставьте доступы к Вашей установке (обязательно путь к административной панели, почту и пароль администратора + FTP доступы) и создайте тикет (после того, как будет создан тикет, Вы получите письмо на e-mail и специальный код для отслеживания тикета в дальнейшем);
6. Ожидайте ответ специалиста (на электронную почту владельца заказа с темой) в соответствии с регламентами работы службы техподдержки и выбранным Вами приоритетом решения.

Если Вы не получили ответ в течении сроков, обозначенных в регламентах, напишите на почту info@alexbranding.com с номером тикета, по которому вовремя не получили ответ, и менеджер команды разработчиков решит проблему с соблюдением регламентов.

Протестировать работу модуля, с доступом к административной панели магазина, Вы сможете на нашем сервере Демо решений для CS-Cart от Alexbranding выбрав его в списке Модулей или просто перейдите по ссылке.

Рекомендуем ознакомиться с общими ограничениями:

1. Все модули и решения команды AlexBranding требуют предварительной установки сервисного модуля AB: Менеджер Модулей. Он поставляется бесплатно и отвечает за вопросы: установки, обновления, лицензионной проверки модулей. Исключить использование этого сервисного модуля не представляется возможным;
2. Файлы модуля могут иметь закрытую (закодированную) часть, в которой находится исключительно проверка лицензии;
3. Модуль будет работать только на тех доменах, которые указаны в лицензии пользователя. При попытке использования решения на установках CS-Cart, домены которых не включены в лицензию, модуль будет автоматически выключен;
4. Установка локально не допускается системой лицензирования, чтобы модуль работал на дополнительном домене (поддомене) укажите этот домен (поддомен) в поле Домен при заказе (или напишите на info@alexbranding.com) — добавление технических доменов для разработчика или для тестирования — бесплатно.

После того, как Ваш заказ будет обработан нашим менеджером, он будет переведен в состояние Выполнен, Вы получите письмо на Ваш почтовый ящик с номерами лицензий заказанных модулей (обычно это требует от 15 минут до 8 часов в зависимости от времени суток и дня недели).

Далее выполняйте следующую последовательность действий, которая отличается в зависимости от вашей версии платформы CS-Cart:

Также, Вы можете установить модуль стандартной установкой для CS-Cart. Для этого, скачайте соответствующий архив с совместимой с Вашей версией платформы CS-Cart версией модуля.
Перейдите на сайт cs-cart.alexbranding.com, авторизуйтесь под учетной записью владельца заказа и перейдите в Мой профиль → Заказы → Соответствующий заказ, перейдите в его детали и Вы увидите список доступных архивов для заказанного модуля. Скачайте необходимую Вам версию (архив) и произведите установку (стандартная для CS-Cart установка: Модули → Скачанные модули и в меню шестерёнки выберите Ручная установка).

Для доступа к настройкам модуля необходимо перейти на страницу Панель администратора → Модули → Скачанные модули и у названия модуля выбрать соответствующий пункт меню.

Модуль позволяет скрывать участки кода шаблонов от ботов. Например, скроем доступные варианты сортировок товаров на странице категории. За этот список отвечает шаблон sorting.tpl.
Чтобы перейти на страницу шаблона sorting.tplследуйте пути Панель администратора → Дизайн → Шаблоны → responsive → templates → common → sorting.tpl
Чтобы скрыть участок кода для всех ботов поместите этот код между открывающимся и закрывающимся Smart-тегами {ab__hide_content}

{ab__hide_content bot_type="ALL"}
участок кода, который нужно скрыть
{/ab__hide_content}

где передаваемый параметр bot_type может принимать два значения: "ALL" ‒ скроет контент для всех ботов; "BLACK" ‒ скроет контент для ботов из Черного списка.

Страница категории до скрытия кода

Страница категории после скрытия кода

Модуль позволяет скрывать отдельные блоки от ботов. Для примера рассмотрим блок Поиск.
Чтобы изменить параметры блока перейдите на страницу Панель администратора → Дизайн → Макеты и во вкладке По умолчанию нажмите кнопку Параметры блока в блоке Поиск.

В открывшемся окне в поле Скрыть этот блок выберите одно из значений:

• Только Черным ботам
• Всем ботам

Чтобы визуально увидеть, какие блоки будут отображены ботам, в панеле администратора на странице Дизайн → Макеты модуль добавляет кнопки отображения видимости блоков: Для реальных посетителей; Для Белых ботов; Для Черных и других ботов, которые появятся при клике на Предпросмотр любого из устройств.

Также в правом углу блока присутствует иконка, которая отображает скрытие соответствующего блока.
Иконка черного цвета отображает скрытие Только Черным ботам и имеет подсказку Блок скрыт Черным и другим ботам.
Иконка бело-черного цвета отображает скрытие Всем ботам и имеет подсказку Блок скрыт всем ботам.

Для того, чтобы проверить работу модуля на витрине магазина выполните следующие шаги:
1) Перейдите на витрину магазина с помощью браузера Google Chrome и нажмите F12 либо правую кнопку мыши и виберите опцию Просмотреть код.
2) Перейдите во вкладку Network.
3) Следуйте пути Customize and control DevTools → More tools → Network conditions отключите чекбокс Select automatically.
4) Под полем Custom вставьте название бота из Черного списка (например, 360Spider).

5) Обновите страницу.
6) Перейдите во вкладку Application.
7) В левой панеле Storage нажмите на Cookies и выберите файл своей витрины.
8) В окне со списком элементов найдите переменную ab__ab_ib и обратите внимание на его значение, где B ‒ бот из Черного списка; W ‒ бот из Белого списка; N ‒ не бот, реальный пользователь.

Чтобы увидеть, что доступно для бота из черного списка, замените вручную значение N на B и обновите страницу. Как результат, скрытые блоки для видимости ботами из черного списка не будут отображаться на витрине.

Например, скройте любые блоки, выбрав параметр этих блоков Скрыть для всех ботов (для этого воспользуйтесь инструкцией из раздела Скрытие блока), проделайте выше указанные шаги. В результате Вы увидите значение "B" напротив переменной ab__ab_ib и выбранные Вами блоки не будут отображаться на витрине.