Модуль - Антибот

Модуль Антибот - рішення, яке одночасно працює для зниження навантаження ботами на сервер, а також приховування від індексації контенту блоків і ділянок шаблонів сторінок, тому одночасно входить у постачання пакетів модулів Пакет модулів SEO для CS-Cart проектів та Пакет Speed-Up.

Модуль приходить на заміну модуля SEOhide у SEO пакеті модулів, як більш гнучке та ефективне рішення (сумісність з темами Unitheme2 та Youpi збережена).

Проблема та вирішення

Боти - спеціальні програми, що виконують автоматично та/або за заданим розкладом будь-які дії на сайті. Зазвичай роботи призначені для виконання одноманітних і повторюваних робіт з максимально можливою швидкістю, викликаючи значне навантаження на сервер.

Для індексації сайтів пошукові системи Google, Yandex, Yahoo та багато інших використовують свої власні боти, наприклад: "AdsBot-Google", "Googlebot-Image", "Googlebot" та інші - це боти з Білого списку, їхня робота корисна.

Але існує і шкідливе використання ботів для DDoS- і DoS-атак, для збору адрес e-mail з контактних форм, аналітики, відео та іншої інформації сайту – це все боти з Чорного списку, яким можна і потрібно обмежувати контент.
Ці боти, ігноруючи всі правила, створюють величезне навантаження на сервер, намагаючись одночасно відкрити велику кількість сторінок магазину, у тому числі технічних сторінок (сортувань, фільтрів, сторінок пагінацій та їх комбінацій). 

Вихід із цієї ситуації є: віддавати таким ботам сторінки, на яких немає зайвих посилань (за якими вони можуть ходити нескінченно), немає блоків, виведення яких вимагає складних обчислень сервером (наприклад, фільтри, сортування товарів, вибір кількості товарів на сторінку та ін.) .).
Тобто: реальний користувач отримує повну версію сторінки сайту (без змін), бот отримує урізану версію сторінки (у її коді немає нічого того, що може викликати навантаження сервера або можливість великої кількості переходів по сторінках).

Як працює модуль Антибот для CS-Cart

• Обмежує видимість контенту блоків або ділянок шаблону сторінок для ботів (боти отримують сторінки, у вихідному HTML, в якому вирізані необхідні ділянки вмісту (блоків або частин шаблонів сторінок)), при цьому користувач працює з повним вмістом сторінок;
• Модуль вводить управління довідниками Білий список ботів та Чорний список ботів;
• Білий список ботів включає "хороші" боти, яким є сенс бачити контент нашого сайту (до таких ботів відносяться, наприклад, боти пошукових систем Google і Yandex);
• Чорний список ботів включає "погані" боти, яким ми не хочемо показувати контент нашого сайту (ці боти, постійно скануючи сторінки сайту, призводять лише до підвищеного навантаження на сервер);
• Списки ботів наповнені за замовчуванням при установці модуля (дякуємо за участь у розробці команду спеціалізованого CS-Cart хмарного хостингу zahid.host) однак у разі необхідності внесення змін адміністратор магазину може додавати, видаляти, редагувати ботів у списках;
• Модуль додає можливість керування видимістю блоків для роботів (додає налаштування видимості блоку з такими варіантами: Не приховувати, Приховати для всіх роботів (крім роботів з Білого списку),  Приховати для всіх роботів);
• В документації до модуля пропонується список блоків, які рекомендується закрити для Чорного та Білого списку ботів;
• У випадку, якщо потрібне приховування контенту, який виводиться за допомогою шаблонів сторінок, передбачена можливість вставки спеціальної розмітки в шаблони, за якою модуль виконає приховування;
• Теми UniTheme2 (починаючи з версії 4.11.4.a) та Yopi (починаючи з версії 4.11.4.a) вже мають розмітку приховування ділянок шаблонів сторінок для модуля Антибот.

Що дає вам використання модуля?

- дозволяє віддавати хорошим ботам з Білого списку ботів "чистіші" сторінки в плані SEO (пошуковій машині зовсім не потрібно індексувати блоки особистого кабінету користувача, кошика, сортувань та інших частин сторінок зі службовим вмістом);

- знижує навантаження на сервер в середньому на 20%, тому що ті блоки та ділянки коду, які ви приховуєте в налаштуваннях або шаблонах не виконуються, відсутні повністю в коді сторінок, які віддаються ботам.

Містить готові списки "Білих" та "Чорних" ботів і дозволяє керувати ними

Білий список ботів включає "хороші" боти, яким є сенс бачити контент нашого сайту (до таких ботів відносяться, наприклад, боти пошукових систем Google та Yandex). Модуль дозволяє віддавати ботам із “Білого списку” чисті сторінки (без службових частин), за рахунок чого знижується навантаження на сервер.

Чорний список ботів включає "погані" роботи, яким ми не хочемо показувати контент нашого сайту (ці роботи, постійно скануючи сторінки сайту, призводять лише до підвищеного навантаження на сервер).

На цих сторінках можна повністю керувати списком ботів:

• Додати нового бота до списку;
• Перейменувати бот;
• Перенаправити бот з одного списку до іншого;
• Увімкнути або Вимкнути бот;
• Видалити один або кілька ботів зі списку.

Налаштуйте видимість блоків окремо для ботів з "Білого" та "Чорного" списків

У налаштуваннях блоків є секція “АВ: Антибот”, в якій присутні варіанти налаштування приховування відповідного блоку:

• Не приховувати ‒ блок видно для всіх ботів;

• Сховати для всіх ботів (крім ботів з Білого списку) ‒ блок видно для ботів, вказаних у Білому списку, а для інших ботів прихований;

• Сховати для всіх ботів ‒ блок прихований для Білих та Чорних ботів.

Обмежуйте для роботів видимість вмісту блоків або частин шаблону сторінки

Боти отримують сторінки у вихідному HTML, де вирізані блоки або частини шаблонів сторінок, а користувач працює з усім вмістом сторінки. Цим ви зменшіть навантаження на сервер від поганих роботів, тим самим звільнивши ресурси для більш швидкої роботи веб-сайту. Ви можете приховати від "хороших" ботів (важливих пошукових систем) контент, який їм не потрібно показувати, надаючи тим самим "чистіші" і оптимізовані для просування в пошукових системах сторінки.