1. Что такое A/B тест в проверке позиций
A/B тест позволяет доказать (или опровергнуть), что именно ваши изменения на сайте повлияли на позиции — не сезонность, обновление алгоритма поисковой системы или другие внешние факторы.
Суть: выбираете тестовую группу страниц (где вносились правки) и контрольную группу (аналогичные страницы без изменений). Система сравнивает динамику обеих групп до и после отмеченной вами даты и показывает чистый эффект именно ваших правок.
Эксперимент можно запустить по двум типам объектов:
• Теги — группы ключевых слов, которые вы уже создали в задаче
• URL-адреса — конкретные страницы сайта, которые отслеживаются в задаче.
2. Когда использовать A/B тест
| СИТУАЦИЯ | ПОДХОДИТ ЛИ A/B ТЕСТ? |
| Переписали тексты в части категорий, остальные не трогали | ✅ Да — категории без правок станут контрольной группой |
| Сменили структуру URL в одном разделе | ✅ Да — другие разделы служат контролем |
| Поменяли Title на всех страницах сайта сразу | ⚠️ Сложно — нет незатронутых страниц для контроля. Лучше использовать «До / После» |
| Хотите понять эффект отдельных страниц, а не тегов | ✅ Да — используйте режим «URL» при создании эксперимента |
3. Как создать эксперимент
3.1. Откройте вкладку «Эксперименты»
Откройте нужную задачу проверки позиций и перейдите на вкладку «Эксперименты». Она расположена в верхней панели навигации рядом с вкладками «Динамика», «Конкуренты» и «История».
Если для задачи ещё не создано ни одного эксперимента, откроется пустой экран с кнопкой «Создать первый эксперимент». Нажмите её, чтобы перейти к настройке нового эксперимента.
3.2. Заполните форму создания
В открывшемся окне заполните следующие поля:
Шаг 1. Выберите тип эксперимента
Выберите «A/B тест групп» — это сравнение тестовой и контрольной группы.
Шаг 2. Введите название
Дайте эксперименту понятное название — оно будет отображаться в журнале и на графиках. Например: «Проработка текстов категорий смартфонов».
Шаг 3. Выберите объект сравнения: Теги или URL
Переключатель «Что сравниваем» определяет, по каким объектам будет строиться эксперимент:
• Теги — если вы работаете с группами ключевых слов. Выберите тег из выпадающего списка всех тегов задачи.
• URL-адреса — если правки затронули конкретные страницы. Выберите нужные URL из списка с помощью чекбоксов.
Нельзя выбрать один и тот же тег или URL одновременно в тестовую и контрольную группу.
Шаг 4. Укажите тестовую группу
Тестовая группа — это теги или URL, где вы вносили изменения.
• В режиме «Теги»: один тег из выпадающего списка
• В режиме «URL»: один или несколько URL — используйте поиск и чекбоксы
Шаг 5. Укажите контрольную группу
Контрольная группа — это аналогичные страницы, которые вы НЕ изменяли. Чем больше сходство между тестовой и контрольной группами по тематике и структуре — тем достовернее результат.
• В режиме «Теги»: можно добавить несколько тегов в контрольную группу
• В режиме «URL»: аналогично — поиск, чекбоксы, «Выбрать все»
ВАЖНО
Если тег уже используется в другом активном эксперименте — система покажет предупреждение, но не заблокирует создание.
Шаг 6. Установите дату маркера
Дата маркера — это дата, когда вы внесли изменения. По умолчанию подставляется дата последнего снятия позиций. Вы можете выбрать любую дату в пределах истории снятий задачи.
Нельзя выбрать дату раньше первого снятия позиций — данных для периода «до» не будет.
Шаг 7. Выберите окно сравнения
Окно сравнения — длина периода до и после маркера, который анализируется. Доступные варианты: 7, 14, 30, 60 дней или «Все данные».
Для SEO-изменений рекомендуется окно 30 дней и более — поисковики реагируют на правки постепенно.
Шаг 8. Добавьте гипотезу (необязательно)
Опишите, что именно вы изменили и какого результата ожидаете. Гипотеза сохранится в журнале экспериментов — это поможет вам позже вспомнить контекст и объяснить результаты команде.
Шаг 9. Запустите эксперимент
Нажмите кнопку «Запустить эксперимент». Система сохранит настройки и автоматически перейдёт на экран результатов.
Если в тестовой или контрольной группе менее 5 ключевых слов — система покажет предупреждение о низкой статистической значимости. Вы всё равно можете запустить тест, нажав «Всё равно запустить».
При запуске эксперимента количество количество ключевых слов и их частотность фиксируется. Так что, если вы добавите новые ключевые слова или в тесте по URL будет ранжироваться больше ключевых слов, чем было на момент запуска теста – это не повлияет на результаты эксперимента.
4. Экран результатов
После создания эксперимента вы попадаете на экран результатов. Он состоит из трёх блоков: сводные карточки, графики и таблица ключевых слов.
4.1. Сводные карточки
Четыре карточки в верхней части экрана дают быстрый ответ на главный вопрос — сработал ли тест.
| Карточка | Что показывает |
| Видимость тест | Текущая видимость тестовой группы + дельта от маркера до сегодня. Формат: «было X% → стало Y%» |
| Видимость контроль | То же самое для контрольной группы — для сравнения |
| Чистый эффект | Главная метрика. Дельта теста минус дельта контроля. Показывает эффект именно ваших правок, очищенный от фонового тренда рынка |
| Дней наблюдения | Сколько дней прошло с маркера. Плюс количество снятий позиций за этот период |
Карточка «Чистый эффект» — самая важная. Если видимость теста выросла на +15%, а контроль тоже вырос на +12% (например, из-за сезонности), то чистый эффект ваших правок составит всего +3%.
4.2. Графики
Три вкладки графиков: «Видимость», «Средняя позиция» и «% в Топ-10». Каждый график показывает динамику тестовой (синяя линия) и контрольной (серая пунктирная линия) группы на одной оси.
Ключевые элементы графика:
• Вертикальная синяя пунктирная линия — дата маркера. Разделяет историю на «до» и «после»
• Серая заливка — период «до маркера»
• Голубая заливка — период «после маркера»
• Существующие заметки задачи отображаются поверх графика
График можно экспортировать в форматах PNG и PDF.
Режимы отображения
Переключатель «Абс / Норм» расположен в правом верхнем углу графика и позволяет выбрать способ отображения данных:
- Абс — отображает абсолютные значения метрики. Используйте этот режим, чтобы оценить фактический уровень показателя.
- Норм — отображает нормализованные значения, принимая значение метрики на дату маркера за 100% для обеих групп. Этот режим позволяет корректно сравнивать динамику тестовой и контрольной групп, даже если их исходные значения различаются. Режим «Норм» используется по умолчанию.
Используйте нормализованный режим когда тестовая и контрольная группы сильно различаются по размеру — например, тег с 200 ключами vs тег с 30 ключами. В абсолютном режиме линии будут несопоставимы визуально.
Для метрики «Средняя позиция» значение ниже 100% в нормализованном режиме означает улучшение (позиция стала меньше = выше в выдаче). Об этом напоминает подсказка под графиком.
Экспорт графика
Кнопки «PNG» и «PDF» сохраняют текущий вид графика — с активной вкладкой и режимом отображения.
4.3. Таблица ключевых слов
Таблица показывает все запросы из тестовой группы и их изменение за период эксперимента.
Ключевое слово — Запрос из тестовой группы
Частотность — Частотность запроса по Wordstat
Позиция до — Средняя позиция за 7 дней до маркера
Позиция после — Позиция на последнем снятии
Δ позиция — Изменение позиции. Зелёный = рост, красный = падение
По умолчанию таблица отсортирована по модулю изменения позиции: первыми отображаются запросы с наиболее значительными изменениями. Для более точного отбора данных используйте стандартные фильтры столбцов.
Таблицу можно экспортировать в форматах XLSX и CSV. При выгрузке сохраняются все строки, соответствующие текущим настройкам фильтрации.
5. Маркер эксперимента на графиках задачи
Дата маркера эксперимента автоматически отображается на всех стандартных графиках вкладки «Динамика» в виде синей вертикальной пунктирной линии:
- При наведении указателя на линию отображается всплывающая подсказка с названием и датой эксперимента.
- При нажатии на линию открывается экран результатов эксперимента.
Маркеры нескольких экспериментов могут отображаться на одном графике одновременно — если у задачи несколько экспериментов с разными датами.
6. Журнал экспериментов
Все эксперименты задачи хранятся в журнале — это основной вид вкладки «Эксперименты» при наличии хотя бы одного эксперимента.
Каждая строка журнала содержит:
• Название эксперимента — клик переходит на экран результатов
• Правила эксперимента: тип, тестовая и контрольная группы, дата маркера, количество дней
• Статус: «Активен» или «Завершён»
• Чистый эффект — итоговая дельта одной цифрой
• Кнопки действий: редактировать настройки, скачать, удалить
Фильтры журнала: «Все», «Активные», «Завершённые» — переключают отображаемые записи. Общий счётчик в заголовке всегда показывает полное количество экспериментов.
Все эксперименты задачи отображаются в журнале. Журнал является основным представлением вкладки «Эксперименты», если для задачи создан хотя бы один эксперимент.
Каждая запись журнала содержит:
- Название эксперимента — при нажатии открывается экран результатов эксперимента.
- Параметры эксперимента: тип, тестовая и контрольная группы, дата маркера и продолжительность эксперимента (в днях).
- Статус — «Активен» или «Завершён».
- Чистый эффект — итоговое значение эффекта.
- Кнопки действий — редактирование настроек, скачивание результатов и удаление эксперимента.
Фильтры журнала: «Все», «Активные», «Завершённые» — переключают отображаемые записи, а общий счетчик в заголовке всегда показывает полное количество экспериментов.
7. Завершение и возобновление эксперимента
7.1. Ручное завершение
Завершить эксперимент можно двумя способами:
• Из журнала — нажать «⋯» в строке эксперимента → «Завершить»
• С экрана результатов — нажать кнопку «Завершить эксперимент» в правом верхнем углу
7.2. Автоматическое завершение
Если выбрано окно сравнения 7, 14, 30 или 60 дней — эксперимент автоматически завершится по истечении этого срока после маркера.
При выборе «Все данные» автоматическое завершение не происходит.
8. Частые вопросы
Что будет, если я удалю тег после создания эксперимента?
Данные эксперимента сохраняются. При создании эксперимента система делает снэпшот — фиксирует список ключевых слов и их частотность на дату маркера. Последующие изменения тега на эксперимент не влияют.
Можно ли использовать один тег в нескольких экспериментах одновременно?
Да. Система предупредит об этом при создании, но не заблокирует. Учтите, что результаты нескольких параллельных экспериментов с одним тегом могут влиять друг на друга.
Почему нормализованный режим включён по умолчанию?
Тестовая и контрольная группы часто имеют разный масштаб видимости. В абсолютном режиме линии несопоставимы — одна группа может быть в 3 раза больше другой. Нормализация приводит обе группы к общей базе (100% = значение на маркере) и делает сравнение корректным.
Минимальное количество данных для графика?
Для построения графика необходимо минимум 2 снятия до маркера и 1 снятие после. Если данных недостаточно — вместо графика отображается информационное сообщение.
Что значит «Чистый эффект» и почему он важнее, чем просто рост видимости теста?
Видимость может расти по независящим от вас причинам — сезонность, обновление алгоритма, общий рост ниши. Контрольная группа помогает отделить эти факторы. Чистый эффект = рост тестовой группы минус рост контрольной группы за тот же период. Это и есть реальный вклад ваших правок.
Пример: тест вырос на +15%, контроль вырос на +12%. Чистый эффект = +3%. Значит именно правки дали +3%, а +12% — это фоновый тренд рынка
Была ли статья полезной?
1
0