Свой инструмент для семантики на Python: лемматизация, чистка и анализ конкурентов

Многие SEO-специалисты годами собирали семантику в одной популярной программе, которая со временем устарела. Привычка — страшная сила, особенно если вам лет десять платили за привычку.

Свой инструмент на Python с помощью нейросети решает задачу под ваш процесс — от чистки мусора до анализа, каких конкурентов реально можно обогнать. Семантика — это набор запросов, которые вводят люди по вашей теме. Лемматизация — приведение слов к начальной форме.

Чистка по маскам

• Удаление по заранее заданным маскам (стоп-слова, чужие бренды, «бесплатно» и т. д.).
• Отдельная вкладка «Отфильтрованные запросы» с причиной удаления, чтобы проверить, не выкинули ли лишнее.

Примеры масок для разных ниш

Скопируйте маски своей ниши в настройки, добавьте бренды конкурентов и после чистки просмотрите вкладку отфильтрованных запросов.

• Сладости оптом. Маски: рецепт*, своими руками, калори*, полезн*, состав, вред*. Причина: информационный и кулинарный интент, оптовый покупатель так не ищет.
• Пластиковые окна. Маски: ремонт ручк*, регулировк*, утеплить, запотева*, бу, вакансии. Причина: сервисный и кадровый спрос, а не покупка новых окон.
• Стоматология. Маски: болит, что делать, народн*, в домашних, фото, бесплатно. Симптомные запросы — информационный интент, им место в статьях.
• Грузоперевозки. Маски: работа, вакансии, водитель на, лицензия, штраф*. Это запросы соискателей и перевозчиков, а не заказчиков.
• Юридические услуги. Маски: образец, бланк, статья ук, самостоятельно. Образцы полезны для статей, но в коммерческом ядре услуг дают нецелевые клики.
• Клининг. Маски: средство, своими руками, лайфхак, вакансии, как отмыть. «Как отмыть» — самый массовый нецелевой спрос в клининге.

Лемматизация

Запросы группируются по леммам (начальным формам слов). Так легко увидеть нерелевантные вхождения: в теме «сладости оптом» сразу всплывают «полезный», «состав», «срок годности» — и их можно удалить одним действием. Хорошо работает лемматизатор Яндекса (MyStem).

Расширение через n-граммы

N-грамма — сочетание из нескольких слов подряд. Из оставшихся запросов собираются двух- и трёхсловные сочетания («оптом сладости», «белый шоколад оптом») и отправляются в Вордстат за частотами и хвостами.

Анализ выдачи

1. Собрать топ по запросам.
2. Выбрать домены, с которыми реально конкурировать: не маркетплейсы и не федеральные гиганты, а сайты вашего масштаба.
3. Отметить запросы, где такие сайты есть в топ-5, — это ваша зона возможностей.
4. Учитывать, кто в топе: главная страница (с ней внутренней странице конкурировать сложнее) или статья блога (значит, интент информационный).

Анализ вхождений по зонам

Для выбранного ключа смотрят, как он встречается у конкурентов: в title, в тексте, в анкорах ссылок, в alt картинок. Учитывают разбавленные вхождения и любой порядок слов, собирают связанные леммы из того же предложения.

Типичные ошибки

• Чистить маски вслепую, без вкладки отфильтрованных запросов.
• Брать в конкуренты маркетплейсы и федеральных гигантов.
• Не отличать главную страницу в топе от статьи блога.
• Писать инструмент «навсегда», не проверяя результат.

Можно ли обойтись без программирования? Да: нейросеть пишет код по описанию логики, нужны только понятная постановка задачи и проверка результата. Где брать частоты, если Вордстат ограничивает? Частоты собирают порциями и кешируют; часть данных берут из Вебмастера и рекламы.

Что это значит для заказчика

Если подрядчик показывает «чистое ядро», спросите, какие маски использовались и можно ли увидеть, что удалено. Смотрите также: свои SEO-скрипты на Python с ИИ, семантика и структура сайта, как ранжируют Яндекс и Google.