Приклад кластеризації семантичного ядра. Безкоштовний сервіс кластеризації пошукових запитів SEOQUICK

Привіт, любі друзі! З Новим Роком вас, сподіваюся, ви вже відійшли від свят і налаштувалися на бойовий лад. У мене для вас новорічний подарунок сьогодні дуже крутий практичний пост. Пост не мій, але більш ніж гідний з'явитися на сторінках цього блогу.

Огляд складений крутим чуваком на ім'я Дмитро Мірошниченко. Діма живе у Волгограді, працює керівником проектів у місцевій веб-студії, яка займається розвитком та просуванням власних проектів. А ще Діма – кандидат наук, а це вам не хухри-мухри!

Все, що написано нижче, є моєю точкою зору і засноване на моєму життєвому досвіді. Я не претендую на істину в останній інстанції. Якщо ви бачите якісь процеси інакше і знаєте, як можна вирішити поставлене завдання ефективніше, вкрай бажано не стримувати себе та написати про це у коментарі.

Отже, завдання скласти семантичне ядро ​​для сайту. Що означає слово «семантичне»? Ось що нам повідомляє Вікіпедія. Семантика (від ін. -грец. σημαντικός - позначає) - розділ лінгвістики (зокрема, семіотики), що вивчає смислове значенняодиниць мови. Тобто, нам потрібно виділити смислові напрями для структури сайту.

Як зазвичай вирішується це завдання?

1. Парсим запити (вордстат, різні бази, підказки, послуги типу спайвордс і семраш, відкриті лічильники статистики та інші джерела)
2. Відсіваємо сміття та перевіряємо частотність
3. Розподіляємо запити на групи
4. На основі груп робимо структуру сайту та розподіляємо статті

Перші два пункти успішно вирішуємо за допомогою кейколектора. Тут особливих мук вибору немає. Кейколектор справді зручний інструмент.

Третє завдання найцікавіше. Її рішення ми й розглядатимемо.

Четверте завдання вирішується досить тривіально, якщо третє було якісно реалізовано.

Вихідні дані

Інформаційний сайт дачної тематики. Розділ «чагарники та дерева». Усього було зібрано 562 ключі. Це тренувальний набір даних. Мені було важливо порівняти результати різних інструментів.

Для розділу інформаційного сайту було зібрано запити, прибрано сміття та розставлено частотність «!» за вордстатом більше 30. Потрібно їх розподілити за групами.

Розподіляти запити можна вручну та автоматично. Вручну розподіляємо за змістом. Тут усе зрозуміло. Для автоматичної кластеризації є багато способів. Докладніше розглянемо кожному інструменту.

Інструменти, що полегшують ручну кластеризацію запитів

Excel, LibreOffice, OpenOffice

Думаю, тут немає сенсу докладно описувати, як працювати з цими інструментами.

Переваги

• висока точність обробки - руками все-таки обробляємо
• універсальність - можна враховувати купу параметрів
• у випадку з LibreOffice, OpenOffice - безкоштовні

Недоліки

• у випадку з Excel - платний
• низька швидкість роботи - при роботі з великими обсягами даних
• потрібно робити бекапи

Google документи

Переваги

• аналогічно попередньому пункту
• онлайн сервіс - зручний доступ до документа
• не потрібно робити бекапи
• безкоштовний

Недоліки

• швидкість роботи все також низька

kg.ppc-panel.ru

Онлайн сервіс. Завантажуєш запити, фільтруєш, виділяєш групи.

Працює швидко. Достатній функціонал (крім збереження проектів), хороший інтерфейс.

Переваги

• зручний інтерфейс
• швидко працює
• наочність
• не потрібно реєструватися
• безкоштовний
• онлайн сервіс

Недоліки

• не можна зберігати проекти можна, тільки вивантажувати готові
• випливає з попереднього - якщо сервіс заглючить, то загубляться всі напрацювання
• не можна завантажувати частотність

Keyword Assistant - створення структури майбутнього сайту

Ще один онлайн-сервіс. Аналогічний попередньому. Вже можна зберігати проекти.

Переваги

• проекти зберігаються
• гарний та зрозумілий інтерфейс
• можна завантажувати частотності
• безкоштовний
• онлайн сервіс

Недоліки

• швидкість роботи вище, ніж під час роботи з excel, але однаково порівнянна
• для параноїків – незрозуміло де зберігаються ваші дані

Інструменти для автоматичної кластеризації запитів

Угруповання ключових слів для PPC

Десктопна версія із дивною логікою поведінки. Подробиці за посиланням вище (де завантажити, можна знайти там).

Короткий опис роботи алгоритму кластеризації:

У нас є певний набір ключових слів. Перед складанням індексу скрипт нормалізує всі словоформи. На наступному етапі скрипт групування визначає частоти всього індексу документа і вибудовує рейтинг. Частоти вважаються кожному за слова (після нормалізації). Якщо у нас є «відпочинок у тунісі», то скрипт вважає частоти для «відпочинок» та «туніс».

На даному етапі рейтинг слів вибудовується від найбільш частотних до менш частотних. Навіщо це потрібно? Щоб створити основні групи. Скажімо так, якщо слово «єгипет» зустрічається частіше ніж слово «готель», то пошуковий запит (наприклад, [недорогі готелі єгипту]), що включає слово «готель», буде віднесений до групи «єгипет», а не навпаки.

Отже ми згрупували слова, але досить примітивно. Далі – нам потрібне точніше угруповання.

Точне угруповання означає, що всередині кожної групи скрипт створить підгрупи та розподілить слова між ними.
На даному етапі так само вибудовуватиметься рейтинг слів за частотою. При цьому рейтинг буде створюватися тільки всередині групи, основне слово групи (воно ж назва групи) не братиме участі в рейтингу. Крім того, рейтинг слів у групі вибудовується за зворотною частотністю. Тобто. слово із найменшою частотністю – першим створить «свою» підгрупу.

Звичайно, створити свої підгрупи можуть тільки ті слова, які зустрічаються не менше N раз (задається в налаштуваннях скрипта, але зазвичай це не менше 4-5).

Саме такий підхід працює дуже ефективно, коли основні групи створюються на основі рейтингу від найчастіших слів до найменш частотних, а підгрупи – від найменш частотних до найчастіших.

На виході одержуємо згрупований список.

Переваги

• поки що безкоштовний
• швидко працює

Недоліки

• десктопна версія
• якось криво зберігається проект
• як там видалити щось?
• украй дивна логіка поведінки, звідки в системі слова яких там не було? (видно на скрині)
• алгоритм не враховує сенсу слів, тільки загальний корінь — найсуттєвіший недолік
• заявлено обмежування у 1000 ключів
• не можна завантажити частотність
• потрібно робити бекапи

Rush Analytics

Онлайн сервіс кластеризації запитів з урахуванням видачі ПС. Точніше кластеризація це лише одна з можливостей сервісу. Більше докладний описдоступний на сайті.

Коротко про алгоритм роботи:

Кластеризація – це автоматичне розбиття ключових слів на групи.
Як працює технологія?
Ви завантажуєте список ключових слів, вибираєте тип кластеризації - система аналізує ранжування пошукових систем і за допомогою нашого алгоритму розбиває ключові слова на групи, які будуть ранжуватися в пошукових системах. На виході Ви отримуєте ключові слова, розбиті на групи.

Можна виставити силу угруповання. Виставляється мабуть у папугах. На виході Excel файли з обраною силою угруповання. На першій вкладці кластери. На другий усе, що залишилося без кластерів.

Плата знімається лише для згрупованих запитів (максимальна кількість).

Нагадаю, всього 562 запити. Скільки запитів згрупувалося для кожного варіанту видно у таблиці нижче.

Отримуємо максимальну кількість згрупованих запитів 359. Непогано для автомата. Скільки це коштувало?

Отримуємо, що кластеризація 359 запитів обійшлася в 552,5 рубля або трохи більше 1,5 рублів за зарість (хоча цифра угруповання за запит мені зовсім не цікава, але для загальної картини нехай буде). Тут слід уточнити, що кластером вважається більше двох запитів. Скільки гуртів вийшло так і не вигадав, як порахувати.

Тепер подивимося, що там за якістю.

Виберемо тестову групу по черешні. Ось список вихідних запитів:

як правильно обрізати черешню валерій чкалів черешня черешня бичаче серце черешня дерево черешневий сад черешня обрізка молодої черешні обрізка черешні черешня сорту черешні

Вийшло два кластери для сили угруповання 4 і 5:

Для сили угруповання 3, кластер обрізки трохи розширено:

Очевидно, що результат такий собі.

Якби я робив вручну, то кластер за сортами виглядав би приблизно так:

черешня бичаче серце черешня іпуть валерій чкалів черешня черешня сорту черешні

Отже, алгоритми явно потрібно допилювати.

Переваги

• онлайн сервіс
• всі проекти зберігаються
• при реєстрації видають 3000 рублів на рахунок (на момент публікації, на мою думку вже прикрили таку халяву)
• погано бідно, але враховується сенс (а не тільки загальний корінь) на основі видачі пошукових систем

Недоліки

• поки що в стадії тестування (на момент публікації вже начебто немає)
• платний
• дорого — добре, якщо ядро ​​500 запитів, а якщо тисячі й сотні тисяч?
• все одно потрібно доробляти руками, повного автомата не виходить

SEMparser — Структуризація семантики для SEO та контексту

Ще один онлайн кластеризатор на основі видачі пошукача.

Як працює (взято із сайту):

Як виглядає всередині:

Після автоматичної кластеризації з'являється вікно редагування, де можна виправити помилки.

Завантажується excel файлик. На першій вкладці запити та групи з подробицями.

На другій вкладці лише групи.

На третій вкладці якоїсь топ тематики.

Також можна встановити силу угруповання. Потести теж цифри: 3, 4 і 5.

Тут потрібно уточнити, що кластер із одного запиту це теж кластер. І він враховується. Тож формально виходить, що згрупувалося 100% запитів. А ось скільки вийшло груп із запитами 2 і більше я теж не придумав як порахувати.

Також потрібно враховувати, що ціноутворення трохи інше. Гроші знімаються за всі запити, які є у документі. Я купив 600 запитів, що коштувало мені 288 рублів. Отримуємо вартість одного запиту 0,48 копійок. Після угруповання у мене в системі залишилося 38 запитів. У результаті угруповання тестової вибірки ключів обійшлося приблизно в 270 рублів. Що вдвічі нижче, ніж у попередньому сервісі.

Подивимося, що тут із якістю.

Для всіх сил угруповання вийшло - 4 групи:

валерій чкалів черешня (1/170) валерій чкалів черешня (170) черешня іпуть (5/472) черешня іпуть (159) сорти черешні (134) черешня сорту (92) черешня дерево (44) черешневий сад (43) черешня бича серце 1/64) черешня бичаче серце (64) обрізка черешні (3/352) обрізка черешні (226) як правильно обрізати черешку (86) обрізка молодої черешні (40)

Також бачимо, що за змістом не є ідеальним. Потрібно доопрацьовувати руками.

Переваги

• онлайн сервіс
• всі проекти зберігаються
• 50 запитів для тестування під час реєстрації
• погано бідно враховує сенс
• дешевше, ніж попередній варіант

Недоліки

• платний
• алгоритм працює не ідеально, потрібна ручна корекція

Just Magic - автоматичний підбір семантики для SEO та контекстної реклами

Цікавий сервіс, на мій погляд. Дизайн сайту: привіт консоль.

Що у них заявлено на сайті:

— Збирати семантику для існуючих сторінок сайту, одразу правильно прив'язуючи запити до них.
- Розширювати існуючу структуру сайту.
— Пропонувати тематичну семантику для нових сторінок сайту на основі поточного СЯ.
— Створювати семантику для сайту, що проектується.
- І просто кластеризувати запити. Включно з тематичним розбиттям.

Можна переглянути доповідь розробника на ТопЕксперті:

Ось що мені відповіли розробники про те, як там все влаштовано:

Ми вирішуємо суто утилітарне завдання — визначити, які запити можуть просуватися на одній сторінці.

Звідси і метод рішення — ми збираємо видачу ПС за кожним запитом та кластеризацію проводимо на її основі.

Фактично нам необхідно вирішити досить просте завдання — розкидати запити щодо збігу URL у видачі, попутно подбавши, щоб в один кластер не потрапили принципово різні типизапитів. Типи ми виділяємо такі:
- Комерційний/інформаційний.
- "На морду" / "на внутряк".
- Однослівний/2+ слівний.
— З маркерами типу контенту/без них.

«Маркери типу контенту» — це слова запиту, які ПС використовує для виставлення вимог до контенту на сторінці, що просувається. Наприклад - ("відгуки", "відео", "завантажити", "фото").

Оскільки завдання визначено і набір вхідних даних досить простий, то алгоритм не мудрий. В основному алгоритмі системи машинне навчання не використовується. Центроіди у поточному алгоритмі ми де-факто використовуємо (один із запитів є «центром» кластера, інші повинні мати певну міру схожості з ним). Нині використовується «жадібний» алгоритм їх (центрів) виділення. Але в цьому методі є певні недоліки, тому в наступній версії алгоритму, який зараз впроваджується, ми в принципі відмовимося від поняття центрцентру кластера.

Машинне навчання ми теж використовуємо, але в іншому місці автоматична генерація запитів-маркерів на підставі даних Яндекс.Метрики.

Поки що спробувати не вдалося. Надіслав запит на тестовий доступ. Сказали вони оновлення. Основний функціонал вартістю від 30 000 руб/місяць буде доступним наприкінці січня. Для простих смертних з меншими об'ємами в лютому.

Якщо все працюватиме, як заявляють, то буде дуже круто. Подивимося.

Переваги

• гарні перспективи
• онлайн сервіс

Недоліки

• поки немає версії для простих смертних, лише місячна передплата
• спробувати так і не вдалося
• як є дорого

SEO intellect - Сервіс автоматизації SEO робіт

Ще один онлайн сервіс кластеризації. Заявлений функціонал:

Сервіс автоматизації SEO робіт
● кластеризація запитів
● підбір посадкових сторінок
● пошук конкурентів
● допомога в оптимізації контенту
● замовлення оптимізованих текстів

Мені так і не вдалося його змусити працювати. Немає жодної довідки, жодних підказок...

Переваги

• онлайн

Недоліки

• так і зрозумів як з ним працювати
• платний

Coolakov.ru — Розбивка ключових запитів

Опис на сайті:

Сервіс дозволяє автоматично групувати вже зібрані запити. Розбивка запитів на групи провадиться на основі схожості топ10 Яндекса.

Про особливості алгоритму нічого знайти не вдалося.

Для моїх 562 запитів вийшло 305 груп. У групі щонайменше один запит. Подивимося що там із нашою черешнею:

Видно, що групи 73 та 189 можна було б і об'єднати… Ну, й у іншому теж зрозуміло. Кластеризація, м'яко кажучи, не є ідеальною.

Переваги

• онлайн сервіс
• безкоштовний

Недоліки

• Як це завантажити? Немає жодних кнопок, щоб завантажити. Можна лише скопіювати текст.
• Без реєстрації можна працювати лише з 20-00 до 7-00 по Москві. Зареєструватися не можна. Взагалі.

s:toolz – професійний інструмент кластеризації запитів на основі пошукової видачі

Ще один сервіс кластеризації. Особливість у тому, що працює не в автоматичному режимі. Це його і недолік.

Порядок роботи

Заявлений функціонал:

Сервіс кластеризації запитів призначений для швидкого автоматизованого групування великих списків запитів (ключових слів для просування) до кластерів, які формуються виходячи з видачі пошукових систем та уявлень пошукової системиЯндекс про потребу користувача.

Запити з одного кластера необхідно просувати на одну сторінку.

Відправив бриф. Відповіли за два дні. Виявляється, у них заявки на ручному режиміобробляються. Пишуть, що так більше одержують зворотнього зв'язку. У майбутньому погрожують зробити все в автоматі.

Сама кластеризація, пишуть, тривала менше за хвилину. Цитата:

На прорахунок вашої заявки пішло менше хвилини. Найбільше, що доводилося зараз обробляти - 55к, розрахунок йшов близько 3 годин.

Що пишуть про алгоритм роботи:

Алгоритм угруповання розроблено свій. Дані - топ 10 яндекса за кожним запитом. Машинне навчання використовуємо, але для іншого функціоналу, який незабаром буде представлений.
Є проблеми із релевантними сторінками у звіті. В індекс пошуковика не завжди потрапляє те, що потрібно, особливо якщо над проектом ще не працював фахівець.
В результаті доводиться додатково обробляти результат руками, при певній кількості запитів це вже сумно. Завдання у процесі рішення.

Кластеризація моїх 562 запитів коштувала мені 309 рублів. Маємо 60 копійок за запит. Знижок не давали. Та я й не просив.

Тепер подивимося що там із якістю:

обрізка черешні як правильно обрізати черешню обрізка молодої черешні сорти черешні черешні сорти черешні дерево валерій чкалів черешня черешня бичаче серце черешневий сад черешня іпуть

Знову сорти залишились без кластерів.

Переваги

• комунікабельність тих підтримки, відповіли на всі запитання
• онлайн сервіс

Недоліки

• працює не в автоматичному режимі, людський фактор псує враження
• платний
• потрібна ручна корекція кластерів

Mc-Castle.ru - Кластеризатор СЯ

І ще один сервіс. Кластеризує також, мабуть, за словоформою. Жодних пошуковиків.

Результат праці:

Що з цим робити далі я зрозуміти не зміг. Як мені розбити за кластерами? Як подивитись які запити потрапили в один кластер? Ну і якщо розбивка йде на основі словоформ, то ні про яке об'єднання за змістом не йдеться.

Переваги

• онлайн сервіс
• безкоштовний
• не потрібно реєструватися

Недоліки

• дивний інтерфейс
• алгоритм розбивки на основі словоформ

Key Collector

Майже всім відома програма, хто так чи інакше стикався зі збиранням ключів.

Угруповання це лише невелика частина того, що вона вміє.

Запити можна згрупувати за складом фраз, видачу пошукових систем і в комбінованому режимі. Угруповання на основі пошуку працює коду зібрані дані для KEI. На збір інформації для угруповання пішло кілька хвилин. Саме угруповання тривало менше хвилини.

Найкращого угруповання вдалося досягти з наступними параметрами:

У першому випадку згрупувалося 381 фраза або 68% від загальної кількості. У другому випадку 403 чи 72%, що дуже добре.

Черешні, що цікавлять нас, по сортах (шлях, бичаче серце ...) теж і не потрапили до сортів. Були виділені окремі групи. Що загалом і не дивно.

Інші запити згрупувалася більш-менш. У результаті маємо 72% економії часу (інше доробляти руками).

Переваги

• зрозумілий інтерфейс
• можна підбирати налаштування угруповання
• купа інших можливостей по роботі з ключами
• демократична ціна
• відмінна техпідтримка

Недоліки

• десктопна версія
• не можна редагувати групи, що вийшли в програмі — тільки в excel
• для роботи потрібні антигейт, проксі, акаунти - з онлайн сервісами таких проблем немає, вони беруть ці проблеми на себе
• потрібна ручна корекція кластерів

МегаЛемма - автоматизація складання семантичного ядра та кампаній Яндекс.Директ

Десктопна програма для кластеризації.

Складно просто взяти та працювати. Юзабіліті кульгає.

Тисну нормалізувати. Він видає мені повідомлення, що потрібно зберегти проект. А чи автоматично не можна зберегти проект? Навіщо мені натискати кнопку, якщо це може зробити комп'ютер?

Не очевидно, що натиснути, щоб запустити процес розбиття на групи. Виявляється це "частотний аналіз".

Парсинг 562 запитів на стандартних налаштуваннях 7 потоків і на 7 проксі зайняв приблизно 10 хвилин. Ще хвилин 5 зайняла нормалізація.

Після нормалізації знову незрозуміло, як групувати потрібні мені слова. Інформацію знайшов на 27 сторінці посібника. І на тому спасибі.

Адже це основний функціонал програми. Розбивати слова на групи. Чому найпотрібніша інформація знаходиться так далеко? Та й корисно було б зробити щось на зразок quick start. Для контексту та для сайтів окремо. Я зрозумів, що там є відмінності в роботі.

Доводити справу до кінця щодо кластеризації своїх запитів тут не захотілося. Основна проблема у розміщенні акцентів в інтерфейсі програми.

Чисто для кластеризації використовувати сенс немає. Думаю, вся міць програми має проявитися при повної роботиіз ключами. Починаючи з очищення запитів від сміття та створення стоп слів.

Переваги

• є повноцінна демоверсія

Недоліки

• десктопна програма
• для роботи потрібні антигейт і проксі - з онлайн сервісами таких проблем немає, вони беруть ці проблеми на себе
• об'єднує на основі словоформ, тобто про жодні сенси говорити не доводиться
• юзабіліті потрібно доопрацьовувати

"Семен-Ядрен" - формування семантичного ядра сайту на основі пошукових систем

Ще один віддалений сервіс. Останнім часом багато піариться.

Знову ж таки з сервісом потрібно працювати через посередників. Тобто, через людей. Жодної тобі автоматики.

Потрібно спочатку подати бриф, потім почекати, поки з тобою зв'яжуться. Узгоджуєш деталі. Потім оплата.

За безкоштовно робити угруповання не захотіли, але зробили знижку 50%. У результаті угруповання 562 запитів мені обійшлося в 350 рублів (без знижки просили 700). Згрупувати один запит вийшло 60 копійок (або 1,2 рубля без знижок)

Знову ж таки проблеми з юзабіліті на сайті. Кнопка "подати бриф" маленька, біла і непомітна на білому тлі. Не втримався, вибачте.

Як і на основі чого роблять кластеризацію, говорити відмовилися. Відомо тільки, що на основі видачі ПС.

Результат роботи надіслали за кілька годин. Крім самих кластерів надіслали ще 100 500 параметрів і файлів. Хоча я не просив. У принципі, корисна інформація для аналізу. Але логічно було б поділити: хочеш просто кластеризацію – одна ціна, хочеш ще ніштяків – інша. Оскільки різним клієнтам потрібна різна інформація.

Подивимося, які кластери вийшли:

обрізка черешні як правильно обрізати черешню обрізка молодої черешні черешня іпуть сорти черешні черешня сорту черешня бичаче серце валерій чкалів черешня черешня дерево черешневий сад

Це вже набагато краще! Окремі сорти таки потрапили в кластер за сортами! Щоправда, Валерій Чкалов загубився.

Переваги

• швидко відповіли
• готові робити знижки
• онлайн сервіс
• купа різної додаткової інформації, аж до завдань копірайтерам (правда пишуть, що завдання все ж таки потрібно допилювати індивідуально)

Недоліки

• є посередник у вигляді людини
• за алгоритмами суцільна комерційна таємниця
• потрібна ручна корекція кластерів

Підсумки

Зведену таблицю по функціоналу та вартості можна переглянути нижче.

Інструмент	Вартість	Алгоритм кластеризації	Формат	Час роботи	Вартість угруповання всіх запитів	Вартість угруповання одного запиту
	—
	безкоштовно	на основі видачі ПС	онлайн	кілька хвилин	безкоштовно	безкоштовно
	платний	на основі видачі ПС	онлайн	менше хвилини + два дні	309 р.	60 коп.
	платний	на основі словоформ	онлайн	менше хвилини	безкоштовно	безкоштовно
	1700 р.	на основі словоформ + на основі видачі ПС	десктоп	кілька хвилин	—	—
	3 000 грн.	на основі словоформ та лем	десктоп	кілька хвилин	—	—
	платний	на основі видачі ПС	онлайн	кілька хвилин + пару годин	350 нар. (700 р. без знижки)	60 коп. (1,2 р. без знижки)
Нижче наведено сервіси, які не увійшли до основного огляду в рамках даного посту, але були запропоновані користувачами в коментарях або представниками сервісів.
Topvisor.ru	платний	на основі видачі ПС	онлайн	~7-8 хв. на 3000 запитів	—	від 30 коп.

У результаті поки що не маємо інструменту, який на повному автоматі згрупує необхідні запити без помилок.

Найкращі результати показали(судив за сортами черешні) Semparser.ru та Seo-case.com. За вартістю отримуємо 48 копійок проти 1,2 рубля відповідно. Різниця майже втричі. Додаткова вартість у Seo-case, я так гадаю, за рахунок бонусної інформації. На наступному місці стоїть Кей-Коллектор (оскільки він майже напевно є у людини, яка займається запитами).

Найбільш ґрунтовний підхідз кластеризації, на мою думку, у хлопців із Just-magic.org. Так що, як тільки з'явиться можливість, обов'язково потестую.

Як би там не було, робота руками краще, ніж будь-яким сервісомі з цим складно посперечатися. Трохи дорожче, але набагато якісніше.

На цьому мега огляд закінчується, дорогі друзі! Я впевнений, вам сподобалося, тому прошу вас залишити свою думку в коментарях, а якщо вам є що додати, то тим більше відписуйтесь.

До зв'язку друзі!

Автор: Олексій Чекушин- SEO-Експерт Kokoc.com (Kokoc Group), творець сервісу Just-Magic.org

У своїй попередній статті: я назвав кластеризацію одним з основоположних факторів успіху в просуванні. У цій публікації я докладно розумію, що таке кластеризація і як правильно застосовувати її.

Що таке кластеризація?

Це автоматичне поєднання запитів у групи, яке вирішує два важливі завдання:

1. Об'єднання схожих запитів (з однаковим «інтентом») незалежно від їхньої семантичної схожості. («інтент» = намір користувача). Наприклад, запити «зняти квартиру» та «оренда квартир» - виражають одне й те саме бажання користувача.
2. Перевірка сумісності запитів, що просуваються: чи можна їх просунути на одній сторінці в топ Яндекса одночасно. Тобто. чи можна настроїти оптимізацію сторінки під всі ці запити. Або якісь запити вимагають винесення на окрему сторінку.

З усіх існуючих сьогодні методів найефективніше ці завдання вирішує, так звана, « кластеризація по топах», коли запити порівнюються за кількістю однакових URL у топ-10 Яндекса.

Тепер поговоримо про кожний пункт докладніше.

Поєднання запитів з однаковим інтентом

Що таке запити з однаковим інтентом? Це різні запити, в яких людина насправді шукає одне й те саме. Очевидно, що запити телевізори самсунг» та « телевізори samsung повинні просуватися на одній сторінці. Але це – явні речі.

Однак існують і куди менш очевидні приклади:

• «спецодяг» - «робочий одяг»
• "іпотека" - "кредит під заставу квартири"
• "автоломбард" - "кредит під заставу авто"

Семантично ці пари зовсім не схожі, але фактично позначають те саме. Класичні способи пошуку таких запитів, які мають єдиний інтент (намір користувача), ґрунтуються на синонімах. Як правило, з цією метою використовують словники синонімівабо синоніми Яндекса. Однак у обох методах є свої серйозні мінуси.

Якщо ми користуватимемося словниками синонімів, то знайдемо там дуже дивні зв'язки. Наприклад, згідно з одним із найпопулярніших словників, синонімом до «мобільного телефону» є:

• мобіла
• мобільник
• радіотелефон
• стільник
• стільниковий телефон
• телефон
• ебонітовий друг

Стільниковий телефон – однозначно корисний синонім. А ось «радіотелефон» – зовсім інший тип товару. Ну а хто такий «ебонітовий друг» залишається лише здогадуватися.

Другий варіант пошуку синонімів - спробувати «вичепити» їх з підсвічування Яндекса. Але це пов'язано із двома проблемами:

По-перше, підсвічуються як синоніми, а й інші слова. Наприклад, у підсвічування за ключовою фразою « стільникові телефони» потрапляє як синонім «мобільні», а й: «ціни», «москва», «купити», «каталог», які підсвічуються з інших причин. Загалом це проблема вирішувана, обхідні шляхи є.

По-друге, синоніми в Яндексі є невзаємними. Наприклад, входження « мобільні телефони» є синонімом до запиту «стільникові телефони», а в зворотному порядкуце вже не працює. «Стільникові телефони» не буде синонімом до «мобільних телефонів», і цей момент стає критично важливим. Як зрозуміти, що запит "стільникові телефони" співвідноситься із запитом "мобільні телефони", якщо слово "стільникові" по ньому не підсвічується?

Нарешті, як ви зрозумієте, що запити «ювелірний магазин», «ювелірні вироби» та «ювелірні прикраси» мають один інтент, якщо, з погляду Яндекса, вони не є синонімами?

Вирішення проблеми приходить через кластеризацію запитів по топах. Знаходження в топі однакових URL сигналізує про однаковий інтент. Ось приклад роботи кластеризатора just-magic:

Начебто кластеризатор усе правильно об'єднав: «мобільні телефони» поклав в одну групу з «стільниковими», а «ювелірні вироби» — до групи, де є «ювелірний магазин». Чому ж тоді «ювелірні прикраси» потрапили до окремої групи, незважаючи на те, що тематика тут та сама (це видно по стовпцю «spec-grp»)?

Відповідь це питання наводимо у наступній частині статті.

Перевірка сумісності запитів, що просуваються.

Для просування нам не просто потрібно зібрати на сторінці схожі запити, потрібно ще й перевірити їхню сумісність.

В Яндексі немає єдиної формули ранжирування під усі запити. Запити поділяються на велику кількість типів. І формули для різних типів запитів часто пред'являють до сторінки взаємовиключні вимоги потрапити в топ. Причому, часто візуально ці запити дуже схожі. Наприклад, запити "смартфон" та "смартфони". Перший – некомерційний, геонезалежний. Другий – комерційний геозалежний. Як видно, в даному випадку однина і множина - несумісні на одній сторінці!

Якщо ви раптом подумали, що це логічно, то ось інший приклад: запити «ноутбук» і «ноутбуки». Вони обидва комерційні та геозалежні та чудово поєднуються на одній сторінці.

Комерційність і геозалежність - лише дві найочевидніші ознаки. Насправді їх набагато більше. Наприклад, головну або внутрішню сторінку пошук хоче бачити в топі на запит. Коли ми не знаємо всього різноманіття ознак, єдиний спосіб визначити можливість спільного просування запитів на сторінці - це подивитися, чи є URL-адреси, які одночасно показуються за двома запитами, і підрахувати, скільки їх.

Логіка тут така:

• Якщо за запитами в топі знаходяться однакові URL-адреси, то їх можна просунути на одній сторінці.
• Якщо за запитами спільних URL-адрес немає, ми не знаємо, чи можна просувати запити на одній сторінці. Швидше за все це неможливо.

І тут ми стикаємося із питанням: як саме об'єднувати запити на підставі топів? Я розрізняю два методи - так звані, "soft" та "hard" кластеризації.

Наступна картинка наочно пояснює різницю між ними:

Soft-кластеризаціязводиться до наступного: для формування групи береться один «центральний» запит і решта порівнюються з ним за кількістю загальних URL-ів у топ-10 Яндекса. Якщо кількість загальних URL-адрес перевищує поріг - запит додають до групи.

При hard-кластеризаціїзапити об'єднують у групу тільки якщо є загальний для всіх запитів набір URL-адрес, який показується по всіх цих запитах в топ-10.

Soft-кластеризація дає групи більшого розміру, але часто помиляється у визначенні можливості спільного просування запитів на сторінці.

Класичний приклад: уявімо, що як «центральний» був обраний запит, за яким у топі 5 головних і 5 внутрішніх сторінок. До нього можуть виявитися прив'язані два запити, в одного з яких у топі 10 «морд», в іншого – 10 «внутрішняків». Очевидно, що із цих трьох запитів ми можемо просунути лише два (залежно від типу сторінки, який виберемо – головна чи внутрішня). У разі hard-кластеризації поява такої групи неможлива.

Але це все лірика. Перейдемо до чисельних оцінок.

Отже, у нас є два критерії оцінки кластеризації:

1. Наскільки повно зібрано групу запитів. Тобто, чи потрапили до неї всі запити, які мають той самий «інтент». За 100% візьмемо ситуацію, коли всі запити з одним інтентом – потрапили.
2. Наскільки запити, що потрапили в групу, сумісні між собою. За 100% візьмемо ситуацію, коли всі запити, що потрапили в кластер, сумісні між собою.

Ключовий параметр кластеризації - мінімальна кількість загальних URL для освіти групи. Це число називають « порогом кластеризації». Чим він вищий - тим точніше отримувані групи, але заодно вони закономірно зменшуються у розмірах. Експериментальним шляхом було визначено, що мінімальний робочий поріг для «hard»-кластеризації – 3 URL-а, для «soft» – 4 URL-а. Працювати з меншим числом немає сенсу: занадто багато «лівих» запитів потрапляє до груп.

Ось приклад результатів для різних порогів для hard-кластеризації:

Використовуючи сервіс just-magic.orgМи провели порівняння двох методів кластеризації на вибірках з різних тематик. Нижче представлений зведений графік:

Порівняння проводилося для методів "soft" та "hard". Для числа URL, що перетинаються, від 3-х до 6-ти (це мінімальна кількість загальних URL-ів для формування кластера).

Як видно з графіка, hard-кластеризація показує дуже високу точність вже при порозі в 3 URL - 92%. Щоб читачі статті розуміли, наскільки це велика цифра, наведу приклад: у виконанні досвідченого оптимізатора без інструментів точність складатиме близько 70%, а якщо роботу візьметься недосвідчений фахівець, точність не перевищуватиме 30%. Однак повнота виходить досить низька - всього 40%. Але, знову ж таки, дивлячись, із чим порівнювати. "Руками" оптимізатори набирають максимум 20%.

Soft-кластеризація демонструє дуже хороші показники повноти, але точність – «кульгає на обидві ноги». Прийнятні для просування значення утворюються лише на порозі «5», але при цьому повнота падає до 23%.

Чи означає це, що даний методне застосовується? Ні. Все залежить від вашого завдання. Якщо ви займаєтеся «трафіковим» просуванням, і вам важливо вивести на сторінці якомога більше запитів - будь-яких, то вам підійде soft-кластеризація. Саме тому, коли в січні цього року в сервісі just-magic.org з'явилася hard-кластеризація, для модуля "маркери" було збережено "soft"-режим.

Якщо вам важливо вивести на сторінці певний набір запитів, то ваш вибір однозначний - тільки hard-кластеризація, тільки хардкор. Ще один плюс hard-кластеризації полягає в тому, що одержувані групи – однозначні. Тобто, запити, що опинилися в одній групі по 4 URL, не можуть опинитися в різних групах по 3 URL (при використанні soft-кластеризації, таке просто може бути). Тому кластеризатор Just-Magic відображає групи відразу по 3, 4, 5 і 6 URL.

Варто окремо відзначити, що якщо ми хочемо надалі проводити текстовий аналіз сторінки, то можна використовувати тільки hard-кластеризацію. Справа в тому, що будь-який текстовий аналіз групи запитів для сторінки дуже суворо співвідноситься з якістю цієї групи. Тільки hard-кластеризація забезпечує групи потрібної якості.

Підведемо підсумки

Отже, які бонуси дає кластеризація?

По-перше, це прискорення процесу розбору великих ядер. Раніше на це йшли тижні та місяці роботи. За допомогою кластеризатора оптимізатор робить це за кілька годин.

По-друге, це можливість розподілити запити по сторінках таким чином, щоб їх можна було одночасно просунути. "Ручної" альтернативи кластеризації тут немає - навіть досвідчений оптимізатор здійснює до 30% помилкових розподілів, якщо діє "на око".

Виходячи з другого пункту стає зрозуміло, що кластеризацію при просуванні потрібно використовувати завжди. Навіть якщо ядро ​​менше 100 запитів, зробити правильний розподіл запитів по сторінках «на око» ви не зможете. Винятком можуть стати лише тематики із наднизькою конкуренцією, де кластеризація по топах перестає працювати через відсутність у топах релевантних відповідей.

Якщо ви займаєтеся "трафіковим" просуванням, то можете користуватися як "soft", так і "hard" методами кластеризації. Якщо ж здійснюєте «позиційне» просування, коли важливо вивести у топ усі запити, то підійде лише метод «hard». Також, із сумісним лише «hard»-режим.

Використовуйте кластеризацію у своїй роботі, і ви знайдете щастя і гармонію, а запити, що просуваються вами, гарантовано потраплять у топ!

У сьогоднішньому випуску На Дошці про семантику та структуризацію ключових слів для сайту.

Що таке кластеризація семантичного ядра. Навіщо потрібно кластеризувати та як це можна зробити.

Про це розповідає Олег Шестаков, фундатор Rush Analytics .

Відео вийшло досить об'ємним. У ньому основні нюанси пов'язані із кластеризацією.

Переходимо до перегляду відео:

Фото з дошки:

Важливо: Якщо у вас є питання, то сміливо задавайте їх у коментарях Олег із задоволенням на них відповість.

Розшифровка відео

1. Що таке кластеризація?

Кластеризація за методом подібності топів – це угруповання ключових слів на основі аналізу видачі пошукових систем. Як це відбувається?

• Беремо два запити, наприклад, «блиск для губ» та «купити блиск для губ».
• Збираємо для кожного із запитів пошукову видачу, зберігаємо 10 url з кожної видачі та перевіряємо, чи є загальні url в обох видачах.
• Якщо є хоча б 3-5 (залежно від точності кластеризації, яку ми задамо), ці запити групуються.

2. Навіщо робити кластеризацію?

Чому тренд кластеризації на ринку вже близько півтора року? Чому це важливо та як це допоможе?

• Економія часу.Кластеризація - чудова технологія, яка допоможе скоротити рутину під час роботи з угрупованням семантичного ядра. Якщо звичайний фахівець із семантичного ядру розбирає 100 000 ключових слів, відокремлюючи їх на групи, близько 2-3 тижнів (а то й більше, якщо складна семантика), то кластеризатор може це розділити в порядку черги приблизно за годину.

• Дозволяє уникнути помилок просувати різні запити на одну сторінку.В Яндекс є класифікатори, які оцінюють комерційні запити. Наприклад, видача за інформаційними запитами та комерційними - зовсім різна. Запити «блиск для губ» та «купити блиск для губ» ніколи не вдасться просунути на одну сторінку.

1) На перший запит («блиск для губ») стоять сайти інформаційної тематики (irecommend, Вікіпедія). Для цього запиту потрібна інформаційна сторінка.

2) За другим запитом (купити блиск для губ) - комерційні ресурси, відомі інтернет-магазини. Під цей запит потрібна комерційна сторінка.

Тобто, під різні запити потрібні різні типи сторінок. Часта помилка отимизатора – коли він просуває все разом на одну сторінку. Виходить так, що половина семантичного ядра виходить у ТОП-10, а друга половина ніяк не може потрапити туди. Кластеризатор дозволяє уникнути таких помилок.

Щоб так не відбувалося, потрібно спочатку правильно згрупувати запити за типами сторінок по видачі.

3. Як кластеризація допомагає у просуванні?

• швидкість обробки даних,
• класифікація сторінок, під які робиться просування.

Якщо структуру сайту згруповано і внутрішню оптимізацію зроблено правильно, то це вже половина справи, якщо ми говоримо про російський ринок. Під західні ринки, природно, будуть потрібні посилання. На наш досвід, десь 50-60% запитів при правильній кластеризації та правильній текстовій оптимізації просто виходить у ТОП без будь-якого зовнішнього втручання. Для інтернет-магазинів або класифайдів (агрегаторів та порталів) у принципі навіть не потрібні й тексти.

Кластеризація – запорука правильного ранжування. На даний момент немає сенсу боротися з ранжируванням пошукової системи, а простіше підлаштуватися під ранжування, увійти в потрібні типи сторінок і успішно просуватися. Змінити парадигму просування якоїсь тематики – скоріше нереально, ніж реально.

4. Які є методи кластеризації? (Hard/Soft)

Softце те, що було описано раніше. Береться маркерний запит якоїсь категорії інтернет-магазину, до нього прив'язуються інші запити, порівнюється видача. "купити блиск для губ", "купити блиск для губ у москві", "купити блиск для губ ціни" - вони мають з головним запитом 4-5 зв'язків.

Ці запити прив'язуються. На цьому перевірка закінчується, виходить кластер ключових слів, і його можна просувати.

Але є більш конкурентні тематики, наприклад, пластикові вікна. Тут слід перевірити, щоб усі запити, які були прив'язані до головного, могли бути просунуті один з одним.

Потрібно порівняти, чи є у видачі за цими запитами

однаковий URL. Порівнюємо видачу не лише з головним запитом, а й між собою. І групуємо лише запити, які можуть бути пов'язані між собою.

Для більшості випадків вистачає Soft кластеризації. Це інтернет-магазини (не надто конкурентні категорії), інформаційні ресурси.

5. Кластеризація в Rush Analytics

У нас є модуль кластеризації та 3 типи кластеризації:

• За Wordstat. Найпростіший і менш витратний за часом з погляду оптимізатора метод. Ідеально підійде для ситуацій, коли ми не знаємо структури сайту практично нічого.

1) В Excel завантажуєте в одну колонку ключові слова, в іншу - частотність Wordstat, і відправляєте на кластеризацію.

2) Ми сортуємо весь список за спаданням: нагорі виходять найчастіші слова (зазвичай найкоротші).

3) Алгоритм працює так: ми беремо перше слово, пробуємо прив'язати до нього всі інші слова, групуємо. Все, що прив'язалося, вирізаємо, робимо заново сортування і знову повторюємо цю ітерацію.

4) Зі списку ключових слів ми отримуємо набір кластерів.

За маркерами

Підходить для сайтів, де визначено структуру. Дуже добре працює у e-commerce (наприклад, інтернет-магазини).

1) Ми знаємо маркерний запит (основний запит сторінки чи кілька запитів, під які просувається).

2) Ми беремо список ключових слів, у колонці праворуч одиницями відзначаємо маркерні запити, і нулями – всі інші запити.

3) Ми беремо маркерне ключове слово і намагаємося прив'язати до нього решту ключових слів і згрупувати в кластери. Тут важливо, що в цьому алгоритмі маркерні слова, які ми позначили одиничними, ніколи не будуть пов'язані між собою. Ми не намагатимемося їх прив'язати.

Комбінована кластеризація

Цей алгоритм поєднує в собі два попередні

1) Ми завантажуємо ключові слова, відзначаємо «маркер/не маркер» та частотність.

2) Прив'язуємо до маркерних запитів усі слова, які ми можемо прив'язати.

3) Беремо ключові слова, які залишилися не прив'язаними, і групуємо їх між собою за Wordstat.

4) Решта відкинеться в «некластеризовані».

5) У результаті - структура, яку ми знаємо. Також вийде автоматична кластеризація решти ключових слів, що допоможе нам розширити структуру. Всі ці типи кластеризації є в Rush Analytics.

Які ще є інструменти на ринку?

З гідних, крім Rush Analytics, можна виділити сервіс JustMagic, де є Hard і Soft кластеризація. Сервіс розробив Олексій Чекушин.

Це все, що вам потрібно знати про кластеризації, щоб почати роботу з угруповання ключових слів.

Використовуйте кластеризацію та заощаджуйте свій час. До того ж люди часто помиляються, відсоток помилок оптимізатора — близько 15%. Довірте рутину роботам – не потрібно розбирати це руками.

Думки експертів

Топвізор - один із найдинамічніших інструментів на ринку пошукового просування. Розвиваючись поступально, команда регулярно збільшує кількість корисних сервісів для SEO-фахівців.

Один із найцікавіших модулів - швидка кластеризація пошукових запитів за принципом схожості SERP'ів.

У Топвізор наша компанія перейшла не за якоюсь рекомендацією. Ми тестували різні сервіси моніторингу позицій і підкупила чуйність розробника.

Приємно, коли твої пропозиції впроваджують та роблять життя та роботу легше. І згодом ця здатність вислухати і впровадити не зникла. Це дуже круто!

Давно шукав зручний сервіс перевірки позицій, перепробував багато! То одне не подобалося, то інше... У Топвізорі все можна налаштувати під себе, а додаткові можливостірадують ще більше.

Однозначно мастхев! Сподіваюся, що буде подальший розвиток!

Ми перепробували безліч сервісів-конкурентів та вибрали саме Топвізор за якість. А також за точність та швидкість перевірки позицій. Тепер все нові інструменти тестуємо та впроваджуємо у свій робочий процес.

Особливо радує чуйність команди сервісу та оперативна реалізація ідей та побажань користувачів.

Коли вкотре на Маку я не зміг відкрити KeyCollector, мене врятував Топвізор. Тут я швидко отримав ряд даних про сематник для одного важливого дослідження. Також, за потреби я використовую Топвізор для перевірки позицій сайтів клієнтів, дуже зручно.

Творці сервісу знайомі з потребами ринку, тому роблять все можливе для автоматизації багатьох завдань, іноді не дуже популярних. Приємний та зручний сервіс.

Обов'язково має бути в арсеналі оптимізаторів.

Для людини, яка побудувала собі репутацію на семантиці, дуже важливо завжди отримувати точні дані; це стосується і кластеризації, і знімання позицій, і аналітики. Топвізор з перших днів поставив високий рівень роботи щодо ринку і щодня підтверджує своє лідерство.

Крім зручності та точності інструментів сервісу, хочу відзначити чуйну роботу служби підтримки та керівництва!

Мене Топвізор вразив своєю продуманістю та багатофункціональністю. Стільки дрібниць враховано заздалегідь. Я часто працюю з інтерфейсами різних SEO-сервісів, багато тестую, але подібного рівня зручності для користувача поки не бачила більше ніде.

Вражає докладна Довідка, доброзичливість та оперативність сапорту.

Дуже зручно в ньому працювати – знімати та розширювати це. ядро, кластеризувати, контролювати позиції як сайтів, так і сторінок в соцмережах і відео, каналів на Youtube, стежити за конкурентами, аналізувати оптимізацію свого сайту. Ціни, як виявилося, дуже доступні для роботи. З цього сервісу мені точно йти не хочеться.

Топвізором користуюся давно – з перших тижнів існування – з 2013 року. І, чесно кажучи, просто вирішив протестувати ще один сервіс для перевірки позицій, т.к. поточний на той момент завжди падав і тех.підтримка не відповідала зовсім.

А підтримка Топвізора відповідала за 2 хвилини навіть у твіттері і, що дуже порадувало, багато моїх пропозицій щодо покращення виконували мало не того ж дня.

На момент написання відгуку у мене приблизно 270 закритих тикетів і багато фішок з'явилися з моєї легкої руки. Здавалося б, причому тут підтримка в сервісі перевірки позицій? Як виявилося – найголовніша частина. тому що будь-який глюк, будь-яку помилку виправляють швидко і якщо зайвого зняли з рахунку - компенсують. А що зі стабільністю? теж все добре (ну за винятком викочування нових фіч). За 3 з гаком року з Топвізором я завантажував туди сотню різних проектів із семантичними ядрами від 10 до 5000 запитів і не було майже жодного разу, щоб проект не знявся вчасно або щось трапилося з даними.

Топвізор - стабільний та швидкий сервіс для роботи з семантикою, який робить якщо не все, то майже все: вордстат, адвордс, підказки, угруповання та кластеризація запитів, відмінна та зрозуміла аналітика, інтеграція з вебмайстром, метрикою, GA. Крім цього є купа і маленький візок супутніх сервісів на кшталт моніторингу змін на сайті або бід-менеджер для контексту. Всі ці фічі використовую на повну котушку майже в кожному новому проекті.

Якщо ви вибираєте сервіс для моніторингу позицій та інших завдань із SEO, рекомендую придивитися до Топвізору.

Це цілий комплекс корисних інструментів: від перевірки позицій зі збиранням сніпетів та знімків пошукової видачідо детального технічного аналізу сайту. Від підбору слів, збору пошукових підказок до угруповання з релевантності та кластеризації трьома різними методами.

Вміє працювати та інтегруватися з Яндекс.Метрикою, Я.Вебмайстром, Google Analyticsта Google Search Console. Реальний сервіс пошукової аналітики.

Топвізор постійно та динамічно розвивається, регулярно з'являються нові інструменти та розширюється поточний функціонал. Інтерфейс зручний, інтуїтивно зрозумілий та дуже добре продуманий розробниками сервісу. Приділіть особливу увагудокладним довідковим матеріалам щодо інструментів та можливостей Топвізора. Впевнений, що навіть у новачків не виникне проблем та питань із роботою після прочитання.

Почали використовувати Топвізор у вересні 2014 року як дублюючий сервіс для внутрішніх інструментів моніторингу та аналітики. Згодом та розвитком проекту частина функціоналу внутрішніх штук повністю відпрацьовується не на нашій стороні.

Використовуємо тільки модуль позицій, отримуємо статистику по зручному API, з яким чудово дружить і Power BI/Query для візуалізації готових звітів за параметрами кількості та динаміки запитів у ТОП-3..100+ за потрібний період часу.

Зручно, що сервіс користується документообігом безготівково через Діадок, а готові рахунки за тиждень до розрахункової дати економлять купу часу. Топвізор має найважливіше, що може бути в клієнтському сервісі, крім роботи технічних речей - крута підтримка. Реакція на запити протягом 5-10 хвилин, видиме бажання допомогти і розібратися у проблемі та покращити функціонал. Так у міст Росії у статистиці з'явилися різні кольори на графіках, а в довідці – кілька додаткових скріншотів.

Коли вже є список запитів, це ще не семантичне ядро ​​— треба б для початку розкидати запити по сторінках, щоб мати уявлення про те, як наповнювати сайт. Без гарної семантики буде дуже важко отримувати трафік із пошуку.

Що таке кластеризація запитів

Кластеризація запитів – це розподіл пошукових запитів однієї тематики на групи для просування посадкової сторінки.

Кластеризація включає такі процеси:

• групування запитів залежно від намірів користувача (інтенту);
• перевірити сумісність ключових запитів для просування на одній сторінці в топі Яндекса.

Запити з однаковим інтентом- це різні запити, через які людина, по суті, шукає одну й ту саму річ. Очевидним прикладом є запити [ручка Parker] і [ручка Паркер]. Складніша ситуація з такими синонімами як: [настільна лампа] – [нічник], [свідоцтво про народження] – [метрика], [монітор] – [екран]. Складність у тому, що з пошуку синонімів ключів через словник Яндекса, система які завжди пропонує адекватну вибірку.

На практиці схожі запити можуть мати безліч різних характеристик, через які їх не можна буде розмістити на одній сторінці. На допомогу приходить кластеризація запитів на топах. Кластеризатор знаходить у топі видачі пошукової системи однакові URL, тим самим сигналізуючи про присутність однакового інтенту. Результат роботи виявляється у наступному:

• наявність однакових URL-лів у топі за запитами означає можливість їхнього просування на одній сторінці;
• відсутність загальних URL-лів говорить, з високою ймовірністю, про неможливість такого просування.

Навіщо потрібна кластеризація

За допомогою автоматичних кластеризаторів можна швидко групувати навіть найбільші семантичні ядра. Якщо раніше на розбирання ядра йшли тижні та місяці, то завдяки кластеризаторам робота скорочується до кількох годин. Великим плюсом кластеризації є розподіл запитів на сторінках таким чином, щоб їх можна було одночасно просунути. Важко уявити ручний аналог кластеризації високої точності, оскільки навіть досвідчений оптимізатор здійснює до 30% хибних розподілів. З цього випливає, що кластеризація ключових слів потрібна практично в будь-якому випадку.

Коли я був веб-майстром-чайником, я робив сайт, де під кожен запит була окрема стаття. Звичайно ж, трафіку він не отримував – вийшов лише фейл. І це проблема реально багатьох початківців — неправильні запити чи неправильна кластеризація.

Методи кластеризації

При групуванні запитів виникає невизначеність у методиці їхнього об'єднання виходячи з топів. Насправді виділяють два основних методи: “soft” і “hard” кластеризація.

Soft-кластеризація ґрунтується на формуванні групи з одного «центрального» запиту.Всі інші піддають порівнянню з ним за кількістю загальних URL-ів у топ-10 Яндекса. Soft-кластеризація формує групи досить великого розміру, але часто виникають помилки щодо можливості спільного просування запитів на сторінці.

Hard-кластеризація характерна об'єднанням запитів у групу, коли є загальний всім запитів набір URL-ов, який показано за всіма цими запитами в топ-10.

Розрізняють два критерії оцінки кластеризації:

1. Повнота– кількість запитів у групі, які мають той самий «інтент». Якщо всі запити з однаковим інтентом потрапили до однієї групи, показник повноти – 100%.
2. Сумісністьзапитів між собою, що потрапили до однієї групи. За 100% приймають випадок, коли всі запити, що потрапили в кластер, сумісні між собою.

Важливу роль відіграє такий параметр як поріг кластеризації». Це мінімальна кількість загальних URL для освіти групи. Велике число означає високу точність груп, проте вони закономірно зменшуються у розмірах. Досвід використання кластеризаторів семантики показує, що мінімальний робочий поріг для "hard"-кластеризації - 3 URL-а, для "soft" - 4 URL-а.

Навіть при порозі в 3 URL-а hard-кластеризація забезпечує точність вище 90%. Для порівняння: без використання інструментів точність роботи досвідченого оптимізатора, у кращому разі, становитиме 70%, а новачка – не більше ніж 30%. Незважаючи на високу точність, "hard" метод дає лише близько 40% повноти.

Soft-кластеризація має високий показник повноти, але суттєво програє в точності. Таким чином, "soft" і "hard" методи є обернено пропорційними по відношенню один до одного. Використання тієї чи іншої методу залежить від цілей оптимізаційного процесу.

При «трафіку», коли важливо вивести на сторінку якомога більше будь-яких запитів, краще підходить soft-кластеризація. Якщо здійснюється «позиційне» просування, то вирішальне слово за hard'ом.

Також hard-кластеризацію застосовують під час текстового аналізу сторінки. Будь-який текстовий аналіз групи запитів для сторінки досить суворо співвідноситься з якістю цієї групи. Тільки "hard" метод забезпечує групи потрібної якості.

Як зробити угруповання семантичного ядра

Я зазвичай роблю кластеризацію у два етапи. У першому етапі я закидаю ядро ​​в якийсь сервіс/програму автоматичної кластеризації, а на другому етапі я добиваю ядро ​​вручну. Через Excel. Ось приблизно як ці мужичари:

На цих відео в принципі зрозуміло, як робити ручне добивання, а з приводу автоматичних кластеризаторів — тут кожен вибирає, що йому більше до смаку.

Semparser

Автоматичний групувальник запитів від Топвізора є альтернативою Rush Analytics і Semparser, причому за інтерфейсом схожий на останній. Ступінь угруповання та збереження проекту в Exсel-файл є.

У кластеризаторі Топвізора є операція «перегрупування». Після її застосування кількість груп зростає, а кількість запитів у них помітно зменшується. Ця функція стане в нагоді тим, кого не влаштовує soft-кластеризація і підійде хард-варіант.

«Перегрупування» тут платне, хоч і знімає не більше кількох рублів.

Перевага Топвізора заснована на великій швидкості групування. Семантичне ядро ​​у 1000 запитів кластеризатор розподілить за лічені хвилини. Недоліки: дорожнеча угруповання і, звичайно ж, необхідність у ручному виправленні.

Угруповання через Key Collector

Ще один приклад автоматичного кластеризатора представлений як онлайн-інструмент на сайті coolakov.ru. Розбивка запитів на групи провадиться на основі схожості топ-10 Яндекса.

Плюс безкоштовний онлайн-сервіс.
Мінуси: невисока точність угруповання, відсутність вивантаження у файл.

Підводячи підсумок, можна з упевненістю зупинити свій вибір на автоматичних кластеризаторах, які пропонують різні онлайн-сервіси. Але, на жаль, робота будь-якого кластеризатора потребує ручного доопрацювання.