Процеси, що відбуваються у складному інтернет-пошуку

Звертаючись до інтернет-пошуку, мало хто замислюється про процеси, що відбуваються в цьому самому складному веб-додатку. CHIP розповість, що впливає на список відповідей і як змінюються механізми пошуковиків.

Порівняно недавно пошукові системи Google і «Яндекс» змінили алгоритми своєї роботи. На даний момент ці інтернет-сервіси являють собою набір баз даних і додатків з штучним інтелектом, причому алгоритм пошуку в них постійно вдосконалюється, стаючи, з одного боку, ближче до запитів користувачів, а з іншого - орієнтованим на власні рекламні ресурси.

З приходом комерції в Інтернет пошукові системи стали головним інструментом просування бізнесу в Мережі. А алгоритми пошуку роботи - своєрідне «Кільце Всевладдя», яке вожделеют все. Заволодівши ним, можна вивести свій сайт в топ видачі, «втопити» конкурентів, зробити з свого невеликого підприємства величезний холдинг. За те, щоб потрапити в перші рядки пошукових систем, борються всі учасники Мережі. Однак впливати на результати пошуку інтернет-комерсанти, на щастя, можуть тільки побічно. А коли значна кількість учасників починає розуміти алгоритм роботи системи, він змінюється.

Пошукових сервісів існує безліч, але більшість російських користувачів воліють національний ресурс «Яндекс» (51%). Ще близько 35% використовує сервіс Google, а решта 14% припадає на всі інші: найбільш активно з усіх інших систем задіюються «Пошук Mail.ru» і Rambler - самий перший російський пошуковик. Втім, частку Rambler (1,1%) можна сміливо доплюсувати «Яндексу», так як з 2011 року система використовує для пошуку технології «Яндекса» і входить в його ж рекламну мережу. А ось Mail.ru у 2010 році змінила движок «Яндекса» на власний, і вже через два з половиною роки частка цього пошуковика збільшилася на 2% і склала 8,6%. На українському ринку інтернет-пошуку провідними гравцями є також «Яндекс» і Google, нехай і з зворотним співвідношенням часток ринку - 30,2% і 58,7% відповідно. Крім того, саме на «Яндекс» і Google орієнтуються люди, чия професія - «розкручувати» сайти в Мережі. Їх називають оптимізаторами, або SEO-фахівцями (Search Engine Optimization - оптимізація для пошукових систем).

Пошукові сервіси декларують прагнення у всьому догодити користувачеві. Але чи це так? З розвитком Інтернету онлайн-торгівля стала дуже прибутковою справою, і продавати товари в Мережі допомагає саме пошукова система. Офлайн-реклама в цьому відношенні не так ефективна, адже людині сьогодні простіше ввести в рядок пошуковика слово «смартфон» і отримати у видачі магазини, які торгують мобільними пристроями. При цьому користувач не обтяжує себе працею вручну набирати в адресному рядку назву сайту, яке до того ж лінь запам'ятовувати.

Алгоритми «Яндекса» довгий час були складніше, ніж у Google. Американський пошуковик ще недавно ставив на перші місця сторінки, на які посилалося більшу кількість інших сайтів. З точки зору SEO-оптимізатора відповідати таким умовам дуже просто: існують біржі, де можна купити або продати посилання з сайтів. Це означає, що забезпечити собі одне з перших місць в Google можна, закупивши великий обсяг посилань на такій біржі - хто більше заплатив, той і буде лідером. Деякий час тому це твердження було вірним, однак восени 2012 року розробники пошукових систем запустили чергові зв'язки фільтрів, почавши новий виток протистояння. Добре розкручені ресурси «обвалилися», при цьому особливо повчально виглядало падіння позицій сайтів деяких великих SEO-організацій, наприклад bdbd.ru і сторінок їх клієнтів.

На цьому тлі здавалися правдою гучні заяви: «Пошукові системи роблять все, щоб клієнт, після болісних звернень до стороннім компаніям, все ж дав платну рекламу пошукової фірмі». Тут потрібно зробити пояснення. У пошукачів є модулі контекстної реклами: у «Яндекса» такий сервіс називається «Директ», а у Google - Adwords. Для їх використання необхідно оплачувати показ реклами з того чи іншого запиту. Ці оголошення розміщуються збоку і зверху видачі результатів, при цьому вони не надто очевидно відмічені як реклама.

В дійсності В пошукових систем інша задача: вони хочуть зацікавити користувача працювати саме з їх сервісом, а для цього потрібно забезпечити «чисту» видачу - тобто без сайтів, які нецікаві і потрапили в топ виключно завдяки хитрощам оптимізатора. Якщо користувачів буде влаштовувати видача, то частка системи в Рунеті зросте, а доходи від реклами, відповідно, стануть вищими.

Пошукові сервіси постійно модернізують свої алгоритми, залишаючи оптимізаторам все менше шансів потрапити в топ результатів пошуку.

Яким же чином пошуковцям вдається перевіряти зміст і ранжувати така велика кількість сайтів, причому робити це без помилок? На сьогоднішній день схема виглядає так: пошукова система має безліч роботів, які збирають інформацію про інтернет-сторінках в Мережі і заносять дані в єдину базу. Після того, як користувач надсилає запит пошуковик шукає у своїй базі збіги з введеною інформацією і пропускає отримані відомості через різні фільтри.

Щоб вибудувати у видачі чергу з сайтів, потрібно визначити, який з них найбільш відповідає запиту. Під час індексації система буквально «читає» тексти всередині сторінок сайту, перевіряє, яку кількість інших ресурсів посилається на ті чи інші сторінки, аналізує код і т. д. Якщо сервіс нарахував занадто велика кількість ключових слів у тексті (це явно вказує на прагнення штучно підвищити релевантність сторінки запитом), спрацьовує один з фільтрів, і замість першого місця такий сайт потрапляє на другу сторінку видачі. А деякі сторінки втрачають свій значний «вага» ще до розрахунку релевантності: привести до цього може різке підвищення кількості вхідних посилань або інші очевидні фактори накрутки значущості. Такий сайт потрапляє під постійне дію фільтра, і санкції не будуть скасовані до виправлення ситуації. При цьому варто відзначити, що зняття санкцій після наведення порядку оптимізатором може зайняти до півроку. Пошукові системи навіть навчилися визначати сайти, що належать одній компанії, яка прагне забити ними всю видачу.

Треба зауважити, що «Яндекс» обчислює хитрунів куди ефективніше, ніж Googlе, і використовує для цього не тільки прямі передумови, начебто однакових контактних даних (як це було раніше), а й непрямі, такі як однаковий хостинг, одна і та ж CMS, схожі дизайн і асортимент товарів.

Варто згадати ще один з етапів - фільтрацію геозалежних запитів. Припустимо, вам потрібно купити чайник в Москві - в цьому випадку правильно оптимізований сайт, що пропонує чайники в Петербурзі, буде виключений з видачі. Цими та подібними методами пошуковим системам вдається надати користувачеві саме те, що він шукав. А сайти, які зроблені лише з одним розрахунком - якомога швидше опинитися в топі, навіть на шкоду якості наповнення, сьогодні відсуваються на другий план видачі або зовсім заблоковано в результатах пошуку. Звичайно, поки ще не все гладко, але абсолютно релевантні видачі результатів вже не за горами.

Великі пошукові сервіси надають своїм користувачам послугу персональної видачі, яка включена за замовчуванням. Це означає, що в результатах видачі ви перш за все побачите сайти, які часто відвідуєте, якщо вони відповідають пошуковому запиту, а також сторінки, які пошукач вважає найбільш підходящими для вас.

Наприклад, у своїх пошукових запитах ви часто цікавитеся фільмами і заходьте на ресурси, присвячені кинотематике. Тоді за запитом «Матриця» ви побачите у видачі портали kinopoisk.ru, imdb.com і т. п. При цьому фотолюбитель отримає набір сайтів з вичерпною інформацією про матрицях у фотоапаратах. У Google припущення про ваші уподобання формуються ще і на основі схожості інтересів. Якщо Саша часто шукає те ж, що і Петя, то і переваги Петі будуть враховуватися при видачі результатів Саші. Наприклад, якщо Саша вперше зацікавився тією чи іншою тематикою, видачу він отримає те, що сподобалося Петі. Але в цьому випадку потрібно бути авторизованим користувачем. В «Яндексі» персоналізація працює і без авторизації, однак «свіжі» запити показуються без урахування уподобань. Нового алгоритму пошукового сервісу «Яндекса» було дано назву «Калінінград», і багато оптимізаторів охрестили його «кінцем SEO». Зате користувач став знаходити те, що потрібно, набагато швидше. У результаті компанія зуміла отримати вигоду і одночасно догодити користувачам.

АВТОР: Сергій Сафонов