У нас есть технологический SEO-отдел, который не только инициирует разработку сервисов (Serpstat (ex. Продвигатор), Netpeak Spider, Netpeak Checker и пр.), но и разбирается в алгоритмах и проводит различные эксперименты. Переводы некоторых интересных и важных документов уже есть в сети, но когда мы их проверяли, то периодически находили серьезные фактические ошибки, поэтому всегда работаем с первоисточниками и вот как сейчас делимся своей версией перевода исследования про коммерческое ранжирование Яндекса с читателями блога.
Для чего придумано? Для того, чтобы ранжировать те документы, которые уже высокорелевантны для этих запросов. На что обратили внимание:
- на доверие пользователей;
- юзабилити;
- качество дизайна;
- качество сервиса.
Для ранжирования используется сумма коммерческой и тематической релевантности. Уходя с головой в SEO, многие вебмастера забывают о пользовательских факторах. А удовлетворенность пользователя на коммерческих сайтах может варьироваться очень сильно. В частности, значительное влияние на поведение пользователей оказывают: дизайн, механизм онлайн обратной связи, отзывы пользователей о товарах. Формальные критерии, которые характеризуют удобство для пользователя, дизайн и уровень доверия, должны быть созданы на базе аспектов качества сайта, которые важны для пользователя. Такими критериями могут быть: длина текста, грамотно написанный контент, читабельность тайтлов, наличие карт, информация о компании, легкие для запоминания телефонные номера, бесплатная доставка и т.д. Есть работы, которые описывают подходы для сбора дополнительных данных о качестве сайтов. Например: агрегация оценок из нескольких источников, таких как мнения пользователей и данные о кликах или текстовая релевантность и время публикации. В своем документе мы предлагаем новый подход, который включает в себя создание новых аспектов релевантности и внедрение некоторых фич, которые позволяют оценивать релевантность по предложенным нами метрикам.
Шкала оценки коммерческой релевантности
В отличие от тех, кто предлагает оценивать данные о кликах и учитывать мнения пользователей, мы предпочитаем использовать оценки асессоров, т.к. такая методика вносит меньше шума в данные, чем сравнение данных о кликах с данными из тулбара. Если использовать только два последних типа данных, то очень сложно определить, остался ли пользователь удовлетворенным результатом поиска. Поведение пользователя, который задал коммерческий запрос, может очень сильно изменяться в зависимости от категории продукта, его стоимости и т.д. (сравните доставку пиццы и покупку линзы для фотоаппарата). В то же время, эти источники могут дать полезные данные, поэтому, мы дали к ним доступ асессорам. Мы выбрали четыре показателя качества, которые, мы уверены, дают всю необходимую информацию. Это означает, что сайт качество которого определено с помощью измерений данных показателей, включает в себя множество различных фич. Список метрик качества сайта включает в себя:
- надежность (trustability);
- юзабилити;
- качество дизайна;
- качество обслуживания.
Мы разработали детальные инструкции для асессоров. Согласно этим инструкциям, оценка состоит из двух этапов. На первом этапе асессор должен определить, является ли этот документ тематически релевантным для этого запроса. Мы используем шкалу с пятью оценками релевантности: нерелевантный, релевантный, высокорелевантный, полезный и витальный. Оценка же качества сайта — более сложное, время- и трудозатратное занятие, чем оценка тематической релевантности (а особенно — получение информации из данных о кликах). В нашем случае ситуация частично становится легче за счет того, что нужно оценивать только релевантные сайты. Мы не рассматриваем документы, оцененные как витальные или полезные, так как, зачастую, они оказываются единственным нужным пользователю результатом поиска. Как уже говорилось ранее, мы рассматриваем только практически одинаковые по релевантности результаты. На первой стадии оценки, определяется количество и разнообразие сервисов и продуктов, предлагаемых документом по данному коммерческому запросу. Мы определяем три оценки разнообразия ассортимента: мало, стандартно, много. Оценка разнообразия ассортимента для запроса q и документа d определяется V(q,d). На второй стадии оценки для всего сайта определяются надежность, юзабилити, качество дизайна и обслуживания. У надежности и качества обслуживания есть 4 возможных оценки: спам, стандартно, хорошо и отлично. Сайт получит отметку «спам», если он не позволяет сделать покупку или заказать указанную услугу (фейковый сайт). Сайты с пометкой «стандартно» не плохи сами по себе, но не отличаются ничем особенным от тысяч других похожих коммерческих сайтов. Хорошие сайты предоставляют пользователям стандартный набор услуг, а отлично получают известные лидеры рынка. Надежность и качество обслуживания для сайта обозначаются T(s) и S(s) соответственно. Обратите внимание, что эти показатели не зависят от пары запрос q и документ d. У юзабилити и качества дизайна есть только три оценки: плохо, хорошо, отлично. Эти показатели обозначаются как U(s) и D(s). Все значения для указанных выше показателей варьируются от 0 до 1. Для использования в будущем информации о качестве в течение обучения ранжированию (машинное обучение - прим. переводчика), мы привели четырехмерную оценку к одному показателю коммерческой релевантности:
Обучение ранжированию с новыми показателями
Оценка коммерческой релевантности — это очень сложная задача и, при прочих равных, количество меток коммерческой релевантности будет значительно меньше, чем меток для тематической релевантности. Мы не можем не принимать во внимание оценки для тематической релевантности, у которых нет соответствующих оценок коммерческой релевантности. Это может привести к уменьшению выборки, ухудшению процесса обучения и, как следствие, ухудшению работы функции ранжирования. Таким образом, перед началом обучения процессу ранжирования, мы должны экстраполировать метки коммерческой релевантности на всю обучающую выборку. Процедура экстраполяции состоит из двух шагов. Во-первых, мы обучаем функцию ранжирования на небольшой выборке, которая содержит только метки коммерческой релевантности. Результирующая функция ранжирования дает нам ожидаемое значение коммерческой релевантности Rc(q,d,s), которое обозначается Rсest(q,d,s):
Особенности измерения качества сайта
Для более точного предсказания новых меток релевантности, которые включают тематическую и коммерческую релевантность, мы предлагаем определенные способы, специфические для коммерческих сайтов. Они новы в том смысле, что практически непригодны для ранжирования в терминах тематической релевантности, т.к. метки тематической релевантности не несут никакой информации о релевантности коммерческой. Но для аппроксимации коммерческой релевантности эти способы очень важны, т.к. они дают понимание о качестве страницы. Из некоторых разработок в этой области мы выбрали некоторые многообещающие способы и дополнили их своими разработками. Таблица 1 представляет список некоторых способов, использованных в нашем исследованием. Обратите внимание, что большинство этих методов — доменного уровня, которые агрегируют информацию из всех документов коммерческого сайта. Это согласуется с фактом того, что, согласно формуле (1), коммерческая релевантность зависит от качества сайта в целом. Сравнение обучения ранжированию с и без описанных методов качества дано в разделе результатов. Таблица 1.Параметры, для измерения качества сайта
- Детальная контактная информация.
- Страницы компании в социальных сетях.
- Отсутствие рекламы.
- Количество различных товаров.
- Детальность описания товаров.
- Наличие службы доставки.
- Наличие техподдержки (почта, телефон, форма обратной связи).
- Система онлайн консультаций.
- Скидки.
- Читабельность имени домена.
- Средняя длина URL.
- Средняя длина Title'ов.
- Соответствие заголовка страницы её содержимому.
- Средняя вложенность URL.
Новые метрики для метода оценки
Для оценки своих результатов мы разработали две NDCG-подобные метрики основанные на человеческом мнении о коммерческих сайтах. Первая метрика представляет собой взвешенное качество результатов поиска для данного множества коммерческих запросов. Его значение для запроса q определяется как:
Результаты и обсуждения
Мы предложили новый способ измерения качества документов для коммерческих запросов — коммерческую релевантность. Мы разработали несколько свойств ранжирования для оценки качества сайта. Мы предложили метод экстраполяции дополнительных меток релевантности для всей обучающей выборки, что позволяет нам не терять в процессе обучения никакую информацию о тематической релевантности. Мы разработали оффлайн DCG-подобные метрики, наблюдали их изменения на протяжении экспериментов и внедряли информацию о качестве в функцию ранжирования. Рис. 1 показывает изменение метрики Goodness за некоторое время до и после модификации функции ранжирования. Горизонтальная ось — это ось времени, а вертикальная ось показывается относительное значение нашей метрики.
Комментарии (4)
Последние комментарии
Чтобы оставить комментарий, нужно войти