Владимир Завертайлов,
руководитель scrum-студии "Сибирикс":
Сейчас очень модно делать рейтинги компаний, которые работают в вебе. Накануне обновления известного рейтинга Tagline мы решили попробовать разобраться, кто есть кто в "рейтинговой системе Рунета". И могут ли заказчики ориентироваться на рейтинги при выборе web-разработчика.
Для начала набросаем список известных рейтингов.
- Tagline. Проводится уже семь лет, массовый и авторитетный.
- Рейтинг Рунета (CMS Magazine). Существует с 2009 года, не менее уважаемый.
- Разработчики CMS составляют свои рейтинги студий-партнеров: "1С-Битрикс", UMI.CMS, NetCat. Учитывая, что, например, у "1С-Битрикса" партнеров около 8 тыс., получается внушительная выборка.
- Рейтинг SEO-компаний (CMS Magazine) и как альтернатива ему рейтинг SEO News.
- Масса региональных рейтингов.
- Недавний сводный "рейтинг рейтингов" Ruward.
В основе любого рейтинга — его критерии. Здравый смысл подсказывает, что показатели успешности для компаний с одинаковой сферой деятельности должны быть если не одинаковыми, то очень похожими. А значит, и места в разных узконаправленных рейтингах должны распределяться примерно одинаково.
Мы провели анализ мест web-студий в пяти рейтингах: Tagline, Рунета, Восточно-европейской гильдии веб-разработчиков, www.wwwrating.ru, BestWebDevs. База нашего исследования — верхняя двадцатка рейтинга Рунета. Оказалось, что разброс мнений просто чудовищный. Например, компания "Трилан" в рейтинге Рунета заняла четвертое место, в Tagline — 28-е, в рейтинге wwwrating.ru — 77-е, в остальных она вообще не представлена (подробнее см. в блоге компании "Сибирикс"). Как быть заказчику, который впервые столкнулся с выбором разработчика для своего проекта? Только и остается, что послушать советы знакомых.
Причины такого разброса, вероятнее всего, кроются в критерях оценки. Tagline и рейтинг Рунета определяют места по детальной прозрачной методологии. Места распределяются на основе данных о годовых оборотах, голосования экспертов, клиентов и коллег по рынку, а также с учетом бизнес-показателей (штат, стоимость и количество реализованных проектов за год, количество наград, проектов на поддержке). Учитывается "узнаваемость бренда". Делаются поправки на коэффициенты. Коэффициентами же пресекаются попытки накруток. (В общем, понятно, что методология не такая уж и прозрачная.) У остальных трех рейтингов "механика оценки" закрыта. То есть все наши с вами претензии к объективности просто не могут состояться.
Непрозрачность рейтингов — только одна из причин для сомнений в объективности их результатов. Причина номер два: рейтингов много. Одни из них шевелятся сами, и в них прямо-таки приходится участвовать. Вторые пускают пузыри на дне, а потом всплывают — неожиданные, как подлодка в водохранилище. Добровольность участия в рейтингах порождает неполноту информации. Кроме того, если тебя обидели в одном рейтинге, ты можешь поучаствовать в другом и оказаться там на вершине. Успеть везде без принудительной инъекции адреналина в сердце вообще невозможно. Да и не нужно на самом деле.
Третья причина: рейтинги пытаются охватить все и сразу. Они не ограничиваются узкой специализацией: один чарт для креативных агентств, второй — для разработчиков, третий — для продвиженцев. Из года в год делается "общий сводный рейтинг", в котором смешиваются люди и кони.
Сами web-компании слишком уж близко к сердцу принимают все эти чарты. Зная механику оценки, всегда можно "оптимизировать метрику" и повернуть все в свою пользу. Только вот уровень работ и сервиса от этого не изменится.
Напрашиваются простые выводы. Место разработчика в том или ином рейтинге мало коррелирует с вероятностью успешного завершения проекта. По рейтингам можно подобрать более-менее релевантный шортлист исполнителей для вашего проекта, но только если пользоваться узкими рейтингами, где проранжированы компании, предлагающие именно те услуги, которые вы ищете, а не смежные. Наиболее адекватными критериями, по которым стоит подбирать исполнителей, так и остаются портфолио и рекомендации. Чем больше становится рейтингов, тем меньше хочется в них участвовать.Чем меньше участников, тем неполноценнее сами рейтинги.
Самое важное - в нашем Telegram-канале
