Сайт Financial Times (FT) является одним из крупнейших онлайн-СМИ мира в области финансов и бизнеса. На онлайн-версию издания подписаны 285 000 человек, а различные виды платного доступа к сайту приобрели 600 000 человек.
В процессе разработки новой, ускоренной версии сайта FT, команда решила разобраться, насколько скорость влияет на вовлеченность пользователей. В особенности – на количество прочитанных статей, как одной из ключевых метрик для измерения успеха в FT. На основе этих данных команда хотела определить влияние скорости загрузки на выручку.
Метод
Команда провела два эксперимента, длительностью порядка 4-х недель каждый.
В первом подписчики были поделены на две равные группы. Контрольная группа просматривала стандартную версию сайта, другая группа – получала те же стандартные страницы сайта, но с дополнительно добавленной задержкой в 5 секунд.
Этот эксперимент показал значительное снижение вовлеченности в «медленной» группе. Опыт решили повторить, на этот раз пользователей разделили на 4 группы: контрольную и с задержкой отображения страниц в 1, 2 и 3 секунды.
Задержка обеспечивалась через блокирующий CSS-вызов в каждой HTML-странице. CSS обращался к файлу, который отправлялся сервером с задержкой в 1, 2 или 3 секунды в зависимости от того, к какой тестовой группе относился данный пользователь.
При условии высокоскоростного подключения к интернету, новая версия сайта FT обычно загружалась за 2 секунды, что было на 3 секунды быстрее стандартной версии сайта. Это и определило выбор задержек в 1, 2 или 3 секунды для эксперимента.
Команда хотела рассмотреть эффект от задержки в трех разрезах:
- по типу устройства: смартфон, планшет, компьютер;
- по уровню вовлеченности, который пользователь продемонстрировал ранее;
- по временному охвату: на протяжении недели и на протяжении 28 дней.
Влияние на глубину сессии
Глубина сессии – это количество страниц, которые пользователь просмотрел во время посещения сайта. Если пользователь просмотрел более 2-х страниц, на сайте FT это считается конверсией. Команда хотела установить разницу в уровне конверсии для разных вариантов.
Для коротких посещений в 2 страницы разница была практически незаметной. Но для пользователей, просматривающих 3 и более страниц, наблюдалось постепенное снижение вовлеченности.
Для больших задержек, 3 и 5 секунд, этот тренд достигал максимума к, примерно, 10 просмотренным страницам. Конверсия была на 11% хуже для задержки в 5 секунд и на 7,5% хуже для задержки в 3 секунды. Для задержек в 1 и 2 секунды разница продолжала ухудшаться с ростом просмотров страниц.
Этот тренд также проявился для пользователей смартфонов, чей доступ в интернет обычно не такой быстрый. Пользователи планшетов, которые обычно работают в относительно быстрой сети, также продемонстрировали похожие результаты. Таким образом, скорость сети не является единственным фактором, который нужно принимать во внимание.
Краткосрочное и долгосрочное влияние
Для команды сайта было важным оценить долгосрочное влияние, чтобы не строить свои гипотезы на данных, которые отражают единственный визит каждого пользователя. Поэтому замерялось, сколько различных статей прочитывали посетители сайта в течение 7 дней, чтобы понять их относительно быструю реакцию на задержку. Аналогичные измерения проводились на протяжении 28 дней, чтобы выяснить, будет ли этот тренд продолжаться и далее.
При измерении первых 7 дней, среди пользователей с 1-секундной задержкой было зарегистрировано снижение количества прочитанных статей на 4,9% в сравнении с контрольной группой. Снижение было еще больше (7,2%) для пользователей с 3-секундной задержкой.
По результатам 28 дней наблюдения, разница с данными контрольной группы еще больше возросла.
Можно сделать вывод, что на протяжении всех тестов, пользователи читают меньше статей, если они испытывают задержку в загрузке страниц. В таблице ниже показано среднее снижение числа прочитанных статей между экспериментальными группами и контрольной.
| Время загрузки страниц | За 7 дней | За 28 дней |
|---|---|---|
| На 1 с. медленнее | -4.9% | -4.6% |
| На 2 с. медленнее | – | -5.0% |
| На 3 с. медленнее | -7.2% | -7.9% |
Примечание: здесь и в других таблицах символ «–» означает, что данный вариант не достиг статистической значимости, и полученное значение исключено из рассмотрения, чтобы не приводить к неверным выводам.
Зависимость от уровня вовлеченности
Команда также сравнила влияние на количество прочитанных статей у пользователей с разной степенью вовлеченности.
При высокой вовлеченности данные показали менее явную реакцию пользователей на внедрение задержки. Вероятно, такие пользователи потенциально были готовы немного «потерпеть», потому что испытывали большую потребность в этих материалах либо имели привычку много читать на сайте.
При низкой вовлеченности посетители сайта показали различную реакцию на задержку, но здесь не было набрано достаточно данных, чтобы достичь статистической значимости. Команда планирует повторить этот эксперимент для пользователей с низкой вовлеченностью в будущем.
| Время загрузки страниц | Высокая вовлеченность | Низкая вовлеченность | ||
|---|---|---|---|---|
| 7 дней | 28 дней | 7 дней | 28 дней | |
| На 1 с. медленнее | – | – | -23.9% | – |
| На 2 с. медленнее | – | -6% | 19.6% | 31.1% |
| На 3 с. медленнее | -7.3% | -8.4% | – | – |
Зависимость от пользовательского устройства
Было проведено сравнение реакции пользователей с разными устройствами.
Пользователи смартфонов на протяжении 7 дней не реагировали на задержки, однако за 28 дней было выявлено явное снижение для тех, у кого была 3-секундная задержка. Возможно, что обладатели мобильников более терпеливы, потому что могут винить в проблемах низкую скорость своей сети. Но когда задержка становится заметной и стабильной на протяжении долгого времени, они начинают реагировать.
Пользователи планшетов показали резкое снижение (18,8%) при появлении задержки в 1 секунду, но других данных было собрано недостаточно для статистической значимости.
Пользователи компьютеров показали заметную и стабильную реакцию (-6,5%) при задержке в 3 секунды.
| Время загрузки страниц | 7 дней | 28 дней | ||||
|---|---|---|---|---|---|---|
| Смартфоны | Планшеты | Компьютеры | Смартфоны | Планшеты | Компьютеры | |
| На 1 с. медленнее | – | -18.8% | -6.3% | – | -14.4% | – |
| На 2 с. медленнее | – | – | – | – | – | – |
| На 3 с. медленнее | – | – | -6.5% | -9.0% | – | -6.5% |
Влияние на выручку
Указанные выше данные были использованы для оценки влияния на выручку.
Уменьшение вовлеченности влияет на два вида доходов FT. Во-первых, команде сайта давно известна корреляция между вовлеченностью и подписками. Если снижается вовлеченность, то и подписок приобретается меньше. Во-вторых, один из важных показателей рекламного «инвентаря» сайта: количество просмотров страниц и то количество раз, которое пользователь увидел определенную рекламу. Чем больше статей читает пользователь, тем больше рекламы он видит.
Эксперимент явно показал, что скорость загрузки сайта влияет на выручку. В краткосрочном периоде это порядка сотен тысяч фунтов стерлингов, а в долгосрочном – миллионы.
Выводы
Снижение скорости загрузки сайта даже на 1 секунду отрицательно влияет на глубину просмотра сайта пользователями. Можно обобщить: чем медленнее загрузка, тем больше такое влияние. Эта тенденция становится более заметна со временем, в течение которого скорость загрузки снижена.
Два исключения из этого правила: люди с изначально высоким вовлечением и пользователи смартфонов.
Приведенные выше данные указывают, что как для UX, так и для финансовых показателей компании, крайне важно заниматься ускорением работы сайта.
По результатам проведенных экспериментов команда FT приняла решение увеличить усилия, вкладываемые в ускорение своего сайта.