cURL: что это и как поможет выйти на 99 LVL в SEO

Расскажу, как пользоваться библиотекой для передачи данных между клиентом и сервером, и какие задачи с ее помощью можно решить.

Что такое cURL

cURL (Client URL) — это обычная программа встроенной командной строки в Windows или в MAC. Она позволяет взаимодействовать с сервером по разным протоколам, используя URL в запросе.

Протоколов достаточно много, но для SEO специалистов в 99% случаев, нужны только HTTP и HTTPS:

• HTTP это устаревший незащищенный протокол передачи данных между двумя серверами, например между вашим компьютером (браузером) и сервером любого сайта. Пример: http://www.site.com
• HTTPS это расширение к протоколу HTTP, только данные передаются в зашифрованном виде. Пример: https://www.site.com

Работа с cURL

Рассмотрим, как работать с cURL на разных операционных системах.

Windows

Для Windows 10 и новее cURL установлен по умолчанию. Нажмите «Пуск» и введите в поиске фразу «Windows terminal». Далее начинайте вводить запросы cURL. Самый распространенный по типу “Hello World” — curl --version, он позволяет проверить версию.

MacOS

Откройте “Launcher” и через поиск выберите там “Terminal”. Введите аналогичный запрос curl --version, после этого должна появиться версия curl, например, вот так:

Проверка версии cURL на MacOS

Linux

На Linux cURL тоже установлен по умолчанию. Для проверки версии cURL на Linux введите в терминале curl --version.

Главная особенность cURL для SEO

cURL позволяет узнать, как поисковые боты индексируют и видят страницу. Если хотите понять, какой текст HTML скрыт от глаз поисковиков или какие HTTP-заголовки ответа сервера получают боты, cURL поможет.

На что он способен:

• Заменять user-agent;
• Проходить базовую аутентификацию;
• Получать HTTP-заголовки и отслеживать цепочки редиректов;
• Получать HTML страницы.

Три причины, почему это лучше, чем браузер и его расширения:

1. Чтобы контролировать процесс самому: в cURL баги не допустимы;
2. Чтобы притвориться поисковиком;
3. Расширения в Google Chrome не могут менять user-agent. Только те, которые строятся на платформенных решениях и выносятся на отдельный сервер.

Пройдемся по каждой из возможностей cURL.

Замена user-agent

cURL позволяет посмотреть страницу глазами Яндекса или Google и увидеть какой контент недоступен поисковикам.

Да, у поисковиков есть свои инструменты, но Яндекс ограничивает отдачу HTML через инструмент «Проверка ответа сервера» в 50 000 строк, а «Google mobile-friendly test» вовсе перестал работать, так что посмотреть сторонние сайты не получится.

Подписывайтесь на наш ВК и Телеграм, чтобы узнавать последние новости SEO и подсматривать новые фишки продвижения.

Прохождение базовой аутентификации

Вы создали новый сайт или новую страницу, но она не доступна для пользователей и закрыта от посещений. Чтобы протестировать такую страницу глазами Яндекса или Google, используйте cURL.

cURL позволяет проходить базовую авторизацию на странице и получать любые данные, которые отдает сервер сайта.

Получение HTTP-заголовков и отслеживание цепочки редиректов

Вы заходите на сайт и видите страницу с ответом сервера 200 OK. Пользователи жалуются, что по этой же странице у них открывается совсем другой контент или их перенаправляют в другое место.

cURL поможет подтвердить жалобы пользователей и параллельно проверить ответы сервера и цепочки редиректов.

Кратко о главном

cURL — простая программа, которая имеется по умолчанию практически на всех компьютерах Windows и MAC. Она позволяет делать HTTP-запросы к любому сайту и получить HTTP-заголовки и тело страницы.

Три основных ситуации, в которых SEO-специалист может использовать cURL:

• Просмотреть страницы глазами поисковика независимо от того, работают ли официальные сервисы от Яндекса и Google;
• Получить тело страницы, когда она находится под авторизацией и поисковые боты не могут на нее попасть;
• Отследить, действительно ли вам, вашим пользователям и поисковым ботам отдаются одинаковые редиректы и HTTP-заголовки.

Оставил для вас подборку лучших инструментов, которые помогут вам в SEO-оптимизации: генераторы тегов и семантики, кластеризация и проверка позиций, и многое другое.