Comment accéder et modifier votre fichier robots.txt sur Shopify ? [Tutoriel]

Pendant longtemps, il était impossible de modifier le fichier robots.txt sur Shopify. C'est en juin 2021 que Tobias Lütke, PDG de Shopify, a officiellement annoncé l'ouverture de cette fonctionnalité à tous les marchands.

Si Shopify a fait ce choix, c'est qu'il y a bien un intérêt !

Mais avant de vous précipiter dans l'éditeur de code, je souhaite vous partager un point important.

Pour la grande majorité des boutiques, le fichier par défaut fait très bien le travail. Shopify l'a préconfiguré et optimisé dès le départ.

C'est un fichier à modifier uniquement dans des situations bien précises comme bloquer l'exploration de pages inutiles, protéger des pages sensibles ou encore empêcher certains robots non désirés d'accéder à votre boutique...

Dans cet article, je vous explique ce qu'est ce fichier, ce qu'il contient par défaut sur Shopify, dans quels cas il vaut la peine d'y toucher et comment l'éditer pas à pas avec un tutoriel.

Qu'est-ce que le fichier robots.txt ?

Définition

Il est accessible sur toutes les boutiques Shopify via l'URL suivante :

Remplacez simplement "votre-boutique.fr" par votre nom de domaine pour y accéder.

Exploration vs Indexation

C'est une confusion que je rencontre très souvent, donc autant la clarifier tout de suite (et ça vous aidera à mieux comprendre le fonctionnement du robots.txt).

Beaucoup de propriétaires de boutiques pensent que bloquer une page dans le robots.txt suffit à l'exclure de Google. C'est faux.

Si Google découvre une page bloquée via des liens internes ou externes, il peut tout à fait l'indexer sans jamais l'avoir explorée. Le blocage l'empêche d'accéder au contenu de la page, pas de la référencer dans son moteur de recherche.

L'erreur inverse existe aussi. Certains pensent que bloquer une page déjà indexée dans le robots.txt va la faire disparaître des résultats Google. Là encore, c'est faux.

Google ne pourra plus explorer la page, mais il ne la désindexera pas pour autant.

Que contient le robots.txt par défaut de Shopify ?

Avant de chercher à modifier quoi que ce soit, il est utile de savoir ce que Shopify a déjà configuré pour vous.

Par défaut, Shopify bloque automatiquement l'exploration des pages qui n'ont aucun intérêt à apparaître dans les résultats de recherche :

• /admin : l'interface d'administration
• /cart : la page panier
• /checkout : le tunnel de commande
• /orders : les pages de suivi de commandes
• /account : les pages compte client
• /services : les pages utilisées en interne par Shopify
• /collections/*+* : les pages de collections filtrées (pour éviter le contenu dupliqué)
• /collections/*sort_by* : les pages triées par filtre
• /collections/*filter*&*filter* : les pages avec plusieurs filtres combinés
• *?*preview_theme_id* : les URLs de prévisualisation de thème

Shopify bloque également certaines URLs générées automatiquement en arrière-plan, comme /cart.js ou /recommendations/products.

Ce sont des fichiers techniques utilisés par votre boutique pour fonctionner, mais qui n'ont aucune valeur pour les moteurs de recherche.

Le fichier contient aussi un groupe de règles dédié au robot adsbot-google.

C'est le robot de Google utilisé pour les publicités Google Ads. Il a la particularité d'ignorer les règles générales du fichier (User-agent: *) sauf si on le nomme explicitement. Shopify le gère donc séparément avec ses propres règles.

Le sitemap de votre boutique est également affiché en bas du fichier robots.txt. Il indique aux moteurs de recherche où trouver la liste complète de vos pages.

Comme vous pouvez le voir, la configuration par défaut est déjà sérieuse et bien pensée. Pour la grande majorité des boutiques, elle est généralement suffisante.

Comment accéder et éditer le fichier robots.txt sur Shopify ?

Voyons maintenant comment accéder et éditer votre fichier robots.txt sur Shopify.

Avant de vous lancer, voici les situations les plus fréquentes dans lesquelles ça peut valoir la peine d'y toucher :

• Bloquer des pages spécifiques que Shopify n'a pas prévu de bloquer par défaut (des pages créées par une application, une page interne sans vocation SEO, des URLs avec des paramètres qui génèrent du contenu dupliqué...)
• Bloquer certains robots qui n'ont rien à faire sur votre boutique (robots des outils SEO concurrents, crawlers IA comme GPTBot...)
• Optimiser le budget crawl en évitant que Google gaspille ses ressources sur des pages sans valeur SEO. C'est surtout pertinent sur les boutiques avec plus d'un million de pages.

Si vous avez d'autres cas d'usage précis, je serais intéressé par vos retours en commentaire en bas d'article, ça me permettra de les compléter.

En tout cas, si vous vous reconnaissez dans l'une de ces situations, passons au tutoriel.

Étape 1 : Ouvrez l'éditeur de code du thème

Dans l'administration Shopify, cliquez sur Boutique en ligne → Thèmes.

Sur le thème actif, cliquez sur les trois points, puis sur Modifier le code.

Étape 2 : Créez le fichier robots.txt.liquid

Dans la colonne de gauche, repérez la section Templates. Cliquez sur Ajouter un nouveau template.

Indiquez le nom robots.txt.liquid

Un nouveau fichier robots.txt.liquid vide vient d'être créé et va remplacer l'ancien.

Étape 3 : Ajoutez le code de base

Avant d'apporter la moindre modification, collez ce code dans le fichier :

{% for group in robots.default_groups %}
  {{- group.user_agent }}
  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}
  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

Ce code récupère et affiche toutes les règles par défaut de Shopify. À ce stade, votre fichier robots.txt est strictement identique à celui que Shopify génère automatiquement. Vous n'avez rien cassé, rien changé.

L'autre avantage de ce code est que si Shopify fait évoluer ses règles par défaut dans le futur, votre fichier en bénéficiera automatiquement, sans que vous ayez à intervenir.

Étape 4 : Personnalisez votre fichier

C'est ici que ça devient concret.

Pour le personnaliser, je vous conseille de vous aider d'une IA comme ChatGPT, Claude ou encore Gemini.

Voici un prompt à adapter :

Selon ce que vous souhaitez faire, je vous partage quand même les modifications les plus courantes :

• Bloquer une URL spécifique pour tous les robots :

{%- if group.user_agent.value == '*' -%}
  {{ 'Disallow: /votre-url/' }}
{%- endif -%}

Remplacez /votre-url/ par le chemin que vous souhaitez bloquer.

• Bloquer un robot spécifique (crawler IA, outil SEO...) :

User-agent: GPTBot
Disallow: /

Une fois vos modifications effectuées, cliquez sur Save.

Pour illustrer cette étape, je vais réaliser un test en direct sur la boutique de démonstration RankingOne en bloquant à l'exploration toutes les URLs contenant "/test-rankingone".

Voici le code à ajouter juste après le bloc des règles et avant la condition du sitemap.

{%- if group.user_agent.value == '*' -%}
  {{ 'Disallow: /*test-rankingone*' }}
{%- endif -%}

Mon fichier ressemble maintenant à ça :

Et voici le résultat en live :

Comme vous pouvez le voir, la règle apparaît bien dans le fichier. Toutes les URLs contenant /test-rankingone sont désormais bloquées à l'exploration pour tous les robots.

Étape 5 : Vérifiez votre fichier robots.txt

Rendez-vous ensuite sur votre-boutique.fr/robots.txt dans votre navigateur pour vérifier que le fichier correspond bien à ce que vous attendez.

Il vous suffit de renseigner l'URL à tester et le user-agent de votre choix (Googlebot, GPTBot...), et l'outil vous indique immédiatement si la page est bloquée ou autorisée à l'exploration.

Le fichier robots.txt est l'un des éléments les plus importants au niveau SEO technique de votre boutique. C'est lui qui définit les règles d'exploration de votre site pour tous les robots, moteurs de recherche inclus.

Heureusement, il est bien configuré sur Shopify.

Mais si vous avez des pages à masquer aux robots, des crawlers indésirables à bloquer ou simplement envie de garder un contrôle total sur ce que Google explore sur votre boutique, vous savez maintenant comment procéder.