Comment éviter le duplicate content

Lors de nos audits SEO, nous rencontrons encore très souvent des sites dont l'accès peut s'effectuer soit avec, soit sans le "www" précédant le nom de domaine. Or, comme l'indique les consignes générales pour les Webmasters de Google, le moteur de recherche "différencie les versions "www" et "non www" (par exemple, www.example.com ou example.com)". Quelles conséquences cela peut-il avoir sur votre référencement ?

Tout d'abord, pas de panique ! Contrairement à ce que l'on peut lire parfois, vous ne serez pas pénalisé par le moteur de recherche, c'est-à-dire qu'il ne va pas vous infliger une "amende" ou une "pénalité" d'aucune sorte. Néanmoins, il y a des conséquences au niveau du positionnement ainsi que de l'indexation de votre site.

Concurrence interne et dilution du Page Rank

Le principal souci est que, puisque les deux pages identiques "www.mondomaine.com/ma-page.html" et "mondomaine.com/ma-page.html" sont considérées par les moteurs de recherche comme deux pages différentes, elles entrent en concurrence l'une avec l'autre pour une bonne position dans les SERPs (résultats de recherches). Comme le contenu est identique, ce qui fera la différence dans le positionnement, c'est la "notoriété" de la page, ce que l'on nomme Page Rank ou Page Authority. Ce Page Rank (PR) dépend du nombre de liens qui pointent vers la page : en gros (parce qu'il peut y avoir d'autres facteurs), au plus il y a de liens vers la page, au plus élevé est le PR. Mais comme certains Internautes feront un lien vers "www.mondomaine.com/ma-page.html" et d'autres vers "mondomaine.com/ma-page.html", vous aurez au final deux pages avec un PR faible, donc moins bien classées dans les SERPs, au lieu d'une seule avec un PR plus élevé et mieux positionnée.

Or, comme le PR se "diffuse" d'une page à l'autre à l'intérieur de votre site, cette dilution aura un impact sur l'ensemble de vos pages, ainsi que sur les pages des autres sites vers lequel vous faites des liens. Au final, il n'est pas nécessaire que Google vous pénalise puisque, d'une certaine manière, vous le faites vous-même en "sabotant" votre propre PR.

Gaspillage du crédit de crawl

Vous savez tous que les moteurs de recherche utilisent des "robots de crawl" (googlebot pour Google, bingbot pour Bing) qui parcourent le contenu des pages des sites pour en indexer le contenu. Ce que vous ne savez peut-être pas, c'est que ces moteurs attribuent à cette opération un temps d'exécution limité, dont la longueur dépendra, entres autres, du Page Rank du site. Avec un cas de duplicate content lié à l'accès www/non-www, le robot de crawl a besoin de deux fois plus de temps pour indexer le site (puisque chaque page existe en double). Autrement dit, l'indexation de votre contenu mettra deux fois plus de temps ce qui, pour un site avec beaucoup de pages ou mis à jour fréquemment, peut représenter un laps de temps considérable parce que, même si vous mettez dans votre sitemap une instruction pour une visite quotidienne des robots, dans la pratique, ce sont eux qui décident du moment de leur passage. Et cela peut être une fois par semaine ou une fois par mois.

Comment résoudre ce problème ?

Tout d'abord il s'agit de choisir entre les deux versions. Du point de vue SEO, il n'y a pas de recommandation : les deux intitulés sont équivalents. Pour un nouveau site, c'est donc une question de préférence personnelle. Cela peut dépendre aussi de l'extension choisie pour votre domaine : un libellé avec une extension classique (.com, .org, .net, ...) ou régionale (.fr, .be, .ch, ...) sera toujours reconnue comme l'URL d'un site Web. Par contre, avec les nouvelles extensions disponibles depuis quelques années (.earth, .education, .art, ...), la présence de "www" devant le domaine aidera à l'identification.

Pour un site existant, on peut aussi tenir compte des éléments "offline", comme le matériel de communication : si votre papier à en-tête, vos cartes de visite, les mentions peintes sur votre flotte de véhicules, ... mentionnent l'adresse "www.mondomaine.tld", il est logique de choisir cette version. Enfin, il y a certains aspects techniques, comme la gestion des cookies de sessions, à prendre en compte, ce qui, au final, fait pencher la balance vers un accès avec "www".

Toujours pour un site existant, un moyen de choisir est de tenir compte de la situation actuelle de l'indexation. Pour cela, il suffit de taper, dans le champ de recherche de Google (mais cela fonctionne aussi pour Bing), la chaîne suivante : site:mondomaine.tld et ensuite site:www.mondomaine.tld.

S'il existe une redirection correcte entre les deux versions, les résultats doivent être (quasi) identiques entre les deux recherches. Si au contraire vous avez les résultats suivants :

cela indique que Google voit bien deux sites distincts. Pour profiter de l'acquis de l'indexation existante, il convient de choisir la version qui est la mieux indexée, dans le cas de notre exemple, la version avec "www".

En conclusion, nous vous recommandons de choisir plutôt la version "www.mondomaine.tld", mais aussi de tenir compte de votre situation actuelle (état de l'indexation, supports de communication, ...) et surtout de rester cohérent : une fois le choix effectué, il faut s'y tenir.

En pratique

Même s'il est possible d'appliquer la redirection au niveau du nom de domaine ou via la console d'hébergement, il est souvent plus simple - et plus prudent - de travailler au niveau du site lui-même.

Quel type de redirection appliquer ?

CNAME vs redirection 301

Au niveau de l'enregistrement DNS du domaine, on pourrait être tenté d'opérer la redirection en utilisant un enregistrement CNAME (enregistrement de nom canonique), mais en fait ce n'est pas la bonne méthode. Un enregistrement www.mondomaine.tld CNAME mondomaine.tld va seulement indiquer que le site "www.mondomaine.tld" se trouve à la même adresse IP que le domaine "mondomaine.tld" mais ne va pas effectuer de redirection de l'un vers l'autre. Il s'agit seulement d'un "alias".

De plus, comme il est indispensable que le domaine "d'origine" (la version "nue", sans "www") ait un enregistrement de type A (l'enregistrement qui lie le nom de domaine à l'adresse IP), la redirection ne peut fonctionner que dans le sens "www vers non-www". Une redirection 301 peut fonctionner dans les deux sens.

Redirection via un composant

Pour un site Joomla!, si vous utilisez un composant de réécriture d'URL comme sh404SEF, le plus simple est le faire dans sa configuration générale. Pour cela, allez dans Composants > sh404SEF et cliquez sur le bouton Configuration (en haut à gauche). Dans l'onglet Avancé, section Configuration avancée, choisissez dans le menu déroulant de Redirection 301 www/non-www l'option désirée. Dans l'image ci-dessous, il s'agit de la redirection de non-www vers www.

Redirection via le fichier .htaccess

Un autre moyen, qui fonctionnera avec tous les sites (Joomla!, Wordpress ou autres CMS) hébergés  sur un serveur Apache, est de modifier le fichier .htaccess qui se trouve à la racine du site. Ici aussi, il y a plusieurs manières : certaines extensions permettent d'éditer facilement ce fichier. C'est le cas de l'extension de sécurité Admin Tools Pro (disponible aussi pour Wordpress) où il suffit de modifier un paramètre via l'éditeur de .htaccess, dans la section Optimisation and utility.

L'avantage de cette extension, outre la sécurité supplémentaire qu'elle apporte au site, c'est que la modification se fait sans que vous ayez besoin de connaître le code à insérer.

Une autre extension qui possède un éditeur de .htaccess est JSitemap Pro, une référence en matière de création de sitemaps pour Joomla.

Mais ici, vous devrez insérer manuellement le code suivant, pour une redirection de mondomaine.tld vers www.mondomaine.tld :

RewriteCond %{HTTP_HOST} !^www. [NC]
RewriteRule ^(.*)$ https://www.%{HTTP_HOST}/$1 [R=301,L]

Pour la redirection inverse (www.mondomaine.tld vers mondomaine.tld), utilisez le code suivant :

RewriteCond %{HTTP_HOST} ^www.(.+)$ [NC]
RewriteRule ^(.*)$ https://%1/$1 [R=301,L]

Dans les deux cas, placez ces instructions dans le haut du fichier .htaccess, après la ligne

RewriteEngine On

Cela donnera ceci :

Enfin, si vous n'utilisez aucune de ces extensions, vous pouvez éditer le fichier .htaccess, soit en y accédant avec un logiciel FTP (comme Cyberduck par exemple), soit en utilisant le gestionnaire de fichier que votre hébergeur met à votre disposition. Insérez l'une ou l'autre version du code ci-dessus, en utilisant un simple éditeur de texte (comme Textedit ou Notepad), pas un traitement de texte (comme Word).