« Reddit » est rapidement devenu l’un de mes mots-clés préférés pour les moteurs de recherche. Lorsque je souhaite savoir ce que de vraies personnes pensent des restaurants près de chez moi ou d’un hôtel que j’envisage (plutôt que de voir une multitude de publicités ou des contenus douteux générés par l’IA), ajouter « Reddit » à la fin de ma recherche est un bon moyen d’obtenir des réponses. Cependant, à l’avenir, vous ne pourrez utiliser cette astuce qu’avec Google : Microsoft a confirmé aujourd’hui que Reddit bloque Bing d’accès, et une enquête de 404 Media a montré que la plupart des sites non-Google ne fonctionnent plus avec Reddit.
Cette nouvelle intervient après une mise à jour du fichier robots.txt de Reddit, qui contrôle quels moteurs de recherche peuvent parcourir le site de médias sociaux pour obtenir des informations. Des experts en recherche ont ensuite fait savoir sur X (anciennement Twitter) qu’ils avaient remarqué que Reddit semblait bloquer Bing et d’autres moteurs de recherche, après quoi Microsoft a confirmé à Search Engine Land que « Bing a cessé de crawler Reddit après que le fichier robots.txt mis à jour ait été mis en œuvre le 1er juillet, interdisant tout crawling de leur site ».
Si l’on a l’impression que la nouvelle a pris un certain temps à circuler, c’est parce qu’il peut falloir du temps pour détecter ce genre de changements en coulisses. Bing et d’autres moteurs de recherche affectés peuvent toujours afficher d’anciennes liens que leurs robots avaient déjà explorés, mais à l’avenir, ils ne pourront pas en recueillir de nouveaux. Lorsque des journalistes ont remarqué quelque chose d’étrange, ils ont demandé des détails, bien que Microsoft soit la seule entreprise à avoir fourni une confirmation officielle jusqu’à présent.
Cependant, selon 404 Media, Reddit ne met pas à jour de nouveaux liens sur d’autres alternatives populaires à Google comme DuckDuckGo. Le média a cependant indiqué que des liens sont toujours mis à jour sur le moteur de recherche indépendant payant Kagi, mais il convient de noter que Kagi achète une partie de son index de recherche à Google.
Actuellement, il n’y a aucune raison officielle pour ce blocage, mais la nouvelle coïncide curieusement avec un contrat de 60 millions de dollars par an qui permet à Google de former son IA sur les publications des utilisateurs de Reddit. Dans une déclaration à The Verge, le porte-parole de Reddit, Tim Rathschmidt, a déclaré : « Ce n’est absolument pas lié à notre récent partenariat avec Google », avant de préciser que « Nous avons discuté avec plusieurs moteurs de recherche. Nous n’avons pas pu parvenir à des accords avec tous, car certains ne sont pas en mesure ou refusent de faire des promesses exécutoires concernant leur utilisation du contenu de Reddit, y compris leur utilisation pour l’IA. »
Il est vrai que de plus en plus de moteurs de recherche se lancent dans le domaine de l’IA, mais en lisant entre les lignes, il semble que les préoccupations de Reddit concernant le contenu de ses utilisateurs puissent en fait indiquer que les entreprises doivent désormais payer pour interagir avec le géant des médias sociaux, et jusqu’à présent, Google est le seul qui ait été prêt à le faire.
