Tout savoir sur le SemjiBot

 

Free trial	Custom Legacy	Basic	Business	Unlimited
✅	✅	✅	✅	✅

Pourquoi Semji utilise un bot ?

Pour analyser et extraire le contenu de votre site web ainsi que celui des pages qui se positionnent sur vos mots clés, Semji utilise un robot d’exploration, communément appelé bot, crawler, web crawler ou encore web spider.

Ce bot, appelé SemjiBot, développé spécifiquement pour les besoins de Semji, nécessite d’être autorisé à visiter votre site web pour en extraire le contenu, l’analyser et vous le présenter au sein de la plateforme.

Dans le cas contraire, certaines fonctionnalités de Semji seront restreintes.

Limitation technique : Si le contenu de votre site web est rendu en JavaScript, il ne sera pas visible par le SemjiBot. Le contenu doit être présent dans le DOM sans rendu JavaScript pour être accessible au bot. Cette limitation est similaire à celle d'autres crawlers comme celui de ChatGPT.

 

Quand SemjiBot accède-t-il à mon site ?

• En tant que client, SemjiBot accède à votre site lorsque vous importez une ou plusieurs pages au sein de la plateforme.
• SemjiBot se présente à nouveau lorsque vous demandez une synchronisation de votre contenu.
• SemjiBot peut également se présenter dans d'autres cas et à différents moments de la semaine dans un souci permanent d'amélioration des performances de vos contenus.

Comment autoriser SemjiBot à naviguer sur mon site ?

Autoriser les User Agents

Le bot Semji s’annonce au site qu’il visite en utilisant l’un des deux User-Agents ci-dessous :

• Mozilla/5.0 (compatible; SemjiBot/1.0; +http://semji.com)

• AppleWebKit/537.36 (KHTML, like Gecko; compatible; SemjiBot/1.0; +http://semji.com) Chrome/W.X.Y.Z Safari/537.36

  Où "Chrome/W.X.Y.Z" est un placeholder qui évolue en fonction des mises à jour de notre SemjiBot et qui peut avoir, par exemple, comme valeur, "Chrome/79.0.3945.88".

Cette information nécessite d’être traitée par votre équipe technique qui peut, dès lors, autoriser explicitement SemjiBot.

Autoriser les adresses IP

Par ailleurs, si vous avez la possibilité d'autoriser les adresses IP publiques utilisées par le SemjiBot, les voici : 

• 63.34.75.122
• 63.35.78.179
• 54.228.104.165
• 18.200.156.37
• 34.248.117.83
• 52.213.28.177

Gestion des redirections géolocalisées 

Comportement du SemjiBot face aux redirections géolocalisées

Le SemjiBot peut détecter des redirections 301 ou 302 lors de l'analyse de vos pages qui peuvent parfois être liées à la géolocalisation IP. Ces redirections peuvent ne pas être visibles pour vous localement.

Pourquoi cela se produit-il ?

Le SemjiBot utilise des adresses IP basées en Europe (Irlande) et s'identifie avec un header accept-language: fr-FR. Si votre site effectue des redirections basées sur la géolocalisation IP, le bot peut être redirigé vers une version différente de votre site (par exemple : https://site.com/page1 → https://site.com/FR-intl/page1).

Bonnes pratiques recommandées

Pour éviter les problèmes d'indexation et garantir que le SemjiBot puisse accéder correctement à votre contenu :

1. Évitez les redirections basées uniquement sur l'IP

• Google recommande de ne pas utiliser de redirections automatiques basées uniquement sur la géolocalisation IP.

• Ces pratiques peuvent nuire à votre SEO et à l'indexation de vos contenus.

2. Implémentez une gestion multilingue correcte

• Utilisez des balises hreflang pour indiquer les versions linguistiques de vos pages.

• Créez des structures d'URL dédiées par langue ou région (ex : /fr/, /en/).

• Proposez un sélecteur de langue manuel pour les utilisateurs.

3. Gardez un accès universel

• Assurez-vous qu'une version par défaut de votre site reste accessible sans redirection forcée.

• Permettez aux bots d'exploration d'accéder à l'ensemble de votre contenu.

Impact sur vos analyses Semji

Lorsque le SemjiBot détecte des redirections géolocalisées :

1. Les URLs importées peuvent différer de celles que vous visualisez localement

2. L'analyse peut porter sur une version différente de votre contenu

3. Les métriques peuvent être affectées si le bot ne peut pas accéder au contenu souhaité

Recommandations techniques

Avant d'importer vos pages dans Semji, vérifiez que votre site :

1. Ne redirige pas automatiquement en fonction de l'IP uniquement

2. Permet aux bots d'exploration d'accéder à toutes les versions linguistiques

3. Utilise correctement les balises hreflang pour le SEO international

Besoin d'aide ?

Si vous constatez des redirections inattendues lors de l'import de vos pages, contactez notre support technique. Nous pourrons vous accompagner dans l'optimisation de votre configuration pour garantir une analyse optimale de vos contenus.