Robot.txt google ne trouve pas???

wp-infinity
ThemeForestElegantThemes

Merci de vous inscrire pour participer au forum
Invité

Rechercher

— Forum Scope —




— Correspondances —





— Options du forum —





La longueur minimum du terme à rechercher est 3caractère - la longueur maximum est de 84 caractères

S'inscrire Mot de passe oublié ?
forum-seo
Robot.txt google ne trouve pas???
Avatar
bosschris
Membre
Membres
Messages du forum : 39
Membre depuis :
5 mai 2015
sp_UserOfflineSmall Hors ligne
1
6 août 2015 - 09:57
sp_Permalink sp_Print

Sur mon site crither.com, d'ailleurs à ce sujet, pas moyen d'y accéder mais en faisant crither.com/pensée-positive-transformer-sa-vie, ça marche, c'est une URL canonica que j'ai mise dans wp. Il n'empêhce qu'avant le 23/07, tout allait bien.

Pour le problème du robot.txt, google me dit qu'il ne peut lire mon site, idem, avant pas de souci.

Savez-vous de quoi cela peut venir?

Merci de votre aide.

Christine qui s'épuise chaque jour, beaucoup de patience car en même temps j'apprends mais au dépend du développement des sites...Brrrrrr

Avatar
Sylvain
Modérateur
Membres

Modérateurs
Messages du forum : 195
Membre depuis :
6 janvier 2014
sp_UserOfflineSmall Hors ligne
2
6 août 2015 - 15:08
sp_Permalink sp_Print

Tu as reçu le mail de google webmaster tools ?

Avatar
bosschris
Membre
Membres
Messages du forum : 39
Membre depuis :
5 mai 2015
sp_UserOfflineSmall Hors ligne
3
6 août 2015 - 15:14
sp_Permalink sp_Print

Sylvain a déclaré
Tu as reçu le mail de google webmaster tools ?

Bonjour oui, j'ai reçu un mail de la part de google search console.

Voilà le message : Googlebot can't access your site - Over the last 24 hours, Googlebot encountered 19 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 100.0%.

Merci pour l'aide.

Christine

Avatar
Marshal
Membre
Membres
Messages du forum : 3
Membre depuis :
28 juillet 2015
sp_UserOfflineSmall Hors ligne
4
10 août 2015 - 09:32
sp_Permalink sp_Print

Bonjour,

Il m'arrive la même chose avec mon blog tout récent. Je n'ai pas encore trouvé de solution qui marche pour moi malgré les conseils et les tutos qu'on m'a donné dans quelques forums. Moi qui pensait que tenir un blog était tout gagné. Bref, j'ai décidé de prendre un cours sur le référencement car j'en ai assez de toujours demandé alors que des fois la solution est toute bête. Je suis une petite formation pour débutant avec le formateur référencement naturel Mickaël DELAUNAY. Je ne suis qu'au début donc je ne sais pas encore ce qui se passe avec mon blog. Jusque là je n'ose pas lui demander de m'aider, mais je vais le faire cette semaine de peur que cela peut avoir une énorme conséquence pour mon jeune blog. Si j'ai des nouvelles, je te les passent. Si tu trouves des solutions, partages-les ici.

Avatar
bosschris
Membre
Membres
Messages du forum : 39
Membre depuis :
5 mai 2015
sp_UserOfflineSmall Hors ligne
5
10 août 2015 - 11:37
sp_Permalink sp_Print

Bonjour Marshal, je te remercie pour ton message,aucun souci pour les solutions.

Et je suis d'accord avec toi, après un an d'existence, c'est maintenant que je rencontre les soucis sachant que le webmaster de l'époque, envolé.

J'ai suivi une formation de webmaster mais je n'ai pas la science infuse et je ne connais pas toutes les ficelles, étant jeune webmaster.

A plus tard et on se tiens au courant.

En ce moment je suis un peu prise par un autre projet personnel mais je reviendrais très vite.

Christine

Avatar
Thibaud
Administrateur
Messages du forum : 345
Membre depuis :
30 septembre 2012
sp_UserOfflineSmall Hors ligne
6
12 août 2015 - 04:21
sp_Permalink sp_Print sp_EditHistory

Bonjour à tous les 2. 

Il faut ajouter ces lignes à votre fichier .htaccess robot.txt pour autoriser googlebot à visualiser correctement vos sites :

User-Agent: Googlebot 
Allow: .js
Allow: .css
Avatar
bosschris
Membre
Membres
Messages du forum : 39
Membre depuis :
5 mai 2015
sp_UserOfflineSmall Hors ligne
7
12 août 2015 - 09:59
sp_Permalink sp_Print

Thibaud a déclaré
Bonjour à tous les 2. 

Il faut ajouter ces lignes à votre fichier .htaccess pour autoriser googlebot à visualiser correctement vos sites :

<br />

User-Agent: Googlebot 
Allow: .js
Allow: .css

<br />

Re,

Donc, il faut aller dans le fichier via notepad++?

Merci, je vais le faire rapidement.

Je te tiens au courant.

Bonne journée

Avatar
Thibaud
Administrateur
Messages du forum : 345
Membre depuis :
30 septembre 2012
sp_UserOfflineSmall Hors ligne
8
12 août 2015 - 10:33
sp_Permalink sp_Print

Oui c'est ça.

Avatar
bosschris
Membre
Membres
Messages du forum : 39
Membre depuis :
5 mai 2015
sp_UserOfflineSmall Hors ligne
9
12 août 2015 - 16:15
sp_Permalink sp_Print

re Thibaud,

Voici ce que j'ai sur mon fichier .htacces :

ma question : dois-je insérer view raw code? et ne dois-je pas mettre un début et une fin tel que <...>......</...> et y a t il un endroit de préférence?

Merci d'avance. Christine

<Files wp-config.php>
order allow,deny
deny from all
</Files>

Options All -Indexes

<Files .htaccess>
order allow,deny
deny from all
</Files>

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L] RewriteRule ^modules/aa405a34/(.*) /wp-content/plugins/akismet/$1 [QSA,L] RewriteRule ^modules/95a24316/(.*) /wp-content/plugins/bbpress/$1 [QSA,L] RewriteRule ^modules/ff957fea/(.*) /wp-content/plugins/contact-form-7/$1 [QSA,L] RewriteRule ^modules/c96c90b2/(.*) /wp-content/plugins/wpt-login/$1 [QSA,L] RewriteRule ^modules/bffb6783/(.*) /wp-content/plugins/hide-admin-bar-from-non-admins/$1 [QSA,L] RewriteRule ^modules/01f1c27b/(.*) /wp-content/plugins/newsletter/$1 [QSA,L] RewriteRule ^modules/ed0bb1af/(.*) /wp-content/plugins/paid-memberships-pro/$1 [QSA,L] RewriteRule ^modules/41772e9c/(.*) /wp-content/plugins/plainview-activity-monitor/$1 [QSA,L] RewriteRule ^modules/a726a018/(.*) /wp-content/plugins/pmpro-bbpress/$1 [QSA,L] RewriteRule ^modules/9b842c02/(.*) /wp-content/plugins/really-simple-captcha/$1 [QSA,L] RewriteRule ^modules/95e68aeb/(.*) /wp-content/plugins/revslider/$1 [QSA,L] RewriteRule ^modules/03ea64e6/(.*) /wp-content/plugins/tac/$1 [QSA,L] RewriteRule ^modules/5f3e74bb/(.*) /wp-content/plugins/theme-my-login/$1 [QSA,L] RewriteRule ^modules/68da992f/(.*) /wp-content/plugins/updraftplus/$1 [QSA,L] RewriteRule ^modules/07bf5518/(.*) /wp-content/plugins/wp-bouncer/$1 [QSA,L] RewriteRule ^modules/2e798598/(.*) /wp-content/plugins/wp-maintenance-mode/$1 [QSA,L] RewriteRule ^lib/(.*) /wp-includes/$1 [QSA,L] RewriteRule ^file/(.*) /wp-content/uploads/$1 [QSA,L] RewriteRule ^modules/(.*) /wp-content/plugins/$1 [QSA,L] RewriteRule ^template/main\.css //index.php?style_wrapper=1 [QSA,L] RewriteRule ^template/(.*) /wp-content/themes/envision/$1 [QSA,L] RewriteRule ^do_ajax\.php /wp-admin/admin-ajax.php [QSA,L] RewriteRule ^user_submit\.php /wp-comments-post.php?entrer=7881 [QSA,L] RewriteRule ^wp-content/themes/envision/screenshot\.png|readme\.html|license\.txt|wp-content/debug\.log|wp-includes/$ /nothing_404_404 [QSA,L] RewriteRule ^(((wp-content|wp-includes)/([A-Za-z1-9-_/]*))|(wp-admin/(?!network/)([A-Za-z1-9-_/]+)))(\.txt|/)$ /nothing_404_404 [QSA,L] RewriteRule ^(index\.php|wp-content/repair\.php|wp-comments-post\.php|wp-includes/js/tinymce/wp-tinymce\.php|xmlrpc\.php|wp-cron\.php|wp-login\.php|index\.php|wp-admin/|wp-content/plugins/)(.*) $1$2 [QSA,L] RewriteRule ^(.*)\.php$ /nothing_404_404 [QSA,L] RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L] </IfModule>

 

# BEGIN s2Member GZIP exclusions
<IfModule rewrite_module>
RewriteEngine On
RewriteBase /pensee-positive-transformer-sa-vie/
RewriteCond %{QUERY_STRING} (^|\?|&)s2member_file_download\=.+ [OR] RewriteCond %{QUERY_STRING} (^|\?|&)no-gzip\=1
RewriteRule .* - [E=no-gzip:1] </IfModule>
# END s2Member GZIP exclusions

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L] RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L] </IfModule>

# END WordPress

Avatar
Thibaud
Administrateur
Messages du forum : 345
Membre depuis :
30 septembre 2012
sp_UserOfflineSmall Hors ligne
10
13 août 2015 - 04:49
sp_Permalink sp_Print sp_EditHistory

Non simplement le contenu des lignes soit :

User-Agent: Googlebot

Allow: .js

Allow: .css

Ajoute-les après le "#END WordPress"

Ensuite tu peux vérifier que google accède bien à ton site et tester ton nouveau robot.txt via google webmaster tools ici : https://www.google.com/webmasters/tools/googlebot-fetch et là : https://www.google.com/webmasters/tools/robots-testing-tool

 

Par contre j'ai fais une erreur c'est dans le fichier robot.txt et non .htaccess qu'il faut ajouter ce lignes, c'est corrigé.

Voici un exemple de mon robot.txt optimisé, applicable à tout site WordPress excepté le sitemap, non obligatoire, et URL à adapter selon votre cas" :

User-agent: *
Disallow: /*?
Disallow: /wp-login.php
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi
Allow: /*css?*
Allow: /*js?*
Sitemap: http://wp-infinity.com/sitemap_index.xml
Avatar
bosschris
Membre
Membres
Messages du forum : 39
Membre depuis :
5 mai 2015
sp_UserOfflineSmall Hors ligne
11
13 août 2015 - 08:36
sp_Permalink sp_Print

Bonjour Thibaud,

Je vois que tu travailles très tôt.

Une fois de plus, je te remercie pour ton aide précieuse et j'apprécie vraiment. Je ne sais pas si je pourrais faire la même chose.

J'ai eu une très belle nouvelle hier : message d'OVH :

"Vous aviez un fichier malveillant sur votre hébergement qui cause problème de chargement de votre site.
Notre service a passer ce fichier en 000 et votre site est de nouveau en ligne. Il répond correctement."

Et ce matin, avec une belle surprise, le site s'est chargé impeccable.

Et maintenant avec tout ce que j'ai fait depuis le 24/07, je dois faire des vérifications.

Je leur ai demandé quand même comment cela était possible?

Bref, je suis soulagée et je vais pouvoir refaire de la pub et relancer la productivité.

Dis-moi, cela dit, je peux insérer le code sur le robot.txt?

Ne penses tu pas que cela serait intéressant que je fasse un petit topo sur ce qui m'est arrivé dans le but surtout de dire qu'il ne faut pas aller trop vite dans les modifications et surtout insister auprès de l'hébergeur en déclarant un incident.

Sur ce bonne journée,Wink

Avatar
Thibaud
Administrateur
Messages du forum : 345
Membre depuis :
30 septembre 2012
sp_UserOfflineSmall Hors ligne
12
13 août 2015 - 12:51
sp_Permalink sp_Print

Ravi que ton problème soit réglé Christine.

Pour le robot.txt je te conseil de copier-coller le mien, sauf l'URL du sitemap, et de vérifier via google webmaster tools. C'est très important pour ton référencement.

Pour le topo c'est une super idée, je te propose d'ouvrir un sujet dédié sur le forum dans la section discussions diverses ?

Bonne journée,

Thibaud

Fuseau horaire du forum :Europe/Paris

Nb max. d'utilisateurs en ligne :574

Actuellement en ligne :
6 Invité(s)

Actuellement sur cette page :
1 Invité(s)

Auteurs les plus actifs :

BrunoT: 52

vKr_Onii: 42

bosschris: 39

athox: 26

Martine677: 25

monchihuahua: 25

Dan: 24

regisbor33: 23

monblogestunroman: 23

Nouveaux membres :

josehartsock1

Talisker25

maziecrocker

barbpaulk0349

Djiman

sherrillv03

latashaflagg556

jefferybustamant

niklasm62431705

Statistiques du forum :

Groupes :3

Forums :9

Topics :702

Posts :2782

 

Statistiques des membres :

Invités: 23

Membres : 8655

Modérateurs : 27

Admins: 1

Administrateurs :Thibaud

Modérateurs :Sylvain, bruno, david, Catherine0614, zapps, soborne, Mojiezuo, Soufian Ait Tirite, Jeff, redwhirl, sigridregnier, Jess, Malles, spleen13, Alain2choeur, kaepaul, negativenetwork, Pictures4events, 100son, Ben 44, Ailpp84, joecab, SPITI, Fatalys, Therese, P-x3l, Gayraud Marina