Ένας γρήγορος οδηγός για τη σύνταξη ενός αρχείου Robots.txt

Ο μόνος τρόπος για να έρθετε σε επαφή με την αράχνη της μηχανής αναζήτησης ή το έρπων, γίνεται μέσω ενός αρχείου που ονομάζεται robots.txt. Ή καλύτερα. Όταν υποβάλλετε την πρόταση του ιστότοπού σας στην Google, έρχεται αντιμέτωπος με έναν απλώς κολοσσιαίο όγκο πληροφοριών.

Πώς μπορείτε να συμβουλευτείτε ένα εγχειρίδιο τόσο μεγάλο που να αισθάνεστε ότι δεν θα βρείτε ποτέ όλα όσα χρειάζεστε; Συμβουλευτείτε το ευρετήριο. Λοιπόν: το αρχείο robots.txt είναι το ευρετήριο του ιστότοπού σας.

Αυτό είναι ένα εύκολο στη συμπλήρωση έγγραφο που λέει στον ανιχνευτή της μηχανής αναζήτησης τι να αναζητήσει. Εν ολίγοις: θα τον βοηθήσετε να καταλάβει από τι αποτελείται ο ιστότοπός σας, ώστε ο αλγόριθμος να σας δώσει μια κατάταξη που είναι κατάλληλη για τη δουλειά που έχετε κάνει.

Μπορεί κάποιος να γράψει ένα αρχείο robots.txt;

Η σύντομη απάντηση είναι ναι. Η ειλικρινής απάντηση είναι όχι. Αν και η γραμματική ενός αρχείου robots.txt είναι εξαιρετικά απλή και η σύνθεσή του αποτελείται από μερικές γραμμές, είναι καλύτερο να βασιστείτε στη φροντίδα ενός ειδικού webmaster που ξέρει πού να βάλει τα χέρια του. Άλλωστε, ένα μικρό λάθος αρκεί για να θέσει σε κίνδυνο τη θέση της ιστοσελίδας σας και επομένως να σταματήσει όλες οι λειτουργίες SEO πριν καν ξεκινήσουν.

Πριν ξεκινήσετε, ξέρετε ένα πράγμα: οποιοσδήποτε μπορεί να συμβουλευτεί το αρχείο robots.txt οποιουδήποτε ιστότοπου γράφοντας ένα /robots.txt μετά τον τομέα. Μπορείτε ακόμη και να συμβουλευτείτε την Google!

Μπορείτε να γράψετε ένα τέτοιο αρχείο χωρίς να κάνετε λήψη ειδικού λογισμικού. Στην πραγματικότητα, αρκεί να χρησιμοποιήσετε το σημειωματάριό σας και να αποθηκεύσετε, μαντέψτε, σε μορφή .txt.

Ας γράψουμε μαζί ένα robots.txt: την κεφαλίδα

Ας πάρουμε τα πράγματα από την αρχή, όπως είναι πάντα λογικό να κάνουμε. Το άνοιγμα του αρχείου, ή μάλλον η κεφαλίδα, είναι εξ ολοκλήρου αφιερωμένο στο όνομα της αράχνης, ενώ προηγείται μια μικρή διατύπωση που είναι πάντα η ίδια. Ας υποθέσουμε ότι θέλετε να γίνετε αντιληπτοί από την Google. Η πρώτη γραμμή λοιπόν θα είναι:

Αντιπρόσωπος χρήστη: Googlebot

Αυτή η πολύ σύντομη συμβολοσειρά λέει στην Google ότι όλα όσα ακολουθούν σίγουρα θα την ενδιαφέρουν. Σε περίπτωση που θέλετε όλοι οι ανιχνευτές που διαβάζουν αυτόν τον τύπο αρχείου να μπορούν να συμβουλεύονται το έγγραφο, αντικαταστήστε το Googlebot με ένα απλό *, ένα αστερίσκος.

Τώρα που υποδείξατε ποια αράχνη, δηλαδή ΠΟΙΟΣ, θα πρέπει να υποδείξετε επίσης ΤΙ θα πρέπει να διαβάσει.

Κάθε γραμμή κώδικα, εξ ορισμού, αντιστοιχεί σε μια ενέργεια του μηχανήματος. Είναι αυτονόητο ότι κάθε εντολή στο αρχείο robots.txt αντιστοιχεί σε αυτό που δεν πρέπει να κάνει το μηχάνημα. Και αυτό είναι το κλειδί που σας επιτρέπει να γράψετε ένα πραγματικά αποτελεσματικό. Μιλάμε για την εντολή DISALLOW.

Τι είναι η εντολή DISALLOW;

Il εντολή απαγόρευσης σας επιτρέπει να συλλογιστείτε με αποκλεισμό. Με άλλα λόγια, όταν λέγεται ότι είναι πρώτο να πούμε τι δεν πρέπει να γίνει – λοιπόν, συλλογίζεστε με αποκλεισμό. Εκτός από την απαγόρευση υπάρχει και η άδεια, που είναι η εξαίρεση στο μπλοκ.

Αν θέλετε να γράψετε ένα καλό αρχείο ρομπότ, θα πρέπει να σκεφτείτε το αντίστροφο, επομένως θα πρέπει να πείτε στην Google τι δεν πρέπει να διαβάσει. Αν γράψεις:

Απαγόρευση:

Η αράχνη θα διαβάσει ολόκληρο τον ιστότοπό σας, χωρίς κανένα φρένο.

Εάν μετά το "Disallow:" εισαγάγετε μια κάθετο (άρα Disallow: /), ο ιστότοπος δεν θα εισαχθεί στις μηχανές αναζήτησης, τελεία.

Απαγόρευση: /directories/

Αντικαταστήστε τον κατάλογο λέξεων με τον φάκελο που θέλετε να απορριφθεί από την προβολή αράχνης. Μπορείτε να κάνετε το ίδιο με ένα συγκεκριμένο αρχείο.

Απαγόρευση: /myfile.html

Προσοχή στο σημεία στίξης και γράμματα, κεφαλαία ή πεζά. Αυτός ο τύπος αρχείων έχει μεγάλη εκτίμηση αυτού του είδους των «μικρών διαστάσεων», αλλά κάνουν μεγάλη διαφορά.

Γιατί θα σταματήσετε την Google να διαβάζει ένα μεγάλο μέρος του ιστότοπού σας; Όταν γράφετε ένα αρχείο αυτού του τύπου, είναι σημαντικό να κατανοείτε ποια αρχεία δεν πρέπει να εμφανίζονται στη μηχανή αναζήτησης, αλλά χωρίς να τα κάνετε κατάχρηση. Ωστόσο, να ξέρετε ότι όποιος γνωρίζει την ακριβή διεύθυνση του συγκεκριμένου αρχείου θα μπορεί να έχει πρόσβαση σε αυτό σε κάθε περίπτωση.

Τι είναι η εντολή ALLOW;

Στο αρχείο μπορείτε να προσθέσετε μια εξαίρεση με την εντολή ΕΠΙΤΡΕΠΩ. Η γραμματική είναι πανομοιότυπη, αλλά θα δημιουργήσει κάποιες εξαιρέσεις στο DISALLOW που θα επιτρέψουν να ανοίξουν ενδιαφέροντα περιθώρια εξερεύνησης για την αράχνη.

Ένα μικρό δείγμα αρχείου:

Αντιπρόσωπος χρήστη: Googlebot

Απαγόρευση: /images/

Να επιτρέπεται: /images/holidays.jpg

Βασικά είπαμε στο Googlebot να μην εξετάσει το φάκελο εικόνων, εκτός από μια συγκεκριμένη φωτογραφία μέσα σε αυτόν, δηλαδή αυτή από τις διακοπές.

Και αυτό, παιδιά, είναι αυτό. Γράψαμε το πρώτο μας αρχείο robots.txt. Σίγουρα, αυτό που θα κάνουμε για τον πραγματικό ιστότοπο μπορεί να είναι ελαφρώς διαφορετικό, αλλά όχι πολύ. Εάν έχετε αμφιβολίες, να λαμβάνετε πάντα συμβουλές από έναν εξειδικευμένο webmaster. Σας συμβουλεύουμε να προσπαθήσετε να το γράψετε μόνοι σας, πρώτα απ 'όλα, και να του το στείλετε για έλεγχο, ώστε να καταλάβετε τα βασικά στοιχεία και να κατανοήσετε καλύτερα πώς λειτουργεί ο ιστότοπός σας.

Ποια είναι η συσχέτιση μεταξύ του robots.txt και των χαρτών ιστότοπου;

Ο χάρτης ιστότοπου είναι ένα αρχείο που δημιουργείται από ειδικά πρόσθετα που περιέχει όλους τους συνδέσμους στον ιστότοπο. Όταν η αράχνη εισέρχεται στον ιστότοπο, πρώτα διαβάζει τα ρομπότ και μετά ανιχνεύει τον ιστότοπο. Εάν κατά τη διάρκεια της ανίχνευσης το ρομπότ βρει τη διεύθυνση του χάρτη ιστότοπου, η όλη διαδικασία θα είναι πολύ πιο εύκολη.

Προσθέστε τα ακόλουθα στον παραπάνω κώδικα:

Χάρτης ιστοτόπου: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

Εν κατακλείδι

Όλα τα αρχεία ρομπότ είναι τα ίδια. Αυτό σημαίνει ότι ένα αρχείο Robots που έχει γραφτεί για την Google θα λειτουργήσει μια χαρά και για το Bing και ακολουθεί την ίδια γραμματική.

Ένα καλά οργανωμένο αρχείο robots.txt σας επιτρέπει εξοικονομήστε χρόνο ανίχνευσης. Μην απογοητεύεστε: αυτό είναι το πρώτο βήμα προς την επιτυχία!