In Google, SEO

Il File Robot.txt

Se no vuoi indicizzare alcune pagine negli indici dei motori di ricerca, il file robots.tx è uno strumento versatile.

Consente di indicare quali file o directory si desidera escludere dalla scansione.

Inoltre, ha un comando molto utile per indicare dove è ospitata la Sitemap.

Ma il file robots.txt ha un inconveniente importante, in quanto non consente che PageRank scorri tra le pagine bloccate.

Fortunatamente, il tag meta robots  evita questo problema.

Qual è l’etichetta meta robots

Meta robots è un tag HTML utilizzato per fornire istruzioni ai motori di ricerca. Come il file robots.txt, può essere utilizzato per impedire la scansione e l’ indicizzazione di una pagina web , tuttavia, c’è una differenza.

Mentre il  file robots.txt chiede ai motori di ricerca di non eseguire la scansione di una pagina (e quindi non indicizzarla), il meta tag per i robot consentono di eseguire la scansione di una pagina, ma non di memorizzarla nel suo indice. Questo ha un grande vantaggio al livello di SEO, ma per farvi capire farò un esempio:

Supponiamo di avere 2 pagine che non vogliamo far apparire nell’indice Google. Uno è bloccato dal file robots.txt e l’altro dal tag meta robots.

Questo è ciò che accadrà:

  • La pagina bloccata con il file robots.txt non verrà indirizzata e, in linea di principio, non verrà indicizzata. Il contenuto della pagina sarà invisibile al motore di ricerca, inclusi i collegamenti, che non possono essere seguiti.
  • La pagina bloccata con meta robots non verrà indicizzata, ma verrà seguita dal motore di ricerca, seguendo i collegamenti ad altre pagine e trasmettendo il valore di tali collegamenti.

Vantaggi di meta robots versus robots.txt

Dato che i motori di ricerca seguono i link interni per scoprire le pagine di un sito web, i meta tag robots hanno un vantaggio evidente,impedisce l’indicizzazione di alcune pagine, senza diventare un ostacolo per lo spider nel suo compito di scoprire nuovi pagine del sito.

Questo esempio va bene per pagine, che per loro natura tendono a  duplicare contenuti come:

  • Risultati di ricerca interni
  • File di categoria
  • Tag Archives
  • Autori degli autori
  • File Data

Come utilizzare il tag meta robots

Devono essere inseriti nel codice HTML della tua pagina, e più in particolare, nella sezione delimitata dai tag <head> e </ head> .

Il codice del tag è simile a questo:

<meta name = “robots” content = ” VALORI “>

Dove i VALORI possono essere inclusi:

  • Index / NoIndex – Indica se la tua pagina deve essere inclusa negli indici di ricerca oppure no
  • FollowNoFollow – Indica se i collegamenti nella pagina devono essere tracciati e passare il valore di collegamento o meno

Inoltre puoi includere altri valori come NoODP , NoYDIR e NoArchive , ma non preoccuparti al momento. Ciò che conta ora sono le combinazioni che possono essere fatte con i 2 tipi di valori che ti ho detto prima e che sono correlati all’indicizzazione e al tracciamento:

  • index, follow – Consente l’indicizzazione e la scansione della pagina dai motori di ricerca. È la combinazione predefinita e quella assunta quando non si dispone di questo tag nelle pagine.
  • NoIndex, Follow – Impedisce l’indicizzazione ma consente la tracciabilità. È la combinazione ideale quando si desidera impedire la visualizzazione di una pagina nell’indice dei motori di ricerca.
  • Index, NoFollow – Consente l’indicizzazione ma evita la scansione. È la combinazione che si dovrebbe utilizzare quando una pagina contiene collegamenti che non supportano necessariamente (questo è il caso di pagine in cui il contenuto viene generato dall’utente).
  • NoIndex, NoFollow – Impedisce l’indicizzazione e la scansione. Sinceramente, non esistono molte ragioni per utilizzare questa combinazione.

Combinazione alternativa a robots.txt

Secondo quello che abbiamo visto, quello che è formato dalla coppia NoIndex e Follow . È la combinazione che impedisce l’indicizzazione di una pagina web nell’indice del motore di ricerca allo stesso tempo che consente il monitoraggio e il flusso dei collegamenti.

Il tuo codice HTML è:

<meta name = “robots” content = ” noindex, follow “>

E per farlo funzionare ricorda che dovrebbe apparire all’interno della sezione delimitata da <head> e </ head> nel codice della tua pagina.

Se stai usando un CMS, dovresti aver bisogno di qualche plugin per configurarlo. Nel caso di WordPress sarà di grande aiuto:

Dovremmo smettere di utilizzare robots.txt?

Assolutamente NO!!!!!! Il file robots.txt è ancora uno strumento potente per bloccare directory complete e tutti i tipi di file ospitati sul server.

Inoltre, robots.txt ha un vantaggio rispetto al tag meta robots  e non è necessario che il motore di ricerca acceda alla pagina per vedere se è possibile eseguire la traccia o no. Questo rende la lettura più veloce,  aumenta il numero di pagine che possono essere tracciate in ogni visita.

Personalmente, uso il file robot per bloccare tutto quello che non posso con il tag meta robots e il tag meta robots per tutto il resto.

Qual’è la tua visone dei meta robots? hai avuto problemi di configurazione ?

Ti è piaciuto l'articolo ?
[Totale: 1 Media Voto: 4]
Post recenti
Lascia un commento

Leave a Comment

Inizia a digitare e premi Enter per effettuare una ricerca

robots.txtfurto di contenuti