Il file Robots.txt

Il file "robots.txt" è un semplice file di testo, scritto con una sintassi ben precisa, che i programmatori inseriscono nella "Root" dei siti web per "istruire" i vari motori di ricerca, per i motivi più diversi,  su quali pagine NON DEVONO ESSERE INDICIZZATE.

Prendiamo per esempio il sito del quotidiano "La Repubblica"

 

Proviamo ad aggiungere all'indirizzo /robots.txt
Questo è il risultato:

 

Dall'elenco delle pagine che il quotidiano vuole che non siano pubblicizzate, prendiamo la prima, e incolliamola dietro l'indirizzo del giornale al posto di /robots.txt.

Questo il risultato:

 

Uno degli articoli che il quotidiano "La Repubblica" non desiderava venisse indicizzato e, quindi, pubblicizzato, dai motori di ricerca sulla Rete.