Crawler

Web crawler

Spider

È un tipo di bot (roBot), cioè, un software sviluppato per analizzare i contenuti dei documenti digitali condivisi, di una rete pubblica e/o privata, in maniera metodica e automatizzata, in genere per conto di un browser, creando un indice che ne permetta, successivamente, la ricerca e la visualizzazione.

Quando si inizia a pensare di compilare una lista di crawler, ci sono tre tipi principali di crawler da cercare:

• interni: sono progettati dal team di sviluppo di un’azienda per analizzare il sito;
• commerciali: sono personalizzati e sono usati per valutare l'efficienza dei propri contenuti;
• open-source: sono gratuiti e creati da diversi sviluppatori e hacker di tutto il mondo.