Perchè un nuovo sito appare e scompare dal database di Google

Google ha diversi data center (7 in tutto il mondo) per un totale di più di 10.000 pc, contenenti ciascuno una mole immane di dati ed una replica dell'indice completo di Google (suddiviso in 80 Giga circa per ciascun pc).
Quando si invia una query a Google, la richiesta viene indirizzata al datacenter più vicino o quello con carico di lavoro minore.
Ciascun datacenter è alquanto autonomo nella lavorazione dell'indice di ricerca di Google: gli spider che lavorano per ciascun data center apportano nuovi contenuti, vengono riprese copie dell'indice precedente, alcune parti dell'indice vengono lavorate secondo nuovi criteri o addirittura cancellate.
In tal modo è possibile che vi siano decine di indici diversi, e che quindi Google ad ogni connessione possa mostrare i propri risultati secondo un ordine sempre diverso, a secondo del datacenter interrogato: un minuto viene mostrata una copia di un indice, il minuto dopo se ne visualizza un'altra, secondo il crawl fatto dagli spider di Google ieri, o magari 4 mesi fa.
Questo in linea di massima il motivo per cui un sito nuovo o da poco indicizzato è presente a fasi alterne nel database e nei risultati mostrati da Google.

I server di google fanno riferimento a 3 server principale su cui risiede il programma di spidering. Questo programma (creato dagli stessi autori di google ma con delle implementazioni già usate per lo spider di altavista) usa un criterio univoco di indicizzazione. Il problema della visualizzazione o meno di un sito sta nel fatto che questi server hanno problemi di sincronizzazione di pacchetti icmp e nn riscono a volte ad avere un rapporto completo del database. In parole povere il criterio di indicizzazione viene sballato... Il problema è facilmente risolvibile individuando i datacenter meno frequentati e inserendo il loro ip direttamente nella barra del browser. In questo modo avremo sempre delle ricerche veloci ed affidabili