Come si ottimizza il Crawl Budget? In questa guida, scoprirai sette consigli per rendere il tuo sito web il più scansionabile possibile per la SEO.

Il crawl budget è un tema molto importante per la SEO che spesso viene trascurato.

Ci sono così tanti compiti e task che un esperto SEO deve tenere a mente che spesso viene messo in secondo piano.

In poche parole, il crawl budget può e deve essere ottimizzato.

In questo articolo, vedremo insieme:

• Come migliorare il tuo crawl budget nel tempo.
• Come si è aggiornato il concetto di crawl budget negli ultimi anni.

Cos’è il crawl budget

Il crawl budget è semplicemente la frequenza con cui i crawler dei motori di ricerca (cioè gli spider e i bot) passano sulle pagine del tuo sito.

Questa frequenza rappresenta concettualmente l’equilibrio tra i tentativi di Googlebot di non sovraffollare il tuo server e il desiderio generale di Google di scansionare il tuo sito.

L’ottimizzazione del budget di scansione rappresenta una serie di operazioni che puoi attuare specificamente per aumentare il tasso con cui i bot dei motori di ricerca visitano le tue pagine.

Più spesso visitano, più velocemente entrano nell’indice le pagine che sono state aggiornate.

Di conseguenza, i tuoi sforzi di ottimizzazione impiegheranno meno tempo per prendere piede e iniziare a posizionarsi.

Perché l’ottimizzazione del budget Crawl viene trascurata?

Per rispondere a questa domanda, basta dare un’occhiata a questo post sul blog ufficiale di Google.

Come Google spiega chiaramente, il crawl di per sé non è un fattore di ranking.

Quindi questo da solo è sufficiente per impedire a certi professionisti SEO di pensare al crawl budget.

Per molti, “non è un fattore di ranking” equivale a “non è un mio problema”.

Recentemente Gary Illyes di Google ha dichiarato apertamente che, certo, per un sito enorme di milioni e milioni di pagine, la gestione del crawl budget ha senso.

Ma se sei un sito di dimensioni modeste, allora non devi preoccuparti troppo del crawl budget. (E infatti ha aggiunto che se avete davvero milioni e milioni di pagine, dovreste considerare di tagliare alcuni contenuti, il che sarebbe vantaggioso per il vostro sito in generale).

Tutto vero, ma come ben sappiamo, la SEO non è tanto incentrata sul modificare un solo grande fattore per ottenere risultati, è più un processo di tanti piccoli cambiamenti incrementali, dove bisogna prendersi cura di decine di metriche. Il lavoro del SEO consiste, quindi, nel fare funzionare al meglio tanti piccoli aspetti, in conclusione, anche se, il crawl budget per siti medio piccoli non è uno dei problemi principali di cui occuparsi, è comunque buona cosa ottimizzarlo il più possibile, per le conversioni e per una questione di salute generale del sito. È importante per ciò, che niente nel tuo sito web stia limitando il crawl budget.

Come ottimizzare il Crawl Budget oggi

Nel tempo molti aspetti di ottimizzazione hanno acquisito più importanza, mentre altri sono diventati meno rilevanti.

Poniamo l’attenzione su alcuni punti che ancora sono fondamentali per la salute di un sito web.

1. Permettere la scansione delle pagine importanti in Robots.Txt

La verifica del file robots.txt è qualcosa di basilare, ma molto importante. Si può fare editandolo a mano o tramite tool. Perché è importante?  Perché tramite il file robots.txt possiamo consentire o bloccare, l’accesso del crawler a qualsiasi pagina, cartella o altro elemento presente nella struttura del nostro sito web.

Possiamo così evitare che i bot dei motori di ricerca vadano a “perdere tempo” in sezioni poco importanti, invece di focalizzarsi sulle altre parti del sito.

2. Attenzione alle catene di reindirizzamento

Idealmente, in un sito web non dovrebbero essere presenti contenuti che ridirezionano ad altri.

Questo però è un compito praticamente impossibile soprattutto per un sito web molto grande, o che ha dovuto fare una migrazione in passato. In questi casi è normale che appaiano dei contenuti con status code 301 e 302 (redirect).

Il problema lato crawl budget lo abbiamo quando molti di questi contenuti, concatenati insieme, ridirezionano più volte. Come ad esempio URL A che punta a URL B che a sua volta punta a URL C e così via. Questo sicuramente danneggia la scansione del sito, al punto che il crawler del motore di ricerca potrebbe semplicemente smettere di seguire i link senza arrivare alla pagina che hai bisogno di indicizzare.

Uno o due reindirizzamenti qua e là potrebbero non essere un problema, ma è qualcosa di cui tutti dovrebbero prendersi cura comunque.

3. Usare l’HTML ogni volta che è possibile

Sicuramente nel tempo Google è migliorato molto nel crawling e indicizzazione di contenuti in JavaScript, Flash o XML, ma altri motori di ricerca non sono ancora altrettanto evoluti.

Per questo motivo, dal mio punto di vista personale, quando possibile, è sempre meglio attenersi a contenuti in HTML, in modo da essere “appetibili” per il maggior numero di motori di ricerca possibile.

4. Non lasciare che gli errori HTTP mangino il crawl budget

Tecnicamente, le pagine 404 e 410 “mangiano” il crawl budget.

E se questo non fosse abbastanza, danneggiano anche l’esperienza dell’utente!

Questo è esattamente il motivo per cui sistemare tutti i codici di stato 4xx e 5xx è davvero una situazione vantaggiosa per tutti.

Ci sono tanti strumenti utili che ci permettono fare una scansione e un’analisi del sito web per scovare questi errori, tra cui, l’imprescindibile per chi fa SEO, Screaming Frog.

5. Gestire URL parametrizzati

Tieni sempre a mente che ogni singolo URL viene considerato dai crawler come pagina separata, sprecando un crawl budget inestimabile.

Ancora una volta, far sapere a Google di questi parametri URL sarà una situazione vantaggiosa per tutti, salvaguarderà il crawl budget e allo stesso tempo eviterà un secondo problema, cioè quello dei contenuti duplicati.

Quindi assicurati di segnalarli nel tuo account Google Search Console, oppure di bloccarne la scansione da parte dei bot, tramite apposite regole scritte nel file robots.txt, come visto prima.

6. Aggiornare la Sitemap

Mantenere una sitemap.xml aggiornata e ben strutturata, consente ai bot di capire bene dove portano i link interni e di guadagnare tempo di scansione, a patto che vengano utilizzato solo gli URL Canonici.

7. I tag hreflang sono vitali

Per analizzare le pagine dei siti multilingua, i crawler utilizzano i tag hreflang. Per questo è importante fornire a Google le versioni localizzate delle pagine nel modo più chiaro possibile.

Prima di tutto, usate il <link rel="alternate" hreflang="lang_code" href="url_of_page" /> nell’intestazione della vostra pagina. Dove “lang_code” è un codice per una lingua supportata.

In aggiunta dovreste usare l’elemento <loc> per ogni dato URL. In questo modo si può puntare alle versioni localizzate di una pagina.

Conclusioni

Quindi, se vi stavate chiedendo se l’ottimizzazione del crawl budget è ancora importante per il vostro sito web, la risposta è chiaramente sì.

Il crawl budget è, era e probabilmente sarà una cosa importante da tenere a mente per ogni professionista SEO.

Tratto da @searchenginejournal.com