Hakukoneoptimoinnin maailmassa crawler (suom. Indeksointirobotti) tarkoittaa hakukoneiden käyttämää ohjemaa, joka kartoittaa internetiä kerätäkseen ja indeksoidakseen tietoa. Esimerkiksi saadakseen verkkosivun näkymään Googlen hakutuloksissa, crawlerin tulee ensin vierailla sivustolla ja indeksoida se.
Crawlerit käyttävät sivustolta toiselle siirtymiseen sivuilta löytyviä hyperlinkkejä. Sivustolle saavuttuaan crawler tarkastaa sivuston sisällön ja sinne upotetut linkit, ennen kuin se lähtee linkkien kautta pois sivustolta. Crawler jatkaa linkkien seuraamista, kunnes se on indeksoinut tiedot jokaiselta sivulta, jolla on linkki toiseen sivustoon. Se käytännössä ”ryömii verkossa”, mistä tulee nimitys ”crawl the web”.
Miksi crawlerit ovat tärkeitä hakukoneoptimoinnissa?
Ihan ensimmäiseksi, jos haluaa ollenkaan näkyä hakukoneessa, tulee hakukoneen crawlereiden ensin löytää sivu ja indeksoida se. Ilman indeksointia sivustoa ei löydy hakukoneesta, vaikka hakisit sivuasi sen tarkalla nimellä.
Hakukoneen crawler ei siis selaa läpi koko internetiä, vaan se pisteyttää haluamansa sivustot tärkeysjärjestykseen sen mukaan, kuinka paljon niillä on liikennettä tai esimerkiksi linkityksiä. Pisteytyksen mukaan crawler päättää millä sivuilla se haluaa käydä, ja kuinka usein se haluaa päivittää haluttujen sivujen indeksoinnin.
Crawlereiden antamaan pisteytykseen on mahdollista vaikuttaa sillä kuinka crawler-ystävällinen sivusto on. Ensikädessä ne suosivat sivuja, jotka ovat helppo ”crawlata”, eli sivulle on helppo päästä ja sen sisällä on helppoa navigoida. Mitä vähemmän klikkauksia tarvitsee tehdä päästäkseen käsiksi tärkeään sisältöön, sitä miellyttävämpää sivujen käyttö on niin crawlereillekkin kuin ihmiskäyttäjillekkin. Crawlerit käyttävät myös sivuista olemassa olevia sitemappeja sivuilla suunnistukseen.
Toiseksi, crawlerit seuraavat sivulle johtavia, sieltä ulos johtavia, ja sivun sisäisiä linkkejä. Jotta crawler pääsee etenemään sivun sisäisiä linkkejä pitkin, tulisi sivun linkkirakenteen olla kunnossa. Ulkoiset, eli sivustolta pois johtavat linkit kertovat crawlerille, että sivustolla on käytetty muitakin lähteitä, joka taas lisää sen luotettavuutta. Crawlerit etsivät sivuilta myös avainsanoja, jotta ne tietävät millä avainsanoilla sivustosi tulisi listata hakukoneeseen. Lisäksi ne tarkkailevat sivujen sisältöä kopioitujen sisältöjen varalta, varmistaakseen sivun sisällön yksilöllisyyden.
