Hvorfor kalles det en crawler?

Introduksjon

Har du noen gang lurt på hvorfor visse teknologiske enheter eller utstyr gis spesifikke navn eller termer? For eksempel, hvorfor heter søkemotoren Google Google eller meldingsplattformen WhatsApp kjent som WhatsApp? På samme måte, hvorfor kalles webcrawlere crawlere? I denne artikkelen vil vi svare på spørsmålet "Hvorfor kalles det en crawler?" i detalj.

Hva er en Crawler?

Før vi dykker ned i historien til begrepet "crawler", la oss først forstå hva det faktisk betyr. En crawler, også kjent som en edderkopp eller en bot, er et automatisert program som brukes av søkemotorer for å samle informasjon fra nettsider. De innsamlede dataene blir deretter analysert og indeksert for å skape en raskere og mer effektiv søkemotor for brukerne.

Søkemotorsøkeprogrammer eller edderkopper analyserer innholdet på nettsider og følger hyperkoblingene som er tilgjengelige på siden for å oppdage nytt innhold som skal indekseres. Denne kontinuerlige prosessen med gjennomsøking og indeksering sikrer at søkemotorresultatsider (SERP) alltid er oppdaterte og viser frem de mest relevante resultatene for brukersøk.

Opprinnelsen til begrepet "Crawler"

Den tidligste bruken av begrepet "crawler" kan spores tilbake til midten av-1990-årene. På den tiden brukte noen søkemotorer automatiserte programmer kalt "edderkopper" for å krype gjennom nettsidene og indeksere dem. Imidlertid var det nødvendig med et mer effektivt og kraftig program for å holde tritt med det raskt voksende innholdet på World Wide Web.

I 1994 utviklet en informatikkstudent ved University of Washington ved navn Brian Pinkerton et program kalt WebCrawler. Det var verdens første fulltekst nettsøkemotor som indekserte hele innholdet på en nettside i stedet for bare metadata eller nøkkelord. Programmet ble passende kalt "crawler" da det gjennomsøkte nettsider ved å følge hyperkoblinger.

WebCrawler ble raskt populær og inspirerte utviklingen av flere andre robotsøkeprogrammer og søkemotorer, som Lycos, AltaVista og Yahoo! Over tid ble "crawler" standardbegrepet som ble brukt for å referere til webroboter som gjennomsøkte nettsidene.

Typer av robotsøkeprogrammer

Webcrawlere kan grovt sett klassifiseres i tre kategorier – generell, spesialisert og sanntid. La oss ta en nærmere titt på hver av dem.

- Generelle robotsøkeprogrammer: Dette er den vanligste typen nettsøkeprogrammer som brukes av søkemotorer. De gjennomsøker nettsteder og indekserer innholdet for å gi relevante søkeresultater til brukerne. Eksempler på generelle søkeroboter inkluderer Googlebot, Bingbot og Yandexbot.

- Spesialiserte robotsøkeprogrammer: Disse søkerobotene er utviklet for å samle inn spesifikk informasjon fra nettsteder og brukes primært i forskning og datautvinning. For eksempel kan en spesialisert søkerobot brukes til å samle inn data om priser på produkter som selges av nettbutikker eller til å spore endringer som er gjort på nettsteder over tid.

- Sanntidscrawlere: Disse crawlerne overvåker kontinuerlig nettsteder for oppdateringer og endringer i innhold, og indekserer endringene i sanntid. De brukes hovedsakelig i nyhets- og mediebransjen for å gi oppdaterte nyhetsartikler til leserne.

Konklusjon

Avslutningsvis stammer begrepet "crawler" fra programmet WebCrawler, som ble utviklet av Brian Pinkerton i 1994. Begrepet refererte til programmets evne til å gjennomsøke nettsider og samle informasjon for å lage en søkemotorindeks. Over tid ble det standardbegrepet som ble brukt for å referere til alle typer webcrawlere. I dag kryper tusenvis av crawlere eller edderkopper gjennom nettet, indekserer innhold og gir resultater til søkemotorbrukere over hele verden.