Webskärmskrotning: användbara tips från Semalt

Numera kan data bli din viktigaste tillgång. Som sådan är det aldrig en bra idé att låta det glida i dina konkurrenter. Ibland kan det dock vara utmanande att förhindra detta på grund av skärmskrapning. Detta är en teknik som i flera år har använts för att extrahera data från webbsidor.

Denna metod innebär två betydande problem för ett företag. Först och främst kan uppgifterna användas för att få en fördel jämfört med ett företag kanske genom att prisunderskridande samt få information om produkter. Om tekniken görs ihållande kan tekniken också minska prestandan på en webbplats.

Generellt är skärmskrapning ett koncept som skapades av tidiga terminalemuleringsprogram för några decennier sedan. Det är en programmatisk teknik som extraherar information från skärmar som främst är utformade för att se av människor. Programmet låtsas vara en människa och läser data, samlar in värdefull information och bearbetar dem för lagring.

Tekniken har utvecklats avsevärt under åren, speciellt med uppfinningen av webbsökare. Det utvecklades ytterligare med utvecklingen av skärmskrapning av e-detaljhandlar, till exempel webbplatser för prisjämförelse. Dessa webbplatser använder program som regelbundet besöker populär e-detaljhandel för att få de senaste priserna samt information om tillgänglighet för en viss produkt eller tjänst. Dessa data lagras sedan i en databas och används för att ge jämförande granskningar av e-detaljhandelslandskapet.

Konkurrenskraftig skärmskrapning har olika negativa effekter på ett företags IT-system eftersom det bara är ett annat exempel på oönskad trafik. Nyligen genomförda studier har visat att minst 61% av all trafik genereras av bots. Dessa bots förbrukar viktiga resurser såväl som bandbredd avsedd för äkta webbanvändare, vilket kan leda till en ökning av latensgraden för verkliga kunder.

Skrapning har pågått länge. Det är dock först för nyligen som offren för detta beteende börjar reagera. Vissa har gjort anspråk på orättvisa affärsmetoder och intrång i upphovsrätten medan företag som gör skrotning däremot försvarar sig genom att hävda informationsfrihet.

Många webbplatsägare har använt sig av att skriva användningsprinciper på sina webbsidor som förbjuder aggressiv skrapning. Tyvärr kan de inte tillämpa dessa policyer, och därför verkar problemet inte försvinna när som helst snart.

För många år sedan introducerade eBay ett API som låter bra skrapare få åtkomst till dina data. Men det hindrar inte den skadliga skörden av information som ska användas för konkurrensfördelar. Det enda verkliga försvaret kan erhållas genom att använda teknik som kan blockera icke-mänskliga besökare på din webbplats. Detta gör att de verkliga användarna kan komma åt din webbplats medan de blockerar sökrobotarna från att orsaka skador.

Andra effektiva sätt på vilka man kan bekämpa skrapning är genom användning av tekniker som IP-anseende för rykte, förfalskad IP-källdetektering, analys av beteende-svarbeteende, bedömning av hotnivå i realtid och geo-placering.