Detectie van bot- en crawlerverkeer
Zoekmachine-indexers, socialepreviewbots, SEO-crawlers, uptimemonitors, AI-trainingscrawlers — er raakt altijd wel iets je site dat geen mens is. Blijft dat tussen je echte bezoekers zitten, dan blaast het je requestaantallen op en verstoort het stilletjes je conversieberekeningen. Measurebase herkent dit verkeer bij naam en zet het automatisch apart in grafieken, voor elk domein.
Wat er wordt herkend
Elke request wordt bij naam vergeleken met een brede, regelmatig uitgebreide verzameling bekende bots en crawlers, waaronder:
- Zoekmachines — Googlebot, Bingbot, DuckDuckBot, YandexBot, Baiduspider en andere
- Social- en previewbots — de linkcrawler van Meta, LinkedInBot, Twitterbot, Slackbot, Discordbot, WhatsApp, Telegram
- AI- en LLM-crawlers — GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Amazonbot, CCBot en andere die actief crawlen voor AI-training of live antwoorden
- SEO- en marketingtools — AhrefsBot, SemrushBot, MJ12bot, DotBot en vergelijkbare crawlers van SEO-platformen
- Securityscanners en uptimemonitors — UptimeRobot, Pingdom, StatusCake en diverse kwetsbaarheids- en assetscanners
- Headless browsers — Puppeteer, Playwright, Selenium en vergelijkbare automatiseringstools
Alles wat alleen maar botachtig oogt — een algemeen "bot", "crawl", "spider" of vergelijkbaar woord in de User-Agent zonder specifieke match hierboven — wordt nog steeds opgevangen en gegroepeerd als Overige bot, in plaats van stilletjes door te glippen als onbekende bezoeker.
De grafiek lezen
De pagina Domeinstatistieken van elk domein heeft een paneel Botverkeer : een gestapelde staafgrafiek, één staaf per dag over de gekozen periode, uitgesplitst per botnaam. De drukste bots van die periode krijgen een eigen segment en legenda-item met het totaal aantal requests en het aandeel in het botverkeer; wat daarna komt valt samen in een segment "Overig", zodat een lange staart eenmalige crawlers de bots die er voor dat domein echt toe doen niet wegdrukt.
Waarom dit ertoe doet
Botverkeer is normaal en meestal ongevaarlijk — je wílt dat Googlebot je site indexeert. De waarde zit in het apart zetten ervan: weten welk deel van je requests crawlers zijn in plaats van mensen houdt je conversiepercentages en funnelcijfers eerlijk, en een plotselinge nieuwkomer in de grafiek — een AI-crawler die je niet verwachtte, een scanner die je endpoints aftast — verdient een tweede blik op het moment dat hij verschijnt, niet maanden later.