workster.

Voor webmasters

WorksterBot

Voor server-admins die WorksterBot in hun access-logs zien. Hier leg ik uit wat 'ie doet, hoe je 'm herkent, en hoe je 'm whitelist of blokkeert.

Wat doet WorksterBot?

WorksterBot haalt periodiek vacature-feeds (XML / JSON) op van werkgevers die hun ATS aan Workster hebben gekoppeld. Per koppeling staat de feed-URL geregistreerd in onze admin-omgeving; WorksterBot bezoekt alleen URLs die expliciet door werkgevers (of hun ATS-leverancier) bij ons zijn aangeleverd.

WorksterBot crawlt geen willekeurige pagina's op het web. Hij volgt geen links, indexeert geen content buiten de geregistreerde feed-URLs, en parseert geen HTML — alleen structured feeds.

User-Agent

De bot identificeert zich met deze User-Agent:

Mozilla/5.0 (compatible; WorksterBot/1.0; +https://workster.nl/bots)

Crawl-frequentie

  • Per geregistreerde feed: één request per uur
  • Bij handmatige “Importeer nu”-trigger: één extra request
  • Geen recursieve crawls — exact één HTTP GET per feed-URL per moment

IP-adressen

WorksterBot draait op Vercel's serverless infrastructuur (regio: cdg1, iad1). De IP-range is dynamisch — Vercel publiceert geen vaste IP-allowlist. Filtering op IP wordt afgeraden; filter in plaats daarvan op de User-Agent string.

Hoe blokkeer ik WorksterBot?

We respecteren robots.txt. Plaats dit in je robots.txt om alle Workster-crawls te blokkeren:

User-agent: WorksterBot
Disallow: /

Of blokkeer alleen specifieke paden:

User-agent: WorksterBot
Disallow: /private/
Allow: /feeds/

Hoe whitelist ik WorksterBot?

Heb je een firewall of WAF (Cloudflare, Sucuri, etc.) die onbekende bots blokkeert? Voeg een regel toe die User-Agents matchend op WorksterBot doorlaat. Voor Cloudflare: ga naar Security → WAF → Tools → User-Agent Rules → toevoegen als Allow.

Contact

Vragen over WorksterBot, of zie je verkeerd gedrag in je logs? Mail info@workster.nl met de tijdstempel en URL — we kunnen tot 30 dagen terug kijken in de crawl-historie en snel verifiëren of 't om WorksterBot ging.

Voor abuse / klacht over een specifieke feed-fetch: beschrijf het verzoek (URL, timestamp, frequency) en wat verwacht gedrag voor jou is. We passen onze crawl-policy aan binnen 1 werkdag.

Privacy

WorksterBot logt geen persoonsgegevens. Per request slaan we op: feed-URL, response-status, content-length, en parse-result (aantal vacatures). Geen IP-adressen van bezoekers, geen cookies, geen sessie-data — een feed is puur server-to-server.

Zie ook onze algemene privacyverklaring.