www.netties.be

Home

Vandaag

Nieuws | Wikipedia biedt zelf zijn teksten aan in strijd tegen overlast van scraper bots

Gepubliceerd op: 2025-04-18

Onlangs hadden wij het over het feit dat Wikimedia Foundation, dat de online encyclopedie Wikipedia runt, in de problemen kwam doordat het bandbreedtegebruik sinds januari 2024 met 50% toegenomen was. En dat dit vooral te wijten was aan de AI bots, die de content van Wikipedia plunderen om die te gebruiken als voer voor hun training. Dat drukke verkeer zorgde voor hogere kosten voor Wikimedia, en ook tragere toegang voor de reguliere gebruikers.

Wikimedia heeft nu aangekondigd dat het een speciale dataset vrijgegeven heeft op Kaggle, een door Google beheerd platform voor datawetenschap dat machine learning-data host. Die dataset is speciaal bedoeld om AI-ontwikkelaars te voorzien van gestructureerde Wikipedia-content, in de hoop dat dit de druk van scraper-bots op hun servers vermindert. De dataset, geoptimaliseerd voor machine learning, bevat artikelgegevens in JSON-formaat, zoals samenvattingen, infoboxen en secties, maar laat referenties en multimedia achterwege.

Wikimedia presenteert dit als een win-winsituatie: AI-ontwikkelaars krijgen makkelijke toegang tot data, en de servers worden ontlast. Maar als je het op de keper beschouwt dan is dit een opvallend pragmatische, bijna capitulerende zet van Wikimedia. In plaats van robuuste maatregelen te nemen tegen de ongebreidelde bot-activiteit – zoals strengere authenticatie of juridische stappen – kiest de stichting ervoor om de plunderaars te faciliteren met een kant-en-klare dataset. Dit riekt naar een pleister op een structureel probleem: de dataset mag dan vrijgegeven zijn onder open licenties, maar het lost de kernoorzaak – het gebrek aan respect van AI-bedrijven voor Wikipedia’s infrastructuur – niet op. Bovendien is het maar de vraag of deze geste effectief zal zijn. Bots die nu al lak hebben aan robots.txt-regels zullen waarschijnlijk niet ineens braaf de Kaggle-dataset gebruiken. Het artikel zwijgt ook over de lange-termijngevolgen: wat als AI-modellen, getraind op deze data, Wikipedia’s relevantie ondermijnen door dezelfde kennis te commercialiseren? Wikimedia lijkt hier een kortetermijnoplossing te bieden voor een probleem dat om een veel stevigere aanpak vraagt.

(1) https://www.theverge.com/news/650467/wikipedia-kaggle-partnership...
(2) https://www.engadget.com/ai/wikipedia-offers-ai-developers-a-trai...

Eerder verschenen artikels:

- Ook Wikimedia worstelt met overlast door AI crawlers, maar wel om een specifieke reden

Terug naar het overzicht

Nieuws

Hardware

Oor

Site

Tip

Software

Bekijk hier de oudere artikels

Ons archief is wellicht het meest uitgebreide overzicht...

Alle rechten voorbehouden aan www.netties.be (c) 2025 - v50 - voor suggesties en vragen gebruik ons .

Design en programmatie by PDL