| Home | Archief nieuwsbrief | Abonnement | Wie zijn wij ? | Contact | Adverteren |
Nieuwsberichten van 20/02/2024
[Nieuws]Zoeken wordt nooit meer zoals vroeger: heeft...
[Nieuws]Ook Amazon doet mee aan de AI-race
[Nieuws]EU: mogelijk 500 miljoen euro boete voor Appl...
[Oor]YouTube laat je muziek remixen in Shorts
[Site]Follow Up Then: herinnering
[Site]I Have No Tv: documentaires
[Software]Metro Commander: bestanden
De meeste populaire reacties
[14]Vragen van de lezers ...
[9]Vragen van de Netties-lezers ...
[8]Vrijdag alternatieve OS: Ubuntu 9.1 ...
[7]Netties vraagt hulp lezers bij oplo ...
[7]Linux - Deel 1 - Een korte inleidin ...
De meeste recente reacties
Tip: hoe kan je een foute Facebook posting me ...
Snapmail: zelf-vernietigende mails ...
De ene site om YouTube filmpjes naar MP3 om t ...
GDPR: Europa tracht de burger te beschermen ...
Robocops patrouilleren al in de straten ...
Zoeken met Google 


Reclame 

Volledig artikel

Zoeken wordt nooit meer zoals vroeger: heeft robots.txt nog zin?
Dat wij dingen aan Google kunnen vragen, is omdat zijn "spiders" dag na dag het web afspeuren en alle mogelijke teksten en websites indexeren. Die spiders worden daarbij geholpen door de robots.txt, die webmasters op hun website zetten. Dat is een simpel tekstbestand waarin de webmaster zet welke pagina's van zijn website wel en niet geÔndexeerd mogen worden. Pagina's die regelmatig ververst worden bijvoorbeeld wel, pagina's die bijna nooit veranderen niet bijvoorbeeld. Dat bespaart de server waarop de website staat computerkracht, en maakt het anderzijds voor de zoekmachines eenvoudiger om het web sneller en efficiŽnter te indexeren.

Uiteraard kan een zoekmachine die instructies negeren, maar robots.txt is uitgegroeid tot een soort van onofficiŽle overeenkomst tussen websites en zoekmachines: jij mag mijn content crawlen, en in ruil zend jij mij verkeer.

Maar met de opkomst van de Large Language Modellen, de basis voor de huidige AI-tools, werkt die overeenkomst niet meer. De meeste AI-bedrijven negeren gewoonweg die robots.txt. Het is immers geen wettelijk document. En wat meer is: waar de zoekmachines nog verkeer zenden naar de websites, doen de LLM's dat zelden of nooit.

Met andere woorden: moet er niets in de plaats komen van de robots.txt, dat uitgevers meer controle kan geven over wat geÔndexeerd mag worden, en waarvoor het gebruikt mag worden?
The Verge heeft hier een heel interessant artikel over;

https://www.theverge.com/24067997/robots-txt-ai-text-file-we ...
geef uw reactie hier

  
Archief per categorie

Nieuws
Niet genoeg data, niet genoeg chips, maa... 19/04
Logitech: Prompt Builder en muizen met A... 19/04
Google: EV laadpalen, Google Drive in da... 19/04
Wandeling van het Jaar in de provincie A... 19/04
Het is zover: je kan iOS apps van het we... 18/04
Kort: Watermerk voor AI bij Snap en filt... 18/04
Wat kan er fout gaan als GPT-4 beveiligi... 18/04
Apple laat emulators toe in App Store - ... 17/04
Samsung terug de grootste, maar de groot... 17/04
YouTube treedt nog strenger op tegen wie... 17/04
Meer artikels ....
Hardware
Meta wil de Quest in het klaslokaal... 18/04
Nieuwe interfaces bedenken: AI pin bewij... 17/04
Nieuwe ereaders van Rakuten Kobo... 12/04
Google Next: nieuwe Axion chips voor de ... 11/04
Nieuwe woordjes leren: JGEGLI... 10/04
Google: nieuw Find My Device netwerk... 08/04
Oura Ring Labs: experimentele functies... 04/04
Nieuw Web3 netwerk moet einde maken aan ... 03/04
Politie schiet GPS-trackers af om achter... 02/04
Nieuwe woordjes leren: UXL... 28/03
Meer artikels ....
Oor
Amazon Maestro: AI speellijst... 17/04
Podcast: Napleiten... 15/04
RIP Google Podcast... 03/04
Oproep: doneer je muziek streaming data... 02/04
Spotify: voortaan ook cursussen... 26/03
Neil Young keert terug naar Spotify... 15/03
Spotify lanceert muziekvideo... 14/03
Podcast: Something was wrong... 11/03
De stemmen van Assisen: de moord op Ingr... 06/03
Podcast: Zij is van mij... 05/03
Meer artikels ....
Site
EDUbox: educatieve informatie rond Data ... 19/04
Character AI: babbel eens met een histor... 18/04
History of Mathematics... 18/04
Kruidenspiraal... 17/04
Wisecut AI: video bewerken... 17/04
Forebears: namen... 16/04
Series heat... 16/04
Flight Radar... 15/04
TopoGuesser: verken de wereld... 15/04
Udio: AI app voor muziek creatie... 12/04
Meer artikels ....
Tip
Apple watch Faces: wat is het en hoe ins... 19/04
Google Photos update: leuke AI nieuwighe... 02/04
Netflix: ontdek meer titels... 20/03
Firefox: binnenkort tab previews... 18/03
Bekijk op je iPhone waar jij je foto s n... 13/03
Zo zet je Gemini als je standaard assist... 04/03
Zo maak je een avatar die je document vo... 28/02
Leren dankzij AI met gebruik van YouTube... 26/02
Wat moet je doen als je iPhone per ongel... 22/02
Fotografie: bewegingseffect... 09/02
Meer artikels ....
Software
LocalSend: bestanden verzenden... 19/04
AirChat: Twitter maar dan met spraak... 18/04
DxO PhotoLab: beeldbewerker... 17/04
Forest: tab manager... 16/04
Lawnchair: nu ook voor andere toestellen... 15/04
Geekbench: je apparaat toetsen... 12/04
Just Tact: chat app... 11/04
Stereo Tool: je muziek verbeteren... 10/04
FireAlpaca: beeldbewerker... 08/04
Jamulus: online jammen met vrienden... 05/04
Meer artikels ....
(c) www.netties.be 1.0 -- hosting & programmatie www.webdynamics.be (c)