www.netties.be

Home

Vandaag

Nieuws | Hackers kunnen opzettelijk valse informatie in trainigsmodellen inplanten en vergiftigen zo voor eeuwig de output

Gepubliceerd op: 2024-09-26

In het vorige artikel kon je lezen over een tool zoals die van Microsoft of Google om de output van een AI op hallucineren te controleren. Dat een dergelijke tool broodnodig is, mag dit artikel bewijzen.

Een beveiligingsonderzoeker, ene Johann Rehberger, heeft namelijk recent een zwakke plek ontdekt in ChatGPT. Hackers die daarvan misbruik maken, kunnen valse informatie en kwaadwillende instructies inbouwen in de langetermijn geheugeninstellingen van een gebruiker. Het is namelijk zo dat OpenAI informatie uit vorige gesprekken met de gebruiker opslaat, en die als context gebruikt voor alle daarop volgende gesprekken. De LLM kan zo te weten komen hoe oud een gebruiker is, zijn gender, en veel meer, zodat de gebruiker die info niet telkens opnieuw moet vermelden bij elk gesprek.

Hij meldde dit aan OpenAI, maar die deed deze bevinding af als gewoon een safety probleem, dus technisch gezien niet echt een beveiligingsprobleem.

Dus deed Rehberger wat een goede onderzoeker in een dergelijk geval moet doen: hij creëerde een proof-of-concept misbruik van de zwakke plek. Met behulp van valse e-mails, blog postings en documenten slaagde hij erin om ChatGPT erin te laten geloven dat hij 102 jaar oud was, in de Matrix woonde, en dat de aarde plat was.

Een intrigerend verhaal, waarover je meer leest bij Ars Technica, met heel veel interessante commentaren op dit bericht.

(1) https://arstechnica.com/security/2024/09/false-memories-planted-i...

Terug naar het overzicht

Nieuws

Hardware

Oor

Site

Tip

Software

Bekijk hier de oudere artikels

Ons archief is wellicht het meest uitgebreide overzicht...

Alle rechten voorbehouden aan www.netties.be (c) 2024 - v50 - voor suggesties en vragen gebruik ons .

Design en programmatie by PDL