Vandaag
Nieuws
Hardware
Software
Site
Tip
Oor
Archief nieuwsbrief
Abonneer
☰
Home
Vandaag
Nieuws |
Hackers kunnen opzettelijk valse informatie in trainigsmodellen inplanten en vergiftigen zo voor eeuwig de output
Gepubliceerd op: 2024-09-26
In het vorige artikel kon je lezen over een tool zoals die van Microsoft of Google om de output van een AI op hallucineren te controleren. Dat een dergelijke tool broodnodig is, mag dit artikel bewijzen.
Een beveiligingsonderzoeker, ene Johann Rehberger, heeft namelijk recent een zwakke plek ontdekt in ChatGPT. Hackers die daarvan misbruik maken, kunnen valse informatie en kwaadwillende instructies inbouwen in de langetermijn geheugeninstellingen van een gebruiker. Het is namelijk zo dat OpenAI informatie uit vorige gesprekken met de gebruiker opslaat, en die als context gebruikt voor alle daarop volgende gesprekken. De LLM kan zo te weten komen hoe oud een gebruiker is, zijn gender, en veel meer, zodat de gebruiker die info niet telkens opnieuw moet vermelden bij elk gesprek.
Hij meldde dit aan OpenAI, maar die deed deze bevinding af als gewoon een safety probleem, dus technisch gezien niet echt een beveiligingsprobleem.
Dus deed Rehberger wat een goede onderzoeker in een dergelijk geval moet doen: hij creëerde een proof-of-concept misbruik van de zwakke plek. Met behulp van valse e-mails, blog postings en documenten slaagde hij erin om ChatGPT erin te laten geloven dat hij 102 jaar oud was, in de Matrix woonde, en dat de aarde plat was.
Een intrigerend verhaal, waarover je meer leest bij Ars Technica, met heel veel interessante commentaren op dit bericht.
(1)
https://arstechnica.com/security/2024/09/false-memories-planted-i...
Deel op
Deel per
Terug naar het overzicht
Nieuws
Meta Connect: AI overal
Meta Connect: de hardware
Video Editor in Google Photos krijgt indrukwekkende nieuwe mogelijkheden
AI Safety tool van Microsoft moet fouten in AI output opsporen en zelfs verbeteren
Hackers kunnen opzettelijk valse informatie in trainigsmodellen inplanten en vergiftigen zo voor eeu
Google Earth: nu ook met beelden die teruggaan tot WWII
Voor ontwikkelaars: Fair Source en kies een veilige locatie voor je projecten
Google Gemini: steeds meer integraties
X blokkeert het blokkeren
X: scherpe daling van aantal dagelijkse gebruikers in VK maar Community Notes blijven het goed doen
Naar het Nieuws-archief...
Hardware
Nieuwe woordjes leren: Sleepfluencers
Kan het dreamteam de dream hardware bedenken voor AI?
Nieuwe woordjes leren: AI-RAN
Gevaar: probleem in de Arc browser en probleem in sommige Anker apparatuur
Google geeft subsidies voor een satellietsysteem dat bosbranden sneller kan opsporen
Niet alleen Neurolink is bezig met hersen-gestuurde input
Snap Spectacles 5: nieuwe slimme bril enkel voor ontwikkelaars
Belangrijk bij de nieuwe hardware van Apple: ook medische toepassingen
TVbox Telenet: niet elke verandering is vooruitgang, voor iedereen
Nieuwe vormfactoren voor je hardware van Honor, Lenovo en Huawei
Naar het Hardware-archief...
Oor
AI for Humans
Qantuuuhhm podcast: meer weten over technologie
Podcast: Roadtrip naar Auschwitz
Spotify: managed accounts
Audible wil stemacteurs vragen om AI te trainen op hun stem
Podcasts: lang of kort?
Podcast: Something was wrong
Podcast: Kalm met muziek
Apple maakt het gemakkelijker om je playlis naar YouTube over te zetten
BBC 4 Podcast: A very British cult
Naar het Oor-archief...
Site
Waarom is er geen brug die Europa en Afrika verbindt?
Diff Text: tekstvergelijking
Elke dag vakantie: altijd vakantiestemming
Scriptgirl: nieuwtjes over tv en streaming
Vogels kijken
Cursor: programmeren
ChordHelper: akkoorden
Feedmio: feedback verzamelen
Bookselect: persoonlijke aanbevelingen
MyLens.ai: YouTube video's sneller doorgronden
Naar het Site-archief...
Tip
Zo kan je de aanbevelingen van Netflix resetten
Zo schakel je de advertenties uit in het Startmenu van Windows 11
Notebook LM maakt voor jou een podcast
Nieuwe Workspaces module in Microsoft Power Toys: lanceer meerdere apps tegelijkertijd
Je Wi-Fi wachtwoord vergeten? Zo kan je het terugvinden
De voordelen van een e-reader
Pas ook FIFO toe in je huishouden
Hoe kan je Microsoft Copilot draaien op oudere Windows versies?
Tip: Slimmer werken met Google Tasks
Voor webmasters: het gebruik van H heading elementen
Naar het Tip-archief...
Software
OLED Guard: je scherm beschermen
Buster: extensie voor Google Chrome die voor jou de Captcha oplost
Qooli Time Tracker
Document to Speech: teksten voorlezen
Done: minimale weekplanner
Phonitor: maak van oude toestellen een beveiligingscamera
SetApp: alternatieve app voor Europese iPhone gebruikers
AltAppSwitcher
Wise Buys: voor fan collecties
InstaNote: spreek je notitie in (iPhone)
Naar het Software-archief...
Bekijk hier de oudere artikels
Ons archief is wellicht het meest uitgebreide overzicht...
Alle rechten voorbehouden aan www.netties.be (c) 2024 - v50 - voor suggesties en vragen gebruik ons
contactformulier
.
Design en programmatie by PDL