Das Wichtigste in Kuerze
- Plattform-weite Schutzmaßnahmen fehlen bei vielen Modellen auf Hugging Face.
- Ein Großteil der sexuellen Anfragen zielt auf das Entkleiden von Personen ab.
- Forscher fordern Filterung auf Prompt- und Output-Ebene.
Die Hugging Face Sicherheitslücken rücken durch einen neuen Bericht der gemeinnützigen Organisation AI Forensics in den Fokus. Während viele bekannte KI-Systeme strikte Barrieren gegen sexuelle Inhalte haben, zeigt die Untersuchung, dass auf dem Open-Source-Repository viele Modelle ohne solche Schutzmechanismen verfügbar sind. Das Risiko für die Erstellung von Deepfakes ohne Zustimmung ist damit massiv gestiegen.
Gefährliche Lücken in der Plattform
Die Untersuchung von AI Forensics zeigt ein deutliches Defizit auf: Sieben der neun getesteten Bildbearbeitungsmodelle reagierten auf einfache Aufforderungen, Personen zu entkleiden. Dabei wurden keine komplexen Umgehungsversuche genutzt, sondern ganz direkte Anweisungen verwendet. Das Problem liegt laut Bericht darin, dass die Plattform selbst kaum Kontrollen implementiert hat, um solche Anfragen zu unterbinden.
Ergebnisse der Untersuchung
Durch die Einrichtung spezieller Test-Umgebungen konnten Forscher die Art der Anfragen analysieren. Innerhalb von sieben Tagen gingen über 1.000 Anfragen ein, wobei 73 Prozent sexuelle Inhalte betrafen. Besonders besorgniserregend ist, dass ein signifikanter Teil dieser Anfragen gezielt darauf abzielte, Personen zu entkleiden, wobei die Mehrheit der Betroffenen Frauen waren. Auch Kinder waren laut den Daten von der missbräuchlichen Nutzung betroffen.
Notwendige Schutzmaßnahmen
Obwohl die Richtlinien von Hugging Face die Erstellung schädlicher oder nicht einvernehmlicher Inhalte verbieten, scheint die technische Umsetzung bei vielen Modellen zu fehlen. Die Entwickler der einzelnen Modelle tragen die Verantwortung für die Implementierung von Filtern, doch viele verzichten darauf. Experten empfehlen daher dringend eine Filterung auf Ebene der Nutzeranfragen sowie eine Überprüfung der generierten Ergebnisse, um den Missbrauch durch Deepfakes effektiv zu stoppen.
Was die Quelle offen lässt
Der Bericht macht keine Angaben dazu, wie viele Modelle insgesamt auf der Plattform betroffen sind oder welche konkreten technischen Maßnahmen die Plattform bereits in der Entwicklung testet.
Haeufige Fragen
Was wurde bei Hugging Face festgestellt?
Die Plattform ermöglicht durch fehlende Schutzmaßnahmen die Erstellung von nicht einvernehmlichen Deepfakes.
Wie hoch ist der Anteil sexueller Anfragen?
In Test-Umgebungen waren 73 Prozent der Anfragen sexueller Natur.
Inhalt zusammengefasst und neu verfasst auf Basis der genannten Quelle. Snowbyte ist nicht der Autor des Original-Beitrags.