Svelata una rete di app AI che creano deepfake a sfondo sessuale
Centinaia di app su Play Store e App Store nascondevano strumenti per generare deepfake sessuali sotto funzioni apparentemente innocue.
Un'indagine ha portato alla luce una rete nascosta di oltre 400 app che sfruttavano apparentemente innocue funzioni come editor di foto per animali, coach di workout o strumenti per imparare le lingue. In realtà, queste applicazioni celavano sofisticate interfacce segrete per la generazione di deepfake sessuali, accessibili solo attraverso particolari azioni da parte dell'utente.
Gli sviluppatori utilizzavano tecniche server-side che permettevano di mostrare all'utente una versione innocua oppure abilitare la funzione nascosta, in base a parametri come dispositivo, origine del download e posizione geografica. Le caratteristiche dei deepfake erano estreme, includendo template espliciti e scenari con contenuti minacciosi o violenti. Il sistema prevedeva l'acquisto di valuta digitale all'interno delle app, con transazioni gestite anche tramite Apple Pay e Google Pay, e la loro diffusione avveniva tramite pubblicità ingannevoli anche su piattaforme Meta.
La rete è stata collegata principalmente a sviluppatori cinesi e a KeLing Technology Limited. Le rimozioni da parte di Google e Apple sono arrivate solo dopo numerose segnalazioni: "Le app rispettavano inizialmente i nostri criteri, ma i comportamenti sono cambiati dopo la pubblicazione" ha dichiarato Apple. Tuttavia, la rapidità con cui questi strumenti si ripresentano indica le difficoltà di moderazione e il continuo adattamento del fenomeno, mentre l'Unione Europea si prepara a vietarli ufficialmente.
