Apples Kinderschutz-Maßnahmen: Kritik und Unsicherheit an allen Ecken und Enden
Das hatte man sich in Cupertino sicherlich anders vorgestellt. An Stelle von zahlreichen Schulterklopfern nach der Ankündigung verschiedener Maßnahmen für einen besseren Schutz von Kindern auf seinen Geräten und Plattformen erhielt Apple von beinahe allen Seiten Kritik. Während die Verbesserungen bei Siri und der Spotlight-Suche sicherlich willkommen sind, wird vor allem das pauschale Scannen von Fotos auf den Geräten auf kinderpronografische oder sexuell anzügliche Inhalte vor dem Upload auf iCloud Fotos bzw. beim Senden und Empfangen von Nachrichten über die Nachrichten-App von vielen Seiten extrem kritisch gesehen.
Einer der Kritikpunkte richtet sich dabei vor allem darauf, dass mit der Einführung dieser Technologien künftig auch Tür und Tor für Regime geöffnet werden, die von Apple nicht nur verlangen, Kinderpornos mit ihr zu erkennen, sondern auch anderweitige, beispielsweise regierungskritische Inhalte. Zum Start von iOS/iPadOS 15, macOS Monterey und watchOS 8 wird das Scannen von Fotos ausschließlich in den USA aktiviert sein und Apple hat inzwischen erklärt, dass man die Funktion nur nach eingängiger Prüfung in anderen Ländern freischalten wird.
Was grundsätzlich erstmal gut klingt, hat allerdings durchaus einen Haken. Nimmt man das Beispiel China, ist Apple bereits mehrfach vor den dortigen Regelungen auch gegen die eigene Überzeugung eingeknickt, ganz einfach weil man sich den riesigen chinesischen Markt nicht entgehen lassen kann. Was nun also, wenn von China auf Apple der Druck ausgeübt würde, dass man die Funktion dort einführen und auch auf andere Bereiche ausweiten solle oder andernfalls den Markt verlassen müsse? Für China wäre dies halb so wild, verfügt man schließlich über eine aufstrebende eigene Smartphone-Industrie. Für Apple hingegen wäre der (im schlimmsten Falle) Ausschluss vom chinesischen Markt ein herber Schlag.
Edward Snowden, der vielleicht bekannteste Whistleblower der Welt erklärte jüngst, dass Apple, trotz einer eigentlich begrüßenswerten Absicht, auf mit dem Scannen von Nutzerfotos eine großagelegte Überwachung der gesamten Welt auf den Weg bringen würde. Frei nach dem Motto: Wenn sie heute auf Kinderpornos scannen können, können sie morgen auf alles andere scannen.
No matter how well-intentioned, @Apple is rolling out mass surveillance to the entire world with this. Make no mistake: if they can scan for kiddie porn today, they can scan for anything tomorrow.
— Edward Snowden (@Snowden) August 6, 2021
They turned a trillion dollars of devices into iNarcs—*without asking.* https://t.co/wIMWijIjJk
Auch die angesehene Electronic Frontier Foundation kritisierte Apples Pläne. Obwohl diese sehr ausführlich dokumentiert und gut durchdachte seien, bleibt eine Hintertür immer noch eine Hintertür.
Weitere Kritik richtet sich auch gegen den Prozess des automatischen Scannens von Bildern generell. So ist es trotz allen Fotschritten beim Maschinenlernen nach wie vor möglich, dass es zu sogenannten "False-Positives" kommt. Apple hält dem entgegen, dass zunächst ein (nicht näher benannter) Schwellwert erreicht werden müsse, ehe ein Account auffällig wird. Und auch dann gibt es noch keine automatische Meldung, sondern zunächst ein manuelles Eingreifen von Apple, um die erkannten Übereinstimmungen bei Hashwerten mit kinderpornografischem oder sexuell anzüglichem Material zu verifizieren. Was zunächst vermutlich beruhigend gedacht war, hat jedoch weitere Bedenken nach sich gezogen.
So äußerten sich bereits Nutzer im Internet besorgt dazu, dass offenbar Apple-Mitarbeiter Zugriff auf erkannte Bilder erhalten. Bei den Inhalten könnte es sich allerdings auch schlichtweg um Nacktbilder oder ähnliches handeln, die sich erwachsene Partner zusenden, was heutzutage keine Seltenheit ist. Dass diese nach einem "False-Positive" möglicherweise Apple-Mitarbeitern zugänglich werden, muss in der Tat kritisch gesehen werden. Ähnliche Diskussionen gab es bereits bei der manuellen Auswertung von Siri-Sprachbefehlen über den HomePod. Auch in diesem Falle gab es in der Vergangenheit "False-Positives", wodurch Apple-Mitarbeiter Zugang zu Audiomitschnitten erhielten, die sie eigentlich nicht hätten hören sollen.
Die kolportierten Probleme mit Apples System haben inzwischen sogar dazu geführt, dass ein offener Brief veröffentlicht wurde, in dem verschiedene führende Industrieexperten, Datenschützer und Sicherheitsexperten von Apple verlangen, die geplanten Technologien nicht umzusetzen. Während man grundsätzlich Apples Bestreben für einen besseren Schutz von Kindern begrüßt, würden mit den Technologien Hintertüren auf den Systemen eingeführt, die die Datensicherheit der Nutzer fundamental unterwandern würden. Letzten Endes würden diese zudem auch den Nutzen einer Ende-zu-Ende Verschlüsselung aushebeln, da sie auf den Endgeräten der Nutzer ausgeführt werden, wo die verschlüsselte Übertragung nicht mehr greift. Neben Edward Snowden und Sicherheitsforscher Matthew Green, der Apples Pläne vorab verkündet hatte, haben bislang 19 Organisationen und 640 Personen den offenen Brief an Apple unterzeichnet.
Wer sich mit all dem nach wie vor unwohl fühlt, sei noch einmal daran erinnert, dass obwohl Apple die Funktionen mit iOS/iPadOS 15, macOS Monterey und watchOS 8 in diesem Herbst einführen wird, diese zunächst ausschließlich für die USA gelten werden. Sollten sie irgendwann auch hierzulande umgesetzt werden, hat man verschiedene Möglichkeiten, diese auszuschalten. So werden Bilder auf den Geräten nur dann gescannt, wenn man iCloud Fotos aktiviert hat. Bei mir war dies übrigens noch nie der Fall, weil ich es ganz einfach nicht mag, dass all meine Bilder ungefragt auf die Apple-Server hochgeladen werden. Stattdessen entscheide ich gerne selbst, welche meiner Fotos im Netz landen, wähle diese aus und lade sie dann manuell auf den Foto-Dienst Flickr hoch. Möchte man jedoch iCloud Fotos auch weiterhin nutzen und sollten die Funktionen auch nach Deutschland, Österreich, Schweiz und Co. kommen, wird man sich dem Scannen wohl oder übel beugen müssen, sollte Apple nicht doch noch einmal umdenken.
Bei dem Versand und dem Empfangen von Medien über die Nachrichten-App, gibt es ebenfalls verschiedene Rahmenbedingungen zu bedenken. Zunächst einmal ist es nicht so, dass nur iMessage-Nachrichten von Apple gescannt werden, sondern auch solche, die per MMS eingehen. Die Funktion betrifft also die Nachrichten-App auf dem Gerät und nicht den iMessage-Dienst. Sie greift zudem nur für Kinder unter 13 Jahren in einem iCloud-Familienaccount und muss von den Eltern explizit aktiviert werden. Sie ist also nicht von Apple standardmäßig aktiviert. Haben die Eltern die Funktion eingeschaltet, erhalten die Kinder und auch sie selbst eine Warnung, die jedoch von dem Gerät des Kindes direkt an das der Eltern gesendet wird. Weder Apple noch irgendwelche anderen Behörden erhalten in diesem Fall also eine Meldung. Grundsätzlich scheint es sich hierbei also um eine durchdachte und sinnvolle Funktion zu handeln, die allerdings auch nicht ganz frei von Kritik ist. Vor allem werden beispielsweise Jugendliche zwischen 13 und 18 Jahren nur bedingt durch sie geschützt.Dass die Kritik an dem Thema auch bei Apple inzwischen angekommen ist und für Unruhe unter den Mitarbeitern sorgt, zeigt ein internes Memo, das inzwischen ins Internet durchgesickert ist. Darin versucht Sebastien Marineau-Mes, seines Zeichens Software VP vei Apple zu beruhigen, dass man die Funktionen den Nutzern schlichtweg besser erklären müsse, um die "Missverständnisse" aus der Welt zu schaffen. Allein die Tatsache, dass man dies nicht bereits von vorn herein getan hat zeigt, dass manin Cupertino auf den Sturm der Kriti, der nach der Bekanntmachung aufgezogen ist, nicht vorbereitet war. Im Anschluss das komplette Memo im Original (via 9to5Mac):
Today marks the official public unveiling of Expanded Protections for Children, and I wanted to take a moment to thank each and every one of you for all of your hard work over the last few years. We would not have reached this milestone without your tireless dedication and resiliency.
Keeping children safe is such an important mission. In true Apple fashion, pursuing this goal has required deep cross-functional commitment, spanning Engineering, GA, HI, Legal, Product Marketing and PR. What we announced today is the product of this incredible collaboration, one that delivers tools to protect children, but also maintain Apple’s deep commitment to user privacy.
We’ve seen many positive responses today. We know some people have misunderstandings, and more than a few are worried about the implications, but we will continue to explain and detail the features so people understand what we’ve built. And while a lot of hard work lays ahead to deliver the features in the next few months, I wanted to share this note that we received today from NCMEC. I found it incredibly motivating, and hope that you will as well.
I am proud to work at Apple with such an amazing team. Thank you!
Dass das ganze Thema hochgradig sensibel ist, steht wohl außer Frage. Und für Apple ist es letzten Endes eine Gratwanderung. Während der Schutz von Kindern, wie ihn Apple mit den angekündigten Technologien anstrebt absolut zu begrüßen ist, steht auf der anderen Seite damit auch der Datenschutz der Nutzer, den man in Cupertino so sehr propagiert, auch wieder ein Stück weit in Frage. Ähnlich verhält es sich auch bei der Frage nach Hintertüren in Systemen zur allgemeinen Strafverfolgung, die Apple bislang kategorisch ablehnt. Im nun vorliegenden Fall weicht man jedoch von diesem Mantra ein Stück weit selbst ab.
Der Plan, der Kritik dadurch den Wind aus den Segeln zu nehmen, indem man die Technologien dem Nutzer genauer erklärt, dürfte darüber hinaus extrem schwierig werden. Ich habe mich in den vergangenen Tagen durch die von Apple veröffentlichten technischen Dokumentationen, Whitepaper und ähnlichem gewühlt und auch wenn ich sie weitestgehend denke verstanden zu haben, sehe ich mich nicht in der Lage, sie euch hier knackig und kompakt wiederzugeben. Zusammengefasst gilt es, Apple einen gewaltigen Vertrauensvorschuss bei diesem Thema zu geben. Und auch wenn dieser bei mir durchaus vorhanden ist, sollte man die Warnungen von Sicherheitsexperten, die die Auswirkungen und Umsetzungen sicherlich besser beurteilen können als ich, sehr ernst nehmen.
Im Endeffekt muss sich allerdings jeder selbst ein Bild machen. Hierfür stehe unter den folgenden Links verschiedene von Apple veröffentlichte Informationen zur Verfügung, die allerdings erstens nur in englischer Sprache vorliegen und zweitens teilweise sehr technisch sind:
- Technische Zusammenfassung der CSAM-Erkennung (PDF)
- Technische Überprüfung der CSAM-Erkennung durch Professor Benny Pinkas (PDF)
- Apples Webseite zum Thema Kinderschutz (englisch)
Wer des Englischen einigermaßen mächtig ist, dem empfehle ich zudem die Lektüre der Abhandlung meines Kollegen John Gruber, der auf seinem Blog Daring Fireball mit verschiedenen Missverständnissen und Unklarheiten zu den zugrundeliegenden Technologien aufräumt, dabei aber auch den kritischen Blick auf das Thema nicht verliert.
Trackbacks
Keine Trackbacks
Kommentare
Ansicht der Kommentare: Linear | Verschachtelt
Mausi am :
Das ist Amtsanmassung.
Anonym am :
Axel am :
Joachim am :
SOE am :
Ein Algorithmus, der nicht geprüft wird. (Apple verspricht das, angeblich zum Schutz vor Manipulationen)
Ein Mitarbeiter im Call Center, der die gefundenen Bilder gegencheckt und dann das Konto sperrt.
Apple, die einem nicht mal sagen, warum das Konto gesperrt ist.
Bei einer Hausdurchsuchung gehst du zum Anwalt, der sich auf die drei Tage beruft und mit dem Staatsanwalt spricht.
Bei Apple bettelst du dann in der Hotline?
Übrigens, die Netzsperren damals sollten ja auch nur gegen Kinderp*rn*s eingesetzt. Die waren nur in der Diskussion und schon kamen Forderungen von der GEMA damit auch angebliche Urheberrechtsverletzungen zu sperren.
Man muss wirklich fragen, was Apple sich dabei gedacht hat. Und dann kommt ein Marketinggewäsch von angeblichen Missverständnissen.
Wissen die überhaupt selber, was sie damit anstossen?
Pascal am :
Nordrocker am :
Niemand kann garantieren das diese \334berpr\374fung nahezu fehlerfrei arbeitet. Wie man bereits bei Microsoft nachvollziehen kann, funktioniert das anscheinend auch nie zu 100%. Da wurden schon etliche Accounts gesperrt ohne das die User wissen warum. Und auch auf Nachfrage gibt es keine Ausk\374nfte. Der gr\366\337te Teil dieser gesperrten Konten wurde wohl bisher auch nicht wieder freigegeben.
Und ich bef\374rchte das bei Apple \344hnliches passiert.
Und wer garantiert mir das sowas nicht schon passiert weil ich Fotos meiner Enkel in Badehose auf dem iPhone habe? Oder als die als Babys nackt in der Kinderbadewanne gesessen haben?
Wenn ich bedenke wie viel Geld in meinem Apple Account geflossen ist w\344re ich ziemlich angepisst wenn demn\344chst grundlos mein Account gesperrt wird weil eine KI weniger intelligent arbeitet als erwartet.
JOnny am :
Ohne Gerichtsurteil alle Daten weggenommen
Kein Apple pay
Kein Gr\374ner Pass
Kein Wallet, Flugticket, bezahlte Eintrittskarten
Keine Hotelreservierungen
Kein Telefonbuch
Kein Terminkalender
Alles gesperrt
Fck Appele
Warum zum Teufel haben appels Mitarbeiter einfach so Zugriff auf die Bilder um Kontrollen durchzuf\374hren
Wer eine Firma hat und keine Betriebsspionage hat sollte sofort Apple-Produkte wegwerfen
Lenny am :
Es geht dabei nicht nur um Kinder
Icke am :
Strafverfolgung durch Smartphone Hersteller \u261d\ud83c\udffb herzlich willkommen in der neuen Normalit\344t \ud83e\udd73
Lenny am :
Z.B.: Geschwindigkeits\374berwachung,...
Bald wird das Mikrofon freigeschaltet um alles mitzuh\366ren.
Und die beiden Kameras sind always on
Driffnix am :
In welcher Welt lebt ihr?
Was war mit WhatsApp? Was f\374r ein Aufschrei. Und???
Was war mit Shazam? Nix
Usw\u2026
Kommt damit klar das es in Zukunft in diese Richtung weiter gehen wird oder ihr werft eurer Smartphone und s\344mtliche elektronischen Ger\344te weg. Inkl elektrischer Zahnb\374rste. Thermomix. Auto. Denn da schaut der Zahnarzt, Ern\344hrungsberater, Versicherer auch drauf wie ihr putzt, kocht, fahrt.
Ein hoch auf Deutschland seine Datenschutz J\374nger und Privatsph\344re Junkies.
Es gibt nur eine L\366sung f\374r euch wenn ich mir eure Kommentare so durchlese.
Die steht weiter oben schon geschrieben.
Willkommen in der Steinzeit
SOE am :
Nein, tun sie nicht. Sie teilen die Kontaktdaten mit Facebook. Nicht die Inhalte der Nachrichten. Und schon gar nicht werden die vorab kontrolliert.
Wenn du den Unterschied nicht kennst, zwischen "Externer Entwickler missbraucht Kontaktdaten" und "Hersteller implantiert Überwachungsfunktion, die sich bisher nicht mal China getraut hat" dann kann man dir auch nicht helfen.
Ach so, "Deutschlandproblem"?
Wusste gar nicht das Snowden oder die EFF in Deutschland sitzen. Nur so zwei Beispiele von inzwischen Hunderten.
Bis auf so ein paar anonyme Kommentare wie deinen gibt es keinen(!) der das ganze gut findet. Selbst Behörden in den USA sehen das kritisch.
Und noch etwas:
Es ist ein Unterschied, ob man dagegen ankämpft in eine Richtung gezogen zu werden oder wie Du freiwillig den Weg gehst. Den du doch eigentlich gar nicht gehen willst.
Icke am :
Axel am :
Und nein, es geht hier \374berhaupt nicht um Kinderpornographie.