Die persönlichen Assistenten des KapitalsUnderstanding Digital Capitalism III | Teil 7

19.2.2018 • Gesellschaft – Tect: Timo Daum, Illustration: Susann Massute

Wie verhält es sich denn nun wirklich mit dem Bermuda-Dreieck aus KI, Überwachung und der plattformkapitalistischen Verwertung? Die Big Player der Internet-Ökonomie versprechen mit der Sprachsteuerung und den Assistenten ihren Kunden Komfort und ein einfacheres Leben – dafür muss man in Kauf nehmen, dass Siri, Alexa, Cortana und der Google Assistant immer zuhören. Ist das der Anfang vom Ende, und sitzen nicht nur das Silicon Valley, sondern längst auch schon die Geheimdienste virtuell bei uns auf dem Sofa? Oder geht hier (noch) alles mit rechten Dingen zu? Es ist kompliziert, wie Timo Daum weiß. Derweil steht fest: Die Schnittstelle der smart durchkapitalisierten Zukunft ist das offene Ohr.

Was bisher geschah

Zuletzt ging es in dieser Reihe um Chinas massive Bemühungen, mit Hilfe von Künstlicher Intelligenz sowohl ökonomisch als auch politisch in eine neue Ära einzusteigen: KI-Anwendungen auf offenen Plattformen werden so zur Schlüsseltechnologie für Chinas Wende hin zu einer Netzwerk-Ökonomie. Die kommunistische Partei erhofft sich zudem eine veritable Kulturrevolution: Mit Social Scoring sollen die Chinesinnen und Chinesen in dieser neue Phase kontrolliert, überwacht und diszipliniert werden. Das erwünschte emsige Streben nach der eigenen Fünf-Sterne-Bewertung droht zum Feedback-Loop und kontrollgesellschaftlichen Albtraum zu werden.

Gesichtserkennung

Doch auch bei klassischen Policing-Techniken kommt KI bereits zum Einsatz. In Berlin läuft derzeit am Bahnhof Südkreuz ein Feldversuch mit der automatischen Gesichtserkennung. Hier werden bislang jedoch eher bescheidene Ergebnisse erzielt, weil: Es ist einfach zu wenig los. Ganz anders wiederum in China: Die Algorithmen sind dort besser, weil sie mit viel mehr Daten trainiert werden können – es gibt weniger datenschutzrechtliche Bedenken. Chinesische Unternehmen haben Zugang zu einer Fülle von Videomaterial, das weltweit einmalig ist. Gesichtserkennungs-Software von chinesischen Startups, etwa die von SenseTime, erzielen bereits sehr hohe Trefferquoten. Xu Li, CEO von SenseTime, gab gegenüber der Financial Times zu Protokoll, bereits 500 Millionen Gesichter im Auftrag von Kunden überprüft und die entsprechenden Daten verarbeitet zu haben. Die Plattform heißt SenseFace und wird auch mit Erfolg von der Polizei eingesetzt: Mithilfe der Software war es einer einzigen Polizeidienststelle innerhalb eines Monats möglich, 69 Verdächtige festzunehmen. Neben einer Hand voll Beamter, die Daten von CCTV-Kameras auswerten, kommen neuerdings vor allem Beamtinnen mit modifizierten Sonnenbrillen zum Einsatz, die an Google Glass erinnern: Diese sind mit einer Datenbank verbunden und gleichen automatisch Gesichtsprofile mit denen von Verdächtigen ab.

Siri, Cortana, Alexa: Der Auftritt der digitalen Assistenten

2011 integrierte Apple Siri in das iPhone 4S. Das Technologie-Unternehmen hatte sich die auf Sprachsteuerung basierende KI zugekauft und nicht etwa selbst entwickelt. Der Assistent war zu dieser Zeit konkurrenzlos und behielt diese Stellung für mehrere Jahre. Ein Jahr später zog Google mit dem Android-Betriebssystem nach und lancierte seinerseits einen Assistenten – zunächst unter dem Namen Google Now, später dann als Google Assistant. Drei Jahre später tauchte dann Microsofts Cortana auf den Markt auf und letztes Jahr schließlich Samsungs Bixby.

Amazon gab im Jahr 2016 mehr für Forschung und Entwicklung aus als der Volkswagen-Konzern und verdrängte ihn vom ersten Platz.

Die meiste Aufmerksamkeit in den Medien und der öffentlichen Wahrnehmung bekommt allerdings mittlerweile Alexa von Amazon – Ende 2014 vorgestellt. Obwohl Alexa nur in wenigen Sprachen nativ verfügbar ist, konnte sich Amazon mit der hauseigenen Technik eine Vormachtstellung erkämpfen, auch weil man die Plattform für alle interessierten OEMs bereitwillig geöffnet hat. Und auch dank einer massiven Werbekampagne und beispiellosen Anstrengungen im Bereich Forschung und Entwicklung. Der Onlinehändler Amazon gab im Jahr 2016 mehr für F&E aus als der Volkswagen-Konzern und verdrängte ihn vom ersten Platz, den dieser fünf Jahre lang innehatte.

Der MIT-Journalist George Anders berichtete kürzlich von einem Treffen mit dem Leiter der KI-Abteilung von Amazon, Rohit Prasad. Auf die Frage, warum er so viele Leute brauche und wann sein Forschungsteam komplett sein würde, antwortete Prasad: „Ich lache über jedes Detail dieser Frage.“ Tausende Menschen arbeiten intensiv an der Optimierung von Spracherkennung, Sprachgenerierung sowie Marketingkonzepten für die neuen Geräte, die auf natürlicher Sprach-Interaktion beruhen. Dennoch bot die Karriereseite von Amazon kürzlich 1.100 weitere Alexa-Jobs an, darunter 215 Slots für Spezialisten des maschinellen Lernens.

Die enge Verzahnung von KI-Anwendungen, deren Überwachungsaspekt und plattformkapitalistische Verwertung beschäftigt uns in dieser und in der nächsten Folge von »Understanding Digital Capitalism«. Denn es ist kein Zufall, dass all dies von den Großen der Internet-Ökonomie seit einigen Jahren mit großem Aufwand vorangetrieben wird. Sie stellen die nächste Etappe des Plattform-Kapitalismus dar: Nach Big Data kommt als logische Folge die mit Technologien künstlichen Lernens ausgestattete Software, die User-Daten in einem Feedback-Loop zur Optimierung eben jener Services nutzt, die diese Daten erst generieren. Sprachanalyse und natürliche Sprachausgaben werden dabei zum vorrangigen Interface. Oder wie es das technologiekritische Kollektiv Capulcu formuliert: „Die Schnittstelle der smart durchkapitalisierten Zukunft ist das offene Ohr.“

Die sprachbasierte KI für das Heim hat sich für Amazon zu einem großen Geschäft entwickelt und wird zunehmend zu einem strategischen Schlachtfeld mit den Mitbewerbern: Google, Apple, Samsung und Microsoft. Was als Plattform für eine bessere Jukebox begann, ist für Amazon schon längst etwas Größeres geworden: Der Alexa-betriebene Echo-Zylinder und der kleinere Dot beinhalten ein System künstlicher Intelligenz, das auf menschlichen Daten aufbaut und ständig daraus lernt.

„Bequemlichkeit ist ein Risiko“

„Was dem Nutzer den Alltag zunehmend erleichtern soll, ist für die Privatsphäre eine Gefahr.“ (Edward Snowden)
Die Besucherinnen und Besucher des JBHOne, dem IT-Kongress der Fiducia AG, einem auf Banking-Software spezialisierten mittelständischen Unternehmen, staunten nicht schlecht, als zur Eröffnung ein Redner zugeschaltet wurde, der in IT-Kreisen Kult-Status genießt: Edward Snowden. Der 35-jährige Ex-Geheimdienstler hatte mit seinen Enthüllungen die Ausmaße der weltweiten Überwachungs- und Spionagenetze der USA und die willfährige Kooperation von Telekommunikationsunternehmen und Online-Plattformen mit den Behörden offenbart. Der seitdem im russischen Exil lebende Snowden warnte das Konferenzpublikum eindringlich vor den neuen digitalen Assistenten:

„Viele von uns sind dabei, freiwillig Abhörgeräte bei sich zu Hause aufzustellen, weil die etwas mehr Bequemlichkeit versprechen. Für George Orwell wäre das völlig unverständlich – hatte er doch in ‘1984’ davor gewarnt, dass die Bürgerinnen und Bürger einer einstmals freien Gesellschaft von Regierungen dazu gezwungen werden könnten, ebensolche Geräte in ihren Behausungen aufzustellen. Konstantes Zuhören, keine Intimität mehr – was für vorangegangene Generationen noch selbstverständlich war.“

Edward Snowden sieht die neuen Devices mit ihren smarten Assistenten als ultimatives Überwachungsszenario. Er zitiert weiterhin Aldous Huxley, der in „Schöne Neue Welt“ vorhergesehen hatte, das die Menschen ihre elementarsten Rechte für Bequemlichkeit und Unterhaltungsbedürfnis bereitwillig aufgeben.

Spione zu Hause

Amazons Echo zum Beispiel, ein Lautsprecher mit sieben Mikrofonen, ist ständig auf Horchposten. Dank der Mikrofone kann es Kommandos auch dann verstehen, wenn im Hintergrund laut Musik läuft – die Umgebungsgeräusche werden herausgefiltert. Amazons Echo kann sogar unterschiedliche Menschen an ihre Stimme erkennen, zu diesem Zweck werden personalisierte Profile gespeichert. Über Alexa können Bestellungen aufgegeben, beispielsweise Lebensmittel geordert werden – es kommt also ein Vertrag zustande, bei dem geklärt sein muss, wer diesen „unterschreibt“. Es ist also möglich, nicht nur Gespräche selbst bei hoher Umgebungslautstärke zu verstehen, sondern das Gesagte kann auch einzelnen Personen individuell zugeordnet werden – das schlägt jede konventionelle Abhörtechnik um Längen.

Allerdings verarbeiten die Geräte – zumindest offiziell – nur Audio, wenn die Software direkt angesprochen wird, alle Umgebungsgeräusche werden Tag und Nacht nach einem Codewort durchsucht. Erst wenn Nutzer sie mit „Alexa“ („Ok Google“ und „Hey Siri“ bei der Konkurrenz von Google und Apple) aktivieren, werden die Aufnahmen gespeichert und verarbeitet. Das gilt auch nur für den unmittelbar nach dem Stichwort folgende Anweisung, etwa: „Alexa, wie spät ist es?“ Die in diesem Szenario mitschwingende Totalüberwachung mag unrealistisch scheinen – der Audio-Datenstrom besteht überwiegend aus Datenmüll: Musik, Gespräche, Schnarchen, Umgebungsgeräusche etc. Die User-Daten, die die Plattformen über die Benutzung von Online-Angeboten und Smartphone-Apps erhalten, sind dagegen viel schlanker und auch leichter nutzbar.

„Für die Firmen ist das Risiko viel zu groß.“

Der SZ-Autor Marvin Strathmann führt ein weiteres Argument an, um die Überwachungsangst zu relativieren: „Wenige Unternehmen werden so misstrauisch beäugt wie Amazon und Google. Neben kritischen Verbraucher- und Datenschützern sind vor allem fähige Hacker ständig auf der Suche nach Sicherheitslücken und Daten, die ohne Einverständnis der Nutzer übertragen werden. Für die Firmen ist das Risiko viel zu groß: Sollte ein IT-Sicherheitsforscher herausfinden, dass Millionen Menschen heimlich ausspioniert werden, wäre sämtliches Vertrauen schlagartig verspielt.“

OK, Gut gegurgelt

Das Szenario versehentlicher Aufnahmen ist ebenfalls breit diskutiert worden. „Hallo Alexander“ oder „OK Gut gegurgelt“ können die Software triggern. Dann zeichnen die Lautsprecher Geräusche und Unterhaltungen auf, die nicht für sie bestimmt sind. Auch versehentliche Amazon-Bestellungen mit Alexa, die schon zu skurrilen Situationen geführt haben, sind hier zu nennen. Zu einiger Berühmtheit gelangte ein kleines Mädchen aus Kalifornien, dem es gelang, mit dem Satz: „Alexa, order me a dollhouse“, ein solches bei Amazon zu bestellen. Über dieses Ereignis wurde daraufhin breit berichtet, unter anderem im lokalen Fernsehen „California television channel CW-6“, was zu einer regelrechten Kauforgie führte: Der obige Satz wurde von den Nachrichtensprechern zitiert, woraufhin Echo-Devices in den Haushalten der Zuschauerinnen und Zuschauer ihrerseits zur Bestellung schritten.

Alexa ist nicht unsere Assistentin – Sie ist die Agentin Amazons

Die größte Bedrohung für die Privatsphäre sind wohl Geheimdienste und Behörden, die sich ebenfalls für die Audiodaten interessieren. Die von Edward Snowden aufgedeckten Abhörpraktiken der NSA haben eindrücklich gezeigt, dass auch die Überwachungsbehörden in Zeitalter von Big Data keine Angst vor großen Datenmengen mehr haben. Was in der analogen Spionage-Zeit noch undenkbar war, als selbst das Abhören einer einzigen Zielperson extrem mühselig, aufwändig, personalintensiv und qualitativ fragwürdig war, ist heute die Default-Option: Alle Informationen werden verarbeitet. Adieu Stichprobe, hallo Volltextsuche!

Darauf zu vertrauen, in dieser immensen Datenmenge unterzugehen, unsichtbar zu werden, also nicht aufzufallen, ist heutzutage illusorisch.

Und davon auszugehen, dass die Beschränkungen, die die Hersteller sich selbst auferlegen, tatsächlich eingehalten werden, ist zumindest fragwürdig. Der Tech-Blog „The Intercept“ berichtete jüngst, die NSA arbeite schon länger an einer Spracherkennung, mit der man etwa verdächtige Personen finden könne. Bei Ermittlungen in einem Mordfall in den USA hat Amazon im März alle Audiodaten eines Echo-Geräts an die Polizei übergeben – immerhin nach Zustimmung des Verdächtigen.

Die smarten Assistenten sind nicht nur Agenten der Firmen, denen sie gehören, und unsere persönlichen Assistenten. Der Schweizer Kultur- und Medienwissenschaftler Felix Stalder stellte auf der letztjährigen re:publica-Konferenz Siri die Frage:„How to jailbreak my iPhone?“ Die Antwort spricht Bände und macht klar, wessen Dienerin sie ist: „I can’t recommand that.“ Hier wird deutlich, dass sie nicht unsere Assistenten sind, sondern in erster Linie ihren wahren Herren gefügig sind. Man könnte sie auch fragen: „What would you do if the NSA asked you about details of my personal life?” Wie wohl die Antwort lauten würde?

In zwei Wochen nehmen wir Geschichte, Technik und Geschäftsmodelle der Assistenten genauer unter die Lupe und versuchen, die KI-Audio-Assistenten als ökonomische Stufe 2 des Plattformkapitalismus zu fassen.