Apple Intelligence: Apple stellt API für Onscreen-Awareness von Siri zur Verfügung

Wir informierten euch nach Erscheinen der ersten Beta von iOS 18.2 darüber, dass Siri in der Lage ist, auf Wunsch die Inhalte eures Bildschirms zu sehen. Das ist notwendig, damit sie euch bei bestimmten Aktionen helfen kann.

Mit der neuesten Beta von iOS 18.2 hat Apple auch eine API für Entwickler verfügbar gemacht, damit diese genutzt werden kann, um die Inhalte der eigenen Apps mit Siri teilen zu können. In der Beschreibung der API heißt es:

Wenn ein Benutzer eine Frage zu Bildschirminhalten stellt oder eine Aktion darauf ausführen möchte, können Siri und Apple Intelligence den Inhalt abrufen, um auf die Frage zu antworten und die Aktion auszuführen. Wenn der Benutzer dies ausdrücklich anfordert, können Siri und Apple Intelligence Inhalte an unterstützte Dienste von Drittanbietern senden. Beispielsweise könnte jemand eine Website aufrufen und Siri verwenden, um eine Zusammenfassung bereitzustellen, indem er einen Satz wie „Hey Siri, worum geht es in diesem Dokument?“ sagt oder eintippt.

In der aktuellen Beta von iOS 18.2 kann man Siri mit der verfügbaren ChatGPT-Integration bereits nach Bildschirm-Inhalten befragen. Siri würde auf Anfrage dann jedoch einen Screenshot machen und diesen nach Bestätigung des Nutzers mit ChatGPT teilen. Der Screenshot wäre bei Nutzung der API nicht mehr notwendig.

Die Verfügbarkeit der API ist die Voraussetzung dafür, um die gezeigten komplexen Aktionen zu ermöglichen, die Siri ab dem nächsten Jahr können soll.

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.