Sony IMX500 und IMX501: Bildsensoren mit integrierten KI-Funktionen

Sony hat zwei neue Bildsensoren vorgetellt, die IMX 500 und IMX 501. Laut den Japanern handele es sich bei diesen „Intelligent Vision Sensors“, wie das Unternehmen selbst sie nennt, um die weltweit ersten Bildsensoren, die direkt KI-Features integrieren. Dadurch sollen sich Daten über Edge-AI besonders schnell verarbeiten lassen.

Jenes ermögliche es, bei der Nutzung von Cloud-Diensten die Latenzen bei der Datenübertragung zu verkürzen, Datenschutzvorgaben Rechnung zu tragen und den Energieverbrauch sowie die Kommunikationskosten zu senken. Die Sensoren sind nicht etwa für mobile Endgeräte gedacht, sondern für spezielle Kameras mit KI-Features, die etwa im Einzelhandel und Industrieausrüstungssektor Verwendung finden könnten.

Der Unterschied zwischen dem Sony IMX 500 und dem IMX 501 findet sich nur darin, dass es sich beim IMX 500 um den reinen Chip handelt. Die neuen Sensoren sind gestapelt („stacked“) aufgebaut und bestehen aus einem Pixelchip und einem Logikchip. Es seien eben laut Sony die weltweit ersten Bildsensoren, bei denen die künstliche Intelligenz zur Bildanalyse und Bildverarbeitung in den Logikchip bereits direkt integriert ist.

Das Signal, das der Pixelchip erfasst, wird durch die KI auf dem Sensor verarbeitet, sodass keine Hochleistungsprozessoren oder externen Speicher benötigt werden. Der Sensor gibt anstelle von Bildinformationen Metadaten aus (d.h. semantische Informationen zu den Bilddaten), was die Datenmengen reduziert und Datenschutzbedenken Rechnung trägt. Darüber hinaus ermöglicht die KI-Fähigkeit, Funktionen für ein breites Spektrum von Anwendungen bereitzustellen – etwa Echtzeit-Objektverfolgung mit KI-Verarbeitung.

Der Pixelchip ist laut Sony hintergrundbeleuchtet und verfügt über ca. 12,3 effektive Megapixel zur Erfassung von Informationen über einen weiten Betrachtungswinkel. Neben der herkömmlichen Bildsensor-Betriebsschaltung ist der Logikchip mit dem DSP (Digitaler Signalprozessor) von Sony ausgestattet, welcher die KI-Signale verbreitet, sowie einem Speicher für das KI-Modell. Diese Bauweise macht den Einsatz von weiteren Hochleistungsprozessoren oder externen Speichern überflüssig und eignet sich für Edge-AI-Systeme.

Da eben keine Bildinformationen ausgegeben werden, werden die Sicherheitsrisiken verringert, und der Datenschutz sei laut Hersteller gewährleistet. Zusätzlich zu dem Bild, das der konventionelle Bildsensor aufzeichnet, können die Benutzer je nach den Anforderungen und Einsatzzwecken auch andere Datenausgabeformate wählen. Dazu zählen die Ausgabe von Bildern im ISP-Format (YUV/RGB) und die Ausgabe bestimmter ROI (Region of Interest)-Bildbereiche.

Weiterhin erklärt Sony, dass die Benutzer die KI-Modelle ihrer Wahl in den eingebetteten Speicher schreiben und sie je nach ihren Anforderungen oder den Bedingungen am Einsatzort des Systems auch neu schreiben und aktualisieren können. Wenn beispielsweise mehrere Kameras, die diesen Sensor nutzen, in einem Ladengeschäft installiert seien, ließen sich mit einem einzigen Kameratyp verschiedene Standorte, Bedingungen, Zeiten oder Zwecke abdecken.

Wird die Kamera im Eingangsbereich installiert, können damit z. B. die Kunden gezählt werden, die das Geschäft betreten. Wird sie wiederum an einem Regal angebracht, kann damit erkannt werden, wo Waren fehlen. Ihr seht: Ist alles aber nicht so sehr für private Nutzer interessant, sondern für Geschäftskunden.

• Sony