Diese Erweiterung zeigt, wie Facebook deine Fotos sieht
von caschy | 8 Kommentare
Interessante Spielerei, die ich neulich bei Reddit fand. „Show Facebook Computer Vision Tags“ ist eine Open Source-Erweiterung für Google Chrome, die die von Facebook vergebenen Schlagworte für Bilder sichtbar macht. Die habt ihr vielleicht schon einmal gesehen, wenn ein Bild nicht richtig angezeigt wurde. Google, Apple, Amazon und natürlich auch Facebook untersuchen automatisch Fotos auf Inhalte. Facebook benutzt dafür Deep ConvNet, ein neuronales Netzwerk. Bekannte Beispiele für nicht mit der Thematik Vertraute liefert da Google Fotos ganz schön, sucht man in seinen Bildern nach diversen Dingen, dann findet man diese – weil Googles Technologie „erkannt“ hat, was auf dem Bild zu sehen ist.
Das macht auch Facebook und die Erweiterung „Show Facebook Computer Vision Tags“ zeigt eben an, wie euer Bild erkannt wurde, bzw. welche Schlagworte Facebook vergeben hat. Das funktioniert in vielen Fällen auch, allerdings muss man dafür die Oberfläche von Facebook in den Einstellungen auf Englisch einstellen. Ich hab euch mal ein konkretes Beispiel hier in den Beitrag geflankt, nämlich ein Bild von mir, allerdings bearbeitet, sodass man meinen Sohn Max nicht erkennen kann.
Facebook erkennt zumindest eine Person. Zudem sieht man, dass eine Person lacht, steht – und Himmel und Bäume sind draußen auch zu erkennen. Bei Google Fotos kann man wunderbar nach einzelnen Dingen suchen, bei Facebook könnte man auch argumentieren, dass es Menschen mit Screenreadern helfen könnte.
Diese könnten so eine Beschreibung des Bildes bekommen – auch wenn das Ganze natürlich noch in den Kinderschuhen steckt. Die Beschreibung der Erweiterung findet ihr auch auf der GitHub-Seite des Entwicklers, hier hat er einige Infos und den Quelltext zur Verfügung gestellt.
https://chrome.google.com/webstore/detail/show-facebook-computer-vi/elafbihhbfmfihdflghclaclcilcnmie
Wird geladen ...
Hab es da nicht schon mal eine Erweiterung für Facebook, die einiges an Informationen angezeigt hat, teilweise nur durch eigene CSS-Regeln? Ich meine, diese Tags hätten als alt-Attribut an den Bildern gestanden, was auch erklären würde, warum man diese sieht, wenn das Bild nicht geladen werden kann. Kannte ich bis jetzt aber nur für Facebook.
Seit wann ist das aktiv? Ich habe das vor kurzem auch überraschenderweise festgestellt. Bei mir (Facebook aber auf Englisch) steht das mit im Quelltext. Ich gehe daher davon aus, dass man das dann auch mit CSS etc. anzeigen könnte (z.B. Greasemonkey).
Ich finde dieses Tagging ja an sich sehr praktisch, auch bei Google Photos. Aber nehmt mit den Aluhut nicht übel – ich will nicht einfach alle meine Fotos irgendwohin laden, wo ich nicht weiß, ob ich das wieder raus kriege.
Deswegen würde es mich wirklich interessieren, ob es solche neuronalen Netze auch schon zur Offline-Verwendung gibt? Apple hat das ja angeblich auch lokal auf den Endgeräten angeboten. Ich würde mich über eine Art „Picasa“ freuen, die Inhalte (und Gesichter) „einfach“ bei mir lokal erkennt. Gesichter trainiere ich ja gerne dafür.
„bei Facebook könnte man auch argumentieren, dass es Menschen mit Screenreadern helfen könnte.“ wieso könnte? Die Beschreibung steht im ALT-Tag des img-Elements, das das Bild darstellt. Es wird von Facebook also exakt dafür verwendet, was gar nicht so abwegig ist.
Hier ein Link zu einer Version die auch mit deutschem FB funktioniert:
https://github.com/nicolasraube/show-facebook-computer-vision-tags
@THO Zumindest Gesichter erkennen kann das Programm Digikam, welches praktischerweise ein Foto-Organisationstool ist. Die Erkennungsrate könnte aber noch nicht das Nonplusultra sein.
@Schröppke Vielen Dank. Das werde ich mir mal anschauen – vielleicht wird das in Zukunft ja auch besser. Es sollte nur nicht eine totale Katastrophe sein …
@Reen: Sowas *ist* für den User auch durchaus praktisch. Dass die Anbieter damit, vielleicht auch vorrangig, andere Ziele verfolgen, mag ja sein. Aber selbst das von dir genannte Beispiel, noch besser auf den Nutzer zugeschnittene Werbung zu präsentieren, kommt diesem zugute. Das ist jedenfalls besser, als irgendeine x-beliebige Werbung zu bekommen, die einen überhaupt nicht anspricht. Und letztlich ist es ja auch kein Geheimnis, dass solche Infos auch genutzt werden, um Werbung zu platzieren. Und das finde ich auch keinster Weise verwerflich.
Gibts das auch für die Safari Developer Version?