Diese Erweiterung zeigt, wie Facebook deine Fotos sieht

Interessante Spielerei, die ich neulich bei Reddit fand. „Show Facebook Computer Vision Tags“ ist eine Open Source-Erweiterung für Google Chrome, die die von Facebook vergebenen Schlagworte für Bilder sichtbar macht. Die habt ihr vielleicht schon einmal gesehen, wenn ein Bild nicht richtig angezeigt wurde. Google, Apple, Amazon und natürlich auch Facebook untersuchen automatisch Fotos auf Inhalte. Facebook benutzt dafür Deep ConvNet, ein neuronales Netzwerk. Bekannte Beispiele für nicht mit der Thematik Vertraute liefert da Google Fotos ganz schön, sucht man in seinen Bildern nach diversen Dingen, dann findet man diese – weil Googles Technologie „erkannt“ hat, was auf dem Bild zu sehen ist.

Das macht auch Facebook und die Erweiterung „Show Facebook Computer Vision Tags“ zeigt eben an, wie euer Bild erkannt wurde, bzw. welche Schlagworte Facebook vergeben hat. Das funktioniert in vielen Fällen auch, allerdings muss man dafür die Oberfläche von Facebook in den Einstellungen auf Englisch einstellen. Ich hab euch mal ein konkretes Beispiel hier in den Beitrag geflankt, nämlich ein Bild von mir, allerdings bearbeitet, sodass man meinen Sohn Max nicht erkennen kann.

Facebook erkennt zumindest eine Person. Zudem sieht man, dass eine Person lacht, steht – und Himmel und Bäume sind draußen auch zu erkennen. Bei Google Fotos kann man wunderbar nach einzelnen Dingen suchen, bei Facebook könnte man auch argumentieren, dass es Menschen mit Screenreadern helfen könnte.

Diese könnten so eine Beschreibung des Bildes bekommen – auch wenn das Ganze natürlich noch in den Kinderschuhen steckt. Die Beschreibung der Erweiterung findet ihr auch auf der GitHub-Seite des Entwicklers, hier hat er einige Infos und den Quelltext zur Verfügung gestellt.

Show Facebook Computer Vision Tags
Show Facebook Computer Vision Tags
Entwickler: ageitgey
Preis: Kostenlos
  • Show Facebook Computer Vision Tags Screenshot

Gefällt dir der Artikel? Dann teile ihn mit deinen Freunden.

Hallo, ich bin Carsten! Baujahr 1977, Dortmunder im Norden, BVB-Getaufter und Gründer dieses Blogs. Auch zu finden bei Twitter, Google+, Facebook, Instagram und YouTube. PayPal-Kaffeespende. Mail: carsten@caschys.blog

9 Kommentare

  1. Hab es da nicht schon mal eine Erweiterung für Facebook, die einiges an Informationen angezeigt hat, teilweise nur durch eigene CSS-Regeln? Ich meine, diese Tags hätten als alt-Attribut an den Bildern gestanden, was auch erklären würde, warum man diese sieht, wenn das Bild nicht geladen werden kann. Kannte ich bis jetzt aber nur für Facebook.

  2. Seit wann ist das aktiv? Ich habe das vor kurzem auch überraschenderweise festgestellt. Bei mir (Facebook aber auf Englisch) steht das mit im Quelltext. Ich gehe daher davon aus, dass man das dann auch mit CSS etc. anzeigen könnte (z.B. Greasemonkey).

    Ich finde dieses Tagging ja an sich sehr praktisch, auch bei Google Photos. Aber nehmt mit den Aluhut nicht übel – ich will nicht einfach alle meine Fotos irgendwohin laden, wo ich nicht weiß, ob ich das wieder raus kriege.

    Deswegen würde es mich wirklich interessieren, ob es solche neuronalen Netze auch schon zur Offline-Verwendung gibt? Apple hat das ja angeblich auch lokal auf den Endgeräten angeboten. Ich würde mich über eine Art „Picasa“ freuen, die Inhalte (und Gesichter) „einfach“ bei mir lokal erkennt. Gesichter trainiere ich ja gerne dafür.

  3. „bei Facebook könnte man auch argumentieren, dass es Menschen mit Screenreadern helfen könnte.“ wieso könnte? Die Beschreibung steht im ALT-Tag des img-Elements, das das Bild darstellt. Es wird von Facebook also exakt dafür verwendet, was gar nicht so abwegig ist.

  4. Christian says:

    Hier ein Link zu einer Version die auch mit deutschem FB funktioniert:
    https://github.com/nicolasraube/show-facebook-computer-vision-tags

  5. Schröppke says:

    @THO Zumindest Gesichter erkennen kann das Programm Digikam, welches praktischerweise ein Foto-Organisationstool ist. Die Erkennungsrate könnte aber noch nicht das Nonplusultra sein.

  6. Interessant ist eben immer das FB, Google, etc. diese „Features“ als ach so praktisch für den User präsentieren. Automatisches kategorisieren, erkennen von Bildinhalten, usw werden in erster Linie entwickelt um noch mehr über den Nutzer erfahren zu können und ihm noch effektiver personalisierte Werbung auszuspielen.
    Das ist der breiten Masse leider immer noch nicht bewusst. Diese erfreut sich an den tollen neuen „Features“ und lädt noch mehr Fotos und private Informationen auf die Netzwerke.

  7. @Schröppke Vielen Dank. Das werde ich mir mal anschauen – vielleicht wird das in Zukunft ja auch besser. Es sollte nur nicht eine totale Katastrophe sein …

  8. @Reen: Sowas *ist* für den User auch durchaus praktisch. Dass die Anbieter damit, vielleicht auch vorrangig, andere Ziele verfolgen, mag ja sein. Aber selbst das von dir genannte Beispiel, noch besser auf den Nutzer zugeschnittene Werbung zu präsentieren, kommt diesem zugute. Das ist jedenfalls besser, als irgendeine x-beliebige Werbung zu bekommen, die einen überhaupt nicht anspricht. Und letztlich ist es ja auch kein Geheimnis, dass solche Infos auch genutzt werden, um Werbung zu platzieren. Und das finde ich auch keinster Weise verwerflich.

  9. Gibts das auch für die Safari Developer Version?