Bing Visual Search brachte Fans mit der interaktiven App Celebs Like Me mit ihren prominenten Zwillingen zusammen. Celebs Like Me ist zwar nicht mehr verfügbar, aber Sie können immer noch erkunden, wie Bing mithilfe von Deep Learning, Bilderkennung und KI visuelle Informationen miteinander verbindet.
Der Bedarf
Filme und Prominente sind ein wichtiger Teil der Popkultur, und die Academy Awards® sind ein Top-Ereignis für Kinofans. Bing hat ein spezielles Erlebnis geschaffen, um die Oscar®-Nominierten zu feiern und das Potenzial von Bing Visual Search und AI zu demonstrieren.
Die Idee
Mit Celebs Like Me können Filmfans ihre Fotos hochladen und ihre prominenten Doppelgänger finden. Mithilfe von Gesichtserkennung und Bildabgleich half der Dienst den Fans, neue Prominente und Schauspieler bei den Oscars zu entdecken.
Die Lösung
Das Experiment Celebs Like Me nutzte die Gesichtserkennung, um ein Foto mit ähnlich aussehenden Prominenten abzugleichen. Dazu wurde ein DNN-Modell verwendet, das mit Bing Knowledge Graph und Bing Image Graph trainiert wurde. Celebs Like Me war eine der vielen Möglichkeiten von Bing Visual Search.
Visuelle Suche für aussagekräftigere Antworten
Neben dem Spaß an der Popkultur bietet die visuelle Suche von Bing eine Möglichkeit, die Welt zu erkennen und zu verstehen, indem sie die physische und die digitale Welt miteinander verbindet – die Grundlage der KI, die die fotobasierte Suche zum Einkaufen und Finden neuer Produkte, das Lösen von mathematischen Problemen mit Bing Math, das Erkennen von Objekten und Personen und vieles mehr ermöglicht.
Technische Details für Celebs Like Me
Ein Benutzer lädt ein Foto zum Celebs Like Me Service hoch. Der Dienst sucht nach Gesichtern auf dem Bild. Für jedes gefundene Gesicht richtet der Dienst das Gesicht aus, begradigt es und schneidet es zurecht, bevor er das zurechtgeschnittene Gesichtsbild an ein Deep Neural Net (DNN) weitergibt. Das DNN-Modell gibt eine Rangliste der Prominenten aus, indem es ähnliche Gesichtsmerkmale wie Kieferlinie, Augenabstand, Nasenform und mehr abgleicht. Das DNN-Modell wird mit dem umfangreichen Wissen aus dem Bing Knowledge Graph und dem Bing Image Graph trainiert.
Das Experiment mit Celebs Like Me gab Aufschluss darüber, wie der Bing Knowledge Graph mit dem Image Graph verknüpft werden kann, um die Welt anhand eines Bildes zu erkennen, sowie über die Infrastruktur, die wir für die Bing Visual Search aufbauen müssen. Bing Visual Search ermöglicht es den Nutzern, die Welt um sich herum zu durchsuchen und zu erkunden, indem sie ein Foto machen. Wir haben ein breites Spektrum an Funktionen für die visuelle Suche entwickelt, darunter das Einkaufen von Mode und Möbeln, das Erkennen von Blumen, Tieren, Sehenswürdigkeiten und Prominenten und sogar das Lösen komplexer mathematischer Probleme mit einem Foto.