{"id":4290,"date":"2019-03-21T15:07:16","date_gmt":"2019-03-21T15:07:16","guid":{"rendered":"https:\/\/anexia.com\/blog\/de\/?p=4290"},"modified":"2022-04-13T14:08:56","modified_gmt":"2022-04-13T12:08:56","slug":"its-playtime-was-koennen-machine-learning-amazon-alexa-und-smart-home","status":"publish","type":"post","link":"https:\/\/anexia.com\/blog\/de\/its-playtime-was-koennen-machine-learning-amazon-alexa-und-smart-home\/","title":{"rendered":"It\u2019s playtime: Was k\u00f6nnen Machine Learning, Amazon Alexa und Smart Home?"},"content":{"rendered":"

In unseren mobilen Trends f\u00fcr 2019<\/a> haben wir es schon angesprochen: Machine Learning, Smart Home Applikationen und erweiterte mobile Endger\u00e4te wie Smartwatches oder auch Sprachassistenten werden die Welt der mobilen Entwicklung<\/a> in den kommenden Jahren stark pr\u00e4gen. Aber wie funktionieren diese Dinge im Einzelnen? Wie interagieren sie miteinander? Vor welchen Herausforderungen in der Entwicklung steht man bei der Implementierung einer App? Worin steckt Potential und was sind die Risiken?<\/p>\n

Um den Antworten zu diesen Fragen auf die Spur zu kommen, hat Anexia die ANX.labs gegr\u00fcndet: ein interaktiver Forschungs- und Spielraum, der die Anexianer einl\u00e4dt, mit neuen Technologien zu experimentieren. Hier ist ein erster Erfahrungsbericht von unserem Entwicklerteam.<\/p>\n

Ausgangspunkt<\/h2>\n

Die Anforderung war es, eine iPhone App zu entwickeln, die Gesichter erkennt und auswertet: wie alt ist eine Person, welches Geschlecht hat sie und welche Stimmung? Im Anschluss sollte eine Social Media-Anbindung<\/a> implementiert werden, sowie m\u00f6gliche Interaktionen zwischen den Smarthome Lampen Philips Hue<\/a> und einer Amazon Alexa<\/a>.<\/p>\n

\"Showcase-App_Anx.labs\"<\/a><\/p>\n

Herausforderungen und L\u00f6sungen<\/h2>\n

Gesichtserkennung: Machine Learning & API Services<\/h3>\n

Die erste Aufgabe war es, eine M\u00f6glichkeit zur Gesichtserkennung zu finden. Da es unser Anspruch war, eine plattform\u00fcbergreifende App zu erstellen, konnten wir keine plattformspezifischen iOS oder Android L\u00f6sungen verwenden. Das ist schade, denn Apple bietet f\u00fcr die iOS Plattform Core ML<\/a> an, das voll hardwarebeschleunigt auf iPhones l\u00e4uft. Im ersten Schritt haben wir daher versucht, Machine Learning (ML) Modelle zur Gesichts- und Emotionserkennung zu integrieren. Da wir f\u00fcr dieses Projekt nat\u00fcrlich nicht die notwendigen Training-, Validation- und Test-Datasets hatten, um eigene ML Modelle zu erstellen, mussten wir zuerst auf frei verf\u00fcgbare zur\u00fcckgreifen. Wir konnten Tensorflow<\/a> Modelle verwenden und sie mit entsprechenden Tools zum Apple Core ML Format umwandeln: Core ML war also auf diesem Umweg doch m\u00f6glich. Android unterst\u00fctzt Tensorflow Modelle nat\u00fcrlich nativ, da das Format direkt von Google stammt.<\/p>\n

Erste Tests ergaben ein sehr erstaunliches Ergebnis: auf iOS funktioniert die Bilderkennung durch Hardwarebeschleunigung unglaublich schnell. Die Zeit, welche z.B. ein iPhone X ben\u00f6tigt um ein 5 Megapixel Bild zu analysieren, lag unter 10 Millisekunden! Also kamen wir auf die Idee, nicht nur statische Bilder zu analysieren, sondern sogar Videostreams. Das war f\u00fcr das iPhone \u00fcberhaupt kein Problem. Im Gegenteil, die Erkennung war so schnell, dass die Werte aus dem ML Modell sich auch im UI so schnell \u00e4nderten, dass nur noch flackernde Zahlen zu sehen waren. Also mussten wir die Auswertung k\u00fcnstlich drosseln. Nachdem wir nun die Qualit\u00e4t des Ergebnisses testen konnten, mussten wir leider bald feststellen: ML Modelle eignen sich nur bedingt f\u00fcr Geschlechts- und Emotionserkennung. Die Erkennungsrate lag bei ca. 50% oder sogar noch darunter. Au\u00dferdem waren die Modelle riesig, die iOS App war alles in allem ca. 500 MB gro\u00df. Wir mussten eine andere L\u00f6sung finden. Der erste Gedanke war, nach API Services zu suchen, die diese Funktionalit\u00e4t anbieten.<\/p>\n

Wir begannen also mit der Evaluierung. Wie sich herausstellte, gibt es da bereits eine Menge. Sowohl die gro\u00dfen Anbieter wie Amazon, Google oder Microsoft, als auch eine Menge kleinerer Anbieter bieten solche APIs an. Von diesen stach bei Testberichten vor allem einer immer wieder heraus: Kairos<\/a>. Der gro\u00dfe Vorteil im Vergleich zu Amazon und Google ist, dass man deren SDK lizensieren und so auf eigenen Servern hosten kann. Ein wichtiger Punkt, den unsere Kunden zu sch\u00e4tzen wissen, vor allem in Bezug auf das Thema Datenschutz. Gerade Gesichtserkennung ist da ein sehr sensibles Thema. Jedoch mussten wir, trotz all der guten Testberichte, bald feststellen, dass die Qualit\u00e4t von Kairos uns nicht \u00fcberzeugen konnte. Weder wurden Alter und Geschlecht gut erkannt, noch schafften wir es, konsistent Werte f\u00fcr Emotionen zu bekommen. Manchmal funktionierte die API, manchmal nicht. Wir waren entt\u00e4uscht und gaben auf, uns auf Google Testberichte zu verlassen.<\/p>\n

Der zweite API-Versuch sollte die L\u00f6sung sein: Microsoft Face API<\/a>. Wir waren verbl\u00fcfft! Nicht nur, dass der Microsoft-Dienst beinahe jedes Gesicht erkannte, die zur\u00fcckgelieferten Werte waren unglaublich pr\u00e4zise. Das Alter wurde meistens in einem Bereich von 5 Jahren korrekt erkannt, das Geschlecht beinahe jedes Mal. Auch bei der Emotionserkennung lag die API um L\u00e4ngen vor der Konkurrenz. Microsoft bietet die Face API im Rahmen ihrer Azure Cloud Services an und da es freie Entwickler Accounts gibt, haben wir sie sofort in die App integriert. Auch die Integration des Dienstes war um einiges einfacher als bei der Konkurrenz. Im Grunde reicht ein API Call, dem man eine Bild URL mitgibt. Volltreffer! Da Anexia als Hosting Provider jede Form von Storage unterst\u00fctzt, haben wir das Bild, das der User von sich selbst in der App macht, auf unseren eigenem S3 Storage hochgeladen. Aufgrund der vollen Kompatibilit\u00e4t zu Amazon S3 war auch das ein Kinderspiel.<\/p>\n

Das hei\u00dft, die erste Aufgabe war zu unserer vollsten Zufriedenheit erledigt. Unsere App unterst\u00fctzte Gesichtserkennung und gab Alter, Geschlecht und Emotion in den allermeisten F\u00e4llen korrekt aus.<\/p>\n

\"Screenshot-Showcase-App\"<\/a><\/p>\n

Smart Home: Philips Hue<\/h3>\n

Die n\u00e4chste Aufgabe war es, Philips Hue Support in die App zu integrieren. Es sollte, falls die App mit einer Philips Hue Installation verbunden war, jede erkannte Emotion zu einem anderen Licht f\u00fchren. Wenn die App Freude erkennt, sollen angeschlossene Philips Hue Lampen auf ein leuchtendes Orange schalten, \u00c4rger sollte zu einem grellen Rot werden, und so weiter. Im Grunde eine leichte Aufgabe \u2013 mag man denken. Aber auch hier steckt der Teufel im Detail. Wie sich herausstellte, ist das von Philips zur Verf\u00fcgung gestellte iOS SDK nicht auf der H\u00f6he der Zeit, und hat uns bei der Einbindung in unsere App so einige Steine in den Weg gelegt. So mussten wir mehrere Workarounds anwenden, waren aber schlussendlich erfolgreich. Wir konnten nun endlich die angeschlossenen Hue Lampen so leuchten lassen, wie wir wollten. Ziel erreicht!<\/p>\n

Amazon Alexa: Skill, AWS Lambda und App-Verbindung<\/h3>\n

N\u00e4chste Herausforderung: Alexa Integration. Keiner wusste so recht, auf welche Weise wir Alexa sinnvoll in die App integrieren sollten, damit arbeiten wollten wir trotzdem. Es geht ja darum, zu experimentieren und so viele Technologien wie m\u00f6glich kennenzulernen. Die Frage ist also: Was ist der Anwendungsfall? F\u00fcrs Erste haben wir uns f\u00fcr den einfachen Weg entschlossen. Alexa soll als eine Art \u201eSelbstausl\u00f6ser\u201d das Fotoschie\u00dfen in der App erledigen: \u201eAlexa, starte die Gesichtserkennung und schie\u00df ein Foto\u201d. Gesagt, getan\u2026<\/p>\n

Die erste Aufgabe war die Erstellung eines Alexa Skills. Da Alexa ein Dienst des \u201enormalen\u201c Amazon Marketplace ist, wird kein Amazon Web Services Account ben\u00f6tigt. Das Erstellen des Skills selbst ist einfach. Amazon hat alles wunderbar dokumentiert und leitet mit Videotutorials und sehr viel verst\u00e4ndlicher Dokumentation durch die Erstellung. Man bringt Alexa bei, auf welche Worte sie reagieren soll und was geschehen soll, wenn die Worte korrekt von Alexa erkannt wurden. Im Grunde gibt es nur zwei M\u00f6glichkeiten:<\/p>\n