Eine nutzerzentrierte QA- und Testing-Strategie für Sprachassistenten

Um im stärker werdenden Wettbewerb der Sprachassistenten (Voice Assistants) wie u.a. Amazon Alexa, Apple Siri und Google Assistant den Anschluss zu halten und sprachaktivierte Produkte und Services weiterzuentwickeln, benötigen Unternehmen eine nutzerzentrierte QA-Strategie für Voice. Letztlich können Voice Search, Voice Shopping und Voice Commerce nur die Kundenbindung und Verkaufszahlen erhöhen, wenn die Qualität des sprachlichen Nutzererlebnisses auf Nutzerseite entsprechend hoch ist.

Welche Herausforderungen bietet das Testen von Spracheingaben?

Die Technologie von Sprachassistenten basiert auf Künstlicher Intelligenz

Zwar macht künstliche Intelligenz (KI) die Entwicklung von Skills einfacher, doch sie sorgt beim Testen für eine neue Komplexitätsebene, da sich das System im Laufe der Zeit verändert und weiterentwickelt. Aufgrund der Unvollkommenheit von KI-Systemen geht es beim Testen von Skills eher um Optimierung als um abschließende Fehlerbehebung. Dies erfordert eine andere Testmentalität und alternative QA-Prozesse.

Eine einheitliche Nutzererfahrung mit Multi-Plattform-Unterstützung

Eine weitere Herausforderung ist das Thema Multi-Plattform-Unterstützung. Nutzer erwarten trotz der unterschiedlichen Verhaltensweisen der verschiedenen Geräte und Plattformen (Desktop, Mobile, IoT & Voice) ein einheitliches Produkterlebnis. Doch die Interaktion muss für den Kunden an jedem Touchpoint unterhaltsam und lohnend sein, andernfalls schadet sie der Kundenbeziehung und dem Markenerlebnis.

Kein standardisiertes Nutzerverhalten und unzählige Variablen in der Spracheingabe

Die vielleicht größte Herausforderung bei der Entwicklung und beim Testen der Sprachqualität und User Engagement ist der Umfang bzw. die Veränderlichkeit der Benutzereingaben. Berücksichtigt man all die verschiedenen Hintergrundgeräusche, Dialekte, Akzente, Ausdrucksweisen, Umgebungen und Interpretationen des sprachlichen Inputs, müssen unendlich viele Szenarien getestet werden.

Trotz dieser zahlreichen Herausforderungen mit Sprachassistenten bringen viele Unternehmen im Eilverfahren Voice Skills auf den Markt, ohne dem individuellen Benutzerverhalten die notwendige Beachtung zu schenken. Das Ergebnis sind wenig immersive Spracherlebnisse, die nicht auf das reale Nutzerverhalten ausgelegt sind, und Skills, die gängige Äußerungen falsch interpretieren.

google-home-voice-und-AI-testen_W585_Mfit

Eine nutzerzentrierte QA-Strategie zum Testen von Sprachassistenten

Die Strategie zur Qualitätssicherung von Sprachassistenten beinhaltet – ähnlich wie das Testing von klassischen mobilen und webbasierten Anwendungen – sowohl manuelle Tests als auch automatisierte Tests. Der große Unterschied ist, dass die Testzyklen nicht nur inhouse oder im Testlabor, sondern in der realen Nutzerwelt durchgeführt werden. Dabei kommen reale Nutzer unter realen Nutzerbedingungen zum Einsatz, die das Nutzungserlebnis validieren und in den unterschiedlichen Entwicklungsphasen Feedback liefern.

Funktionale Tests von Spracheingaben direkt mit Endnutzern durchführen

Durch Tests in der realen Nutzerwelt und manuelles und exploratives Testing können potenzielle Probleme bereits früh im Entwicklungsprozess identifiziert werden. Anhand realer Nutzer, die mit den digitalen Sprachassistenten sprechen und interagieren, können Unternehmen die Auswirkungen komplexer Variablen wie Sprachen, Dialekte, Geschlechter, Endgeräte und Umgebungen validieren.

Der Prozess ermöglicht es dem Entwickler- und QA-Team, zügig Feedback einzuholen und mögliche Probleme in Bezug auf die Umgebung und die gewählte Sprachplattform zu identifizieren und einen Plan zu erarbeiten, der eine optimale Nutzerinteraktion gewährleistet. Zudem können so häufig wiederkehrende oder problematische Äußerungen identifiziert und im späteren Verlauf durch automatisierte Tests und Regressiontests nach erfolgten Fixes abgedeckt werden.

Im Gegensatz zu mobilen Apps, die plattformabhängig getestet werden, müssen Voice Skills plattformübergreifend funktionieren. Functional Testing unter realen Bedingungen bietet daher die beste Möglichkeit, jeden potenziellen Erlebnisstrang mit möglichst vielen Geräte-, Plattform- und Sprachkombinationen zu bewerten.

Überführung der Testergebnisse in eine automatisierte Testsuite

Die Ergebnisse der funktionalen Testläufe können ausgewertet und in eine zentrale Automatisierungs-Suite überführt werden, die der Optimierung des Codes und des Interaktionsmodells sowie der schrittweisen Verfeinerung des Skills dient. Das automatisierte Test-Set sollte in Form von Testfällen die häufigsten und wichtigsten Äußerungen wiederholt ausführen, um sicherzustellen, dass sie funktionieren. Auch weniger wichtige Äußerungen, die in der Vergangenheit Probleme verursacht haben, sollten getestet werden. Um die Kundenbasis und das Kundenverhalten adäquat abzubilden, müssen durch die Testautomatisierung zudem die verschiedenen Sprachen und Umgebungen abgedeckt werden.

Ein optimales Spracherlebnis für den Endnutzer gewährleisten

Im Voice-Bereich ist Qualität das wichtigste Alleinstellungsmerkmal und der entscheidende Faktor für erfolgreiche Voice Skills und ein starkes Markenimage. Nur mit einer soliden QA-Strategie, die sowohl das funktionale Testing mit externen Testern als auch Testautomatisierung im Rahmen eines kontinuierlichen Prozesses umfasst, können Unternehmen ihren Kunden ein erstklassiges Spracherlebnis ermöglichen und Voice Skills bereitstellen, die zur Stärkung der Kundenbindung und Festigung der Marke beitragen.

“Voice bietet Marken die einzigartige Chance, ein nahtloser Bestandteil des täglichen Lebens ihrer Kunden zu werden. Fast jede Branche wagt sich bereits vorsichtig an die neue Technologie heran, aber nur wenige Marken konnten bislang nachhaltig effektive Voice-Strategien entwickeln.”
Emerson Sklar, Tech Evangelist und Solution Engineer bei Applause