Der Konkurrenzkampf unter TV-Sendern und Streaming-Diensten nimmt immer weiter zu. Die Zuschauer haben mehr Auswahl und werden immer anspruchsvoller. Für die Anbieter bedeutet das einen inhaltlichen Wettbewerb auf Weltklasse-Niveau und die Notwendigkeit einer Customer-Experience auf Augenhöhe mit den Top-Medienmarken. Der effizienteste Weg zu einer nachhaltig guten Customer-Experience führt über detaillierte Testings im Entwicklungsprozess sowie eine durchdachte Quality Assurance (QA). Warum das so ist, erklärt Oliver Koch, Mitgründer und Geschäftsführer bei der TeraVolt GmbH, in seinem Gastbeitrag. Dabei geht er zunächst auf die wichtigsten Säulen der QA ein und veranschaulicht sie anschließend am Beispiel der Arte-Mediathek.

Als im August 2017 erstmals ein Fußball-Bundesligaspiel exklusiv im Eurosport-Player lief, war die Verärgerung der Abonnenten groß. Auslöser war jedoch nicht etwa die dargebotene Partie, sondern der Umstand, dass viele von ihnen buchstäblich Schwarz sahen. Der Sender hatte aufgrund des hohen Zuschaueraufkommens mit massiven technischen Problemen zu kämpfen. Kein guter Start für Eurosport als Rechteinhaber für die Live-Übertragung von damals insgesamt 45 Bundesliga-Spielen pro Saison. Und kein Wunder, dass das Engagement mittlerweile wieder beendet ist.

Quality Assurance als Schlüssel zum Erfolg

Dieser Fall ist ein Lehrstück dafür, wie wichtig eine gute Customer-Experience (CX) im Videostreaming ist. Eine schlechte CX hingegen kann auch durch noch so guten Content kaum ausgeglichen werden. Der Umstand, dass mit Amazon, Apple, Disney und Co. immer mehr Player aktiv an den „Streaming-Wars“ teilnehmen und sie zudem über gigantische Ressourcen verfügen, macht eine gute CX gerade für kleinere Player nur noch wichtiger, um sich gegen die Konkurrenz zu behaupten. Hier gibt es viel zu gewinnen – aber auch zu verlieren.

Die Ausspielung von Inhalten per App wird durch den Wettbewerb um Inhalte, eine größere Diversität von Technologien sowie die Plattformeffekte immer komplexer, was die gesamte Wertschöpfungskette betrifft. Gerade der Erfolg von D2C-Angeboten, die ihre Inhalte eben nicht über die großen Plattformen, sondern selbstständig vertreiben, hängt entscheidend von einer guten QA und einer reibungslosen CX ab.

Releasetesting im Entwicklungsprozess

Für die Zuschauer ist gute Customer-Experience ein absolutes Schlüsselkriterium. Deswegen ist es wichtig, dass die Anbieter den eigenen Service mit viel Liebe umzusetzen, ihn weit vor dem Launch auf Herz und Nieren zu prüfen und Fehler beseitigen. Dies beginnt schon in der Entwicklung. Professionelle Testteams sollten im gesamten Softwareentwicklungszyklus eingebunden sein und ihn mit überlegt gewählten Testmethoden (statisch, dynamisch, Blackbox, Whitebox usw.) und -Arten (z. B. funktional, strukturbezogen, anforderungsbezogen) sowie auf allen Stufen (Komponententests, Integrationstests, Systemtests und Abnahmetests) überprüfen. So können sie frühzeitig bei der Fehlerbeseitigung unterstützen und Unklarheiten auflösen. Denn zu den Grundsätzen von Testings gehört: Je früher, desto besser! Besonders erfolgsversprechend ist hierbei die langfristige Anlage eines solchen Testingprozesses bis hin zum finalen Release.

Für den Kunden eines großen OTT-Angebots konnte TeraVolt mit Hilfe des Acceptance- und Releasetestings vor dem Release durchschnittlich 6,7 Bugs pro Regressionstest in den digitalen Produkten identifizieren. Mit einem sorgfältigen Testing lassen sich Effizienz und Verlässlichkeit (Retention) schon vor dem Launch einer Applikation sicherstellen und Fehler beheben. TeraVolt konnte mithilfe des entwicklungsbegleitenden Testings bei dem genannten Kunden in den letzten vier Jahren knapp 3.800 Bugs identifizieren und somit die Fehlerquote drastisch reduzieren, bevor die Bugs von den Kunden entdeckt werden können. Zudem sind während des Projektes im Acceptance Testing ca. 6.200 Feature-Tickets vor dem Release detailliert getestet worden. So konnte sichergestellt werden, dass neue Module der Applikation den funktionalen Anforderungen des Produktteams, aber auch den Erwartungen der User entsprechen. Die gelungene Kombination aus Release- und Acceptance-Testing schlägt sich auch in den Appstore-Bewertungen nieder, die sich z. B. bei Android (4,3) und iOS (4,5) inzwischen auf einem konstant hohen Niveau bewegen.

Quality-Control im weiteren Verlauf

Mit der Qualitätssicherung vor dem Launch ist es aber nicht getan. Auch danach müssen die Anbieter am Ball bleiben. Denn Fehler können auch im Live-Betrieb immer wieder auftauchen und mannigfache Ursachen haben: Plattformen implementieren eine neue Software, verändern Backend-Strukturen und Anbieter-APIs oder passen die Bezahlverfahren an. Die Werbeanbieter optimieren unterdessen ihre Werbeintegrationen und verändern ihre Delivery-Prozesse. Hinzu kommen App-Releases, die zusätzliche Features und neuen Content mit sich bringen, aber eben auch neue Fehlerquellen, die die Customer-Experience beeinträchtigen können – teilweise sogar in Form von Totalausfällen. Um das zu verhindern, braucht es nicht einmal allzu viel Aufwand, aber eben gut strukturiertes Vorgehen bei Softwarewartung und -pflege sowie sorgfältiges Testen nach Weiterentwicklungen. 

Live-Monitoring für kurzfristige Lösungen

Die letzte Säule eines erfolgversprechenden QA-Portfolios ist das Live-Monitoring. Anbieter erhalten damit die Möglichkeit, ihre Produkte auch live während der Ausstrahlung des jeweiligen Contents überwachen zu lassen und unmittelbar über etwaige Störungen oder Einschränkungen der Customer-Experience informiert zu werden. Dadurch ist bei auftretenden Fehlern nicht nur eine zeitnahe Entstörung möglich, es bietet auch eine einzigartige Sicht auf die Performanz des Produkts.

Das Fallbeispiel der Arte-Mediathek

Die Arbeit von TeraVolt für Arte begann mit einer ersten Bestandsaufnahme aller Geräte (TVs, OTT- und Sat-Boxen): Hierfür erfolgte ein Test der Grundfunktionen sowie eine stichprobenartige Kontrolle des Content-Playbacks auf etwa 60 Geräten. Ein Report hielt im nächsten Schritt die gefundenen Fehler und Störungen fest. Auf Basis der Bestandsaufnahme erfolgte ein Blacklisting, also das Blockieren der aktuellen Version der App auf solchen Geräten, auf denen sie gar nicht oder fehlerhaft lief. Stattdessen wurde dort eine Legacy-Version ausgespielt, also eine Version der jeweiligen App für ältere Geräte. Dies ermöglichte es den Entwicklern, das Problem einzukreisen und zu beheben (teilweise via Gruppenkonferenz und Pair-Programming), sodass eine Aufhebung des Blacklistings Device für Device erfolgen und die App wieder livegehen konnte.

Kemal Görgülü, seines Zeichens Chief Technology Officer bei Arte, bestätigte, dass sich die Mediathek hinsichtlich Verfügbarkeit und Nutzererlebnis durch die Qualitätskontrolle enorm verbessert habe, weil die App nun auf nahezu allen gängigen Devices, auch älteren Baujahrs, laufend getestet wird. Das Debugging erfolgt ggf. in direkter Zusammenarbeit von Testern und Entwicklern unter Einbeziehung der betroffenen Geräte. Die Korrekturen haben dazu geführt, dass die gemeldeten Fehler stark abgenommen haben.

Fazit: Quality Assurance mit Releasetesting und Quality Control sind das A und O – vor und nach dem Launch

Fasst man all diese Erkenntnisse zusammen, wird deutlich, dass Qualitätssicherung von meist sehr unterschätztem Wert ist, wenn es um den Aufbau und die Instandhaltung einer TV-App geht. Denn nur so kann eine dauerhaft hochwertige Customer-Experience gewährleistet werden – was wiederum aus den Zuschauern zufriedene Nutzer macht. Das verdeutlicht, dass die Customer-Experience von Streaming-Diensten und TV-Mediatheken ein wesentlicher Erfolgsfaktor neben dem Content ist. Nutzer schalten bei nicht relevantem Content ab und nutzen Apps nicht mehr, die nicht funktionieren. Anbieter, die diesen Umstand nicht ernst genug nehmen, laufen Gefahr, ihre Zuschauer an der Konkurrenz zu verlieren, die angesichts der „Streaming-Wars“ eher größer als kleiner wird. Genau deswegen war Quality Assurance im TV-Segment nie wichtiger als jetzt.