Hallo zusammen!
Am 24. September haben wir versucht, die erste Live-Beta zur Welten-Umstrukturierung zu starten – ein lang erwarteter Moment! Wie die meisten von euch wahrscheinlich schon wissen, verlief das Event nicht ganz so wie geplant. Wir melden uns heute mit einer Nachbesprechung zum Event zurück. Bei einer solchen Nachbesprechung handelt es sich um einen Prozess, bei dem ein Entwicklerteam sich im Nachhinein Gedanken zu einem Ereignis (Veröffentlichung, Ausfall usw.) macht und feststellt, was gut gelaufen ist und was besser hätte laufen können. Das Ziel dieses Vorgangs ist die Ermittlung von Verbesserungen für den Prozess, die für künftige Bemühungen genutzt werden können. Wir nehmen uns einige kreative Freiheiten bei der Gestaltung des Formats, um es den Lesern ein wenig zugänglicher zu machen. Wir hoffen jedoch, dass euch dieser Blick hinter den Vorhang gefällt.
In diesem Beitrag fassen wir den Beta-Versuch zusammen, geben euch einen Überblick über die Probleme, auf die wir gestoßen sind, und berichten darüber, was wir gelernt haben. Ganz zum Schluss werden wir unsere Pläne für die nächste Beta besprechen.
Bevor wir loslegen, möchten wir klarstellen, dass der kurze Login-Ausfall auf den EU-Servern kurz vor dem Beta-Versuch nichts mit den Ereignissen in der Beta zu tun hatte. Damit ist zumindest eine Fantheorie entkräftet.
Übersicht
Am Freitag, den 24. September um 19:00 Uhr MESZ (10:00 Uhr PDT) haben wir das Welten-Umstrukturierungs-Feature im Rahmen der wöchentlichen Zurücksetzung des europäischen WvW aktiviert. Beim Zurücksetzen werden Spieler aus dem WvW entfernt, Matchups werden neu konfiguriert und der Spielstand wird zurückgesetzt. Die Umstellung auf die Welten-Umstrukturierung beim Zurücksetzen sorgte für einen Neuanfang zum Start der Beta.
Die Welten-Umstrukturierung wurde erfolgreich für Europa auf den Spielservern aktiviert (unsere erste Hürde), doch fast augenblicklich gingen Meldungen ein, dass einige Spieler den falschen Teams zugeteilt wurden. In Filmen schrillen in solchen Situationen meist die Alarmglocken und rote Lichter blinken. Das Hauptproblem bestand darin, dass einige Spieler veraltete (schlechte) Shard-Daten hatten, die nicht aktualisiert wurden, bevor sie versuchten, dem WvW beizutreten. Wenn ein betroffener Spieler versuchte, das WvW zu betreten, wurde er von seinem Spiel-Client aufgefordert, das WvW unter Verwendung der falschen Shard-Daten zu betreten. Dies führte dazu, dass der Spieler auf der falschen Karte platziert wurde und ihm sogar die falsche Teamfarbe zugewiesen wurde. In Kombination mit einem Problem, bei dem das Benutzer-Interface nicht die richtigen Teamnamen anzeigte, führte dies zu großer Verwirrung.
Jetzt kommt Problem Nummer zwei.
Zweifellos war die Vorfreude auf den Betatest groß. Dieser Umstand sowie der Reset am Freitag hatten eine unglaublich hohe Beteiligung zur Folge, was zu langen Warteschlangen bei Karten führte. Natürlich begaben sich die Spieler auf die Überlaufkarte „Vorsprung der Nebel“, um sich die Zeit in der Warteschlange zu vertreiben. Während wir mit der Behebung des ersten Problems beschäftigt waren, erhielten wir eine Meldung von unserem Lead Server Engineer Robert Neckorcuk (bekannt aus „Inside ArenaNet: Spielausfall-Analyse“). Er machte uns darauf aufmerksam, dass die Instanzen der Karte „Rand der Nebel“ ungewöhnlich viele Serverressourcen beanspruchten – etwa das Dreißigfache des normalen Werts.
Dies lag jedoch nicht an der erhöhten Spieleraktivität, sondern an etwas viel Heimtückischerem. Wir beobachteten, dass neue Instanzen der Karte „Rand der Nebel“ erstellt wurden, obwohl es noch reichlich Spielerkapazität in den zuvor erstellten Karteninstanzen gab. Mit anderen Worten, es wurden im Vergleich zur Anzahl der aktiven Spieler viel zu viele Karteninstanzen erstellt, was einen großen Teil unserer Serverressourcen verbrauchte. Wenn die Serverkapazitäten erschöpft sind, ist das schlecht. Das könnt ihr uns glauben. Dies führte zu einer Art Selbstläufereffekt, der manuell überwacht und behoben werden musste. Die Tatsache, dass wir nicht wussten, warum die Instanzen erstellt wurden, war besorgniserregend und schmälerte definitiv unser Vertrauen in unsere Fähigkeit, die Beta-Probleme im Handumdrehen zu lösen. Etwa zu diesem Zeitpunkt meldete sich ein anderer unserer Engineers wegen eines dritten Problems. Eine schöne Bescherung.
Bei der Veröffentlichung neuer Inhalte und Features oder bei der Durchführung von Beta-Events versuchen wir, zusätzliche Logs aufzuzeichnen. Bei diesen Logs handelt es sich um Protokolle von Ereignissen, die innerhalb eines Systems auftreten. Sie können genutzt werden, um sicherzustellen, dass das System wie geplant funktioniert. Sie können Einblicke in auftretende Probleme geben und bei der Suche nach möglichen Lösungen helfen. Wir haben ganze Server, die für die Verwaltung aller im Spiel anfallenden Logs zuständig sind. Nun, an diesem Tag haben diese Server ihren Meister gefunden. Ein Fehler wurde von BattleSrv (dem neuen Server für die Welten-Umstrukturierung) so häufig ausgelöst, dass er unsere Protokollierungsinfrastruktur belastete. Diese Protokollserver sind für den Betrieb von Guild Wars 2 von entscheidender Bedeutung, daher war dies gelinde gesagt sehr beunruhigend.
Es ist kaum zu glauben, aber die vier kurzen Absätze oben beschreiben ungefähr zwei Stunden an Ereignissen, während derer sich das Spielerlebnis im WvW auf den europäischen Servern ernsthaft verschlechtert hatte. Unser Team setzte sich zusammen und plante zwei mögliche Vorgehensweisen.
Option A bestand darin, eine Handvoll kurzfristiger Abhilfemaßnahmen zu implementieren, um zu versuchen, die Beta-Version am Laufen zu halten (auch bekannt als „der gewagte Versuch“). Dazu hätte auch die Bereitstellung eines „Blanko-Builds“ für den Spielbetrieb gehört, für den sich die Spieler ausloggen und ein kleines Client-Update herunterladen müssen. Dies würde eine Datenaktualisierung bei allen Spielern erzwingen, die von dem bereits erwähnten Problem mit den veralteten Daten betroffen waren, was wiederum dazu führt, dass sie dem richtigen Team zugeordnet werden. Wir sollten anmerken, dass wir glauben, dass dies das Problem behoben hätte, doch wir hätten keine Möglichkeit, dieses Vorgehen vorab zu testen. Außerdem gab es keine Garantie dafür, dass die anderen Probleme nicht auch im Laufe der Beta-Woche auftreten würden, wenn sich neue Spieler zur Teilnahme an der Beta anmelden. Wahrscheinlich hätten wir das gleiche „Blanko-Build“-Update nach dem NA-Reset nur ein paar Stunden später durchführen müssen. In diesem Szenario hätten wir auch die Karte „Rand der Nebel“ für die gesamte Beta-Woche deaktivieren müssten, um das Problem der Serverauslastung zu entschärfen. Wir haben eine Lösung für das Protokollierungsproblem gefunden, doch die Umsetzung der Änderung hätte einige Zeit gedauert (und das an einem Freitagabend), während unsere Protokollierungsserver weiter belastet worden wären.
Option B war die vorzeitige Beendigung der Beta. Das war natürlich die Option, für die wir uns letztendlich entschieden haben. Es gab einfach zu viele Risiken und Unwägbarkeiten, die mit Option A verbunden waren. Nachdem wir die Entscheidung zur Beendigung der Beta getroffen hatten, konnten wir nach einem kurzen Durchlauf der WvW-Karten nahtlos zur Weltenverbindung zurückkehren.
Später am Tag …
Nach einer kurzen Verschnaufpause kam das Team wieder zusammen, um eine Bestandsaufnahme zu machen und einen Aktionsplan für die aufgetretenen Probleme zu erarbeiten. Das sind die größten Erfolge des Tages:
Die Welten-Umstrukturierungs-Technologie hat in großem Maßstab funktioniert, auch wenn es nicht danach aussah. Das war ein großer Meilenstein und gab uns viel Vertrauen in die Technologie, die hinter der Welten-Umstrukturierung steht. Für jeden Spieler, der einem falschen Team zugewiesen wurde, gab es viele andere, die richtig zugewiesen wurden. Da wir die Welten-Umstrukturierung erfolgreich aktivieren konnten, waren wir in der Lage, während des zweistündigen Betaversuchs genügend Daten zu sammeln, die uns dabei helfen, die Probleme im Code einzugrenzen. Zu sehen, wie sich diese Probleme im Spielbetrieb manifestierten, half uns zudem, besser zu verstehen, wie wir unsere internen Testprozesse optimieren können, um in der Entwicklung Probleme bei der Welten-Umstrukturierung besser zu erkennen. Groß angelegte Serverfunktionen, insbesondere für ein so individuelles System wie die Welten-Umstrukturierung, lassen sich in der Entwicklungsumgebung nur schwer vollständig testen.
Außerdem hat der Matchmaking-Algorithmus, der in der ersten Beta verwendet wurde, eine unglaublich gleichmäßige Verteilung von Spielern und Gilden auf die Teams bewirkt. Im Weltenverbindungssystem können wir einen Unterschied von bis zu 50 % in der Spieleraktivität zwischen den Welten feststellen. In der ersten Beta betrug der größte Unterschied zwischen zwei Teams nur 2 %. Das ist eine enorme Verbesserung. Die Erstellung ausgewogener Matches ist das Hauptziel des Systems der Welten-Umstrukturierung, daher war es sehr beglückend, dies zu sehen.
Nach der Entscheidung, die Beta zu beenden, konnten wir schließlich ohne größere Probleme wieder zur Weltenverbindung zurückkehren. Dieser Punkt bezieht sich eher auf die Tatsache, dass das Team auf dieses Szenario angemessen vorbereitet war, indem es im Voraus ein detailliertes Betriebshandbuch für die Rückführung des Systems erstellt hat. Wir haben diesen Prozess mehrfach auf unseren Entwicklungsservern getestet, jedoch nie in dem Ausmaß wie im Spiel. Übung macht den Meister.
Was kommt als Nächstes?
Wir haben zehn Fehler ausfindig gemacht, die wir beheben müssen, bevor wir eine weitere Beta starten können. Die meisten dieser Fehler betreffen das oben beschriebene Problem mit den veralteten Daten und die fehlerhafte Anzeige von Teamnamen. Hier haben wir große Fortschritte gemacht, es bleibt aber noch einiges zu tun. Im Moment planen wir, diese Fehlerbehebungen am 9. November zu veröffentlichen. Die nächste Beta-Woche beginnt am 12. November.
In der Version vom 9. November werden wir einige allgemeine Verbesserungen am WvW vornehmen. Euer Feedback ist eindeutig: Die Belohnungspfade für Gefechte dauern viel zu lange, vor allem für neue Spieler oder Spieler, die im drittplatzierten Team in einem Matchup spielen. Um dies zu beheben, werden wir die Anzahl der Gefechts-Rangpunkte, die man für die Spielplatzierung erhält, von 3/4/5 auf 4/5/6 erhöhen. Außerdem fügen wir einen neuen +1-Bonus-Rangpunkt für Spieler mit einem WvW-Rang zwischen 1 und 149 hinzu. Bestehende rangbasierte Punktboni werden ebenfalls um +1 erhöht (also insgesamt +2 für Bronze, +3 für Silber usw.).
Wir haben uns auch die Komponenten des Gefechts- und Teilnahmesystems angesehen, die ihre vorgesehenen Ziele nicht erreichen. Kurzfristig werden wir damit experimentieren, Anreize für einige unbeabsichtigte Spielweisen zu entfernen. Darüber hinaus werden wir „Teilnahmetoleranzzeit“, die durch die Reparatur von Strukturen im WvW gewährt wird, entfernen. Wir werden auch den Rangpunktebonus für in Unterzahl befindliche Spieler entfernen, die Werteverstärkung für in Unterzahl befindliche Spieler bleibt jedoch bestehen.
Das war’s mit dem heutigen Update! Vielen Dank für eure Aufmerksamkeit.
Bis bald.
Das Guild Wars 2 Team
