über den Autor

Thales Fu, leitender F&E-Manager von Ctrip, setzt sich dafür ein, bessere Wege zu finden, KI und Technik zu kombinieren, um reale Probleme zu l?sen.

Einführung

Im schnell iterativen Softwareentwicklungszyklus ist das automatisierte Testen der Benutzeroberfl?che (UI) zum Schlüssel zur Verbesserung der Effizienz und zur Sicherstellung der Produktqualit?t geworden. Da Anwendungen jedoch immer komplexer werden, sto?en herk?mmliche UI-Automatisierungsmethoden allm?hlich an ihre Grenzen. Die KI-gesteuerte UI-Automatisierung ist da, steht aber immer noch vor Herausforderungen in Bezug auf Genauigkeit und Zuverl?ssigkeit. In diesem Zusammenhang schl?gt dieser Artikel eine innovative Perspektive vor: Durch Echtzeit-Debugging-Technologie kann die Wirksamkeit von KI-geschriebenen UI-Automatisierungsskripten erheblich verbessert werden.

Dieses Problem ist nicht nur eine technische Herausforderung, es h?ngt auch damit zusammen, wie die Bereitstellung von Software beschleunigt und gleichzeitig die Softwarequalit?t sichergestellt werden kann. In diesem Artikel wird untersucht, wie Echtzeit-Debugging der KI dabei helfen kann, UI-Testskripte genauer zu verstehen und auszuführen, und wie diese Methode revolution?re Ver?nderungen in der Softwareentwicklung bewirken kann.

1. Aktueller Stand der UI-Automatisierung

Die UI-Automatisierung hat eine betr?chtliche Entwicklung erfahren, vom ursprünglichen einfachen Aufzeichnungs- und Wiedergabetool bis zum heutigen komplexen Skript-Framework. Trotz der kontinuierlichen Weiterentwicklung der Technologie stehen traditionelle UI-Automatisierungsmethoden immer noch vor Herausforderungen, wenn es um den Umgang mit sich schnell ?ndernden Anwendungsschnittstellen geht. Da Anwendungen immer komplexer und dynamischer werden, reichen herk?mmliche Ans?tze m?glicherweise nicht mehr aus. Daher suchen Ingenieure nach flexibleren und zuverl?ssigeren L?sungen, um die Effizienz und Zuverl?ssigkeit der UI-Automatisierung zu verbessern. Es entsteht eine neue Generation von UI-Automatisierungstools und -technologien.

Laut Ergebnissen einer Branchenumfrage ist das manuelle Schreiben von Testskripten ineffizient und nimmt bei der Anwendung von Updates viel Zeit für die überarbeitung in Anspruch. Untersuchungen zeigen, dass die Pflege von UI-Automatisierungstestskripten 60 bis 70 % der gesamten Testarbeit ausmachen kann. In einer agilen Entwicklungsumgebung kann es mehr als 100 Stunden dauern, vorhandene Automatisierungsskripte für jedes Anwendungsupdate neu zu schreiben und zu testen. Diese hohen Wartungskosten verdeutlichen die Ineffizienz und den Ressourcenverbrauch herk?mmlicher UI-Automatisierungsmethoden.

2. Einführung von Behavior-Driven Development BDD

Behavior-Driven Development (BDD) ist eine agile Softwareentwicklungspraxis, die die Kommunikation zwischen Entwicklern, Testern und nicht-technischen Stakeholdern von Softwareprojekten f?rdert. Kommunizieren Sie effektiver. Cucumber ist ein beliebtes Tool zur Implementierung der BDD-Methodik, das es Teammitgliedern erm?glicht, explizite, ausführbare Testf?lle in natürlicher Sprache zu schreiben.

Cucumber verwendet eine dom?nenspezifische Sprache (DSL) namens Gherkin, die extrem einfach zu lesen ist und es auch technisch nicht versierten Personen erm?glicht, den Zweck und Inhalt des Tests zu verstehen. Testszenarien werden in Form einer Reihe von ?Give-When-Then“-Anweisungen geschrieben, die klar beschreiben, wie das System unter bestimmten Bedingungen reagieren soll.

Zum Beispiel kann die Warenkorbfunktion einer Online-Shopping-Website das folgende Gherkin-Szenario aufweisen:

Dieser Ansatz nutzt natürliche Sprachbeschreibungsfunktionen, um eine bessere Kommunikation und Kommunikation zwischen technischen und nichttechnischen Teams zu erm?glichen verstehen. Gleichzeitig übernimmt das Testszenario in natürlicher Sprache auch die Rolle der Projektdokumentation und hilft neuen Teammitgliedern, die Projektfunktionen schnell zu verstehen. Dies erm?glicht es nicht-technischem Personal, direkt am Testfall-Schreib- und Verifizierungsprozess teilzunehmen, wodurch sichergestellt wird, dass die Entwicklungsarbeit eng an den Gesch?ftsanforderungen ausgerichtet ist.

Aber es gibt auch Einschr?nkungen. Obwohl das Testszenario in natürlicher Sprache geschrieben ist, erfordert die Implementierung (Schrittdefinition) hinter jedem Schritt immer noch, dass technisches Personal es in einer Programmiersprache schreibt. Das bedeutet, dass die Implementierung der Testlogik einen komplexen Codierungsaufwand erfordern kann. Wenn Anwendungen wachsen und sich ?ndern, kann die Wartung und Aktualisierung der entsprechenden Testschritte mühsam werden. Insbesondere wenn sich die Benutzeroberfl?che h?ufig ?ndert, müssen auch die relevanten Schrittdefinitionen entsprechend aktualisiert werden. Es gibt auch Einschr?nkungen in Bezug auf Flexibilit?t und Anpassbarkeit: Cucumber-Testskripte basieren auf vordefinierten Schritten und Strukturen, was die Flexibilit?t des Tests einschr?nken kann. Bei einigen komplexen Testszenarien erfordert die Implementierung einer bestimmten Testlogik m?glicherweise kreative M?glichkeiten, um die Einschr?nkungen des Frameworks zu umgehen.

3. Aktuelle Anwendung von KI in der UI-Automatisierung

In den letzten Jahren wurde die KI-Technologie in die UI-Automatisierung integriert, insbesondere nach dem Aufkommen gro?er Modelle, die durch GPT dargestellt werden, da sie selbst über Codegenerierung verfügt F?higkeiten. Die Branche hat auch damit begonnen, die Testfallbeschreibungssprache von Gherkin über gro?e Modelle direkt in Testcode zu generieren.

Der vom aktuellen gro?en Modell generierte Testcode kann die Erwartungen jedoch nicht vollst?ndig erfüllen. Es gibt mehrere Hauptprobleme: Erstens kann das generierte Skript aufgrund von Syntaxfehlern m?glicherweise nicht ausgeführt werden Der Anwendungsfall erfordert es, die Prüfpunkte zu testen. In unserer Praxis liegt die Erfolgsquote beim ersten Versuch bei maximal 5 %.

Nachdem die Generierung fehlgeschlagen ist, müssen die Leute eingreifen und Abhilfe schaffen. Einschlie?lich: Debuggen, ?ndern des neu zu generierenden Anwendungsfalls oder direktes ?ndern des generierten Skripts.

Und diese Aufgaben selbst erfordern auch viel Manpower, was im Widerspruch zur ursprünglichen Absicht unseres Systems steht, Testskripte automatisch durch KI zu generieren.

4. KI schreibt vollautomatisch effektive Testskripte

Um dieses Problem zu l?sen, haben wir den gesamten Prozess der KI-Erstellung von Testskripten neu überdacht.

Wir berücksichtigen auch die Zusammenarbeit der Menschen. Die Leute haben die Debugging- und ?nderungsarbeiten im System durchgeführt. Kann die KI diesen Teil der Arbeit übernehmen? Lassen Sie das System den generierten Code selbst ausführen und lassen Sie die KI die von ihr generierten Fehlercodes debuggen und ?ndern.

Daher haben wir das Systemdesign so angepasst, dass die KI diese Aufgaben autonom anstelle von Menschen erledigt. Letztendlich wurden für alle Anwendungsf?lle der Ctrip-Seite mit Hotelbestelldetails 83,3 % der F?lle erfolgreich generiert, ohne dass irgendjemand beteiligt war. W?hrend des Skriptgenerierungsprozesses wurden in 8 % der F?lle Fehler entdeckt. Wir haben diese Anwendungsf?lle dreimal hintereinander generiert, mit Erfolgsraten von 84,3 %, 81,4 % bzw. 83,3 %. Das System ist stabil und effektiv.

Die spezifischen Testf?lle und Codes lauten wie folgt:

Zun?chst müssen Sie zum Benutzerrechtemodul weiter unten auf der Bestelldetailseite bl?ttern und dann auf klicken Bereich zur Buchungsoptimierung, um die Preis-Floating-Ebene einzublenden.

Dann prüfen Sie, ob in den Gebührenangaben Black Diamond VIP enthalten ist.

Der endgültig generierte Testcode lautet wie folgt:

5. Systemimplementierung

Das Kernarchitekturdiagramm des gesamten Systems lautet wie folgt. Der Kernbestandteil des Systems ist ein Langchain-Rahmenprogramm. Es greift auf das gro?e Modell zu und wir haben es mit mehreren Tools ausgestattet, die haupts?chlich in zwei Kategorien unterteilt sind: Das eine ist das Tool zum Abrufen von Seiteninformationen und das andere das Debugging-Tool.

Langchain verwendet automatisch das Tool zur Erfassung von Seiteninformationen, um die Seitendaten nach Bedarf abzurufen und zu bestimmen, welche spezifische Steuerung für den aktuellen Vorgang zum Generieren von Code erforderlich ist. Verwenden Sie dann das Debugging-Tool, um den Code tats?chlich auf dem Mobiltelefon auszuführen, und beurteilen Sie anhand des Debugging-Feedbacks, ob der von Ihnen generierte Code korrekt ist.

5.1 Aufforderungsworte

Nachdem wir die Grundstruktur haben, brauchen wir schnelle Worte, um diese Werkzeuge zusammenzufügen und der KI verst?ndlich zu machen, wie sie funktionieren soll. Strukturell besteht unser Eingabeaufforderungswort aus mehreren Teilen: Teilen Sie der KI zun?chst mit, wie sie denken und arbeiten soll, und weisen Sie sie zweitens an, jede ihrer generierten Anweisungen über Debug zu debuggen, teilen Sie ihr erneut das Ausgabeformat mit und teilen Sie ihr schlie?lich mit Der vollst?ndige Text des Anwendungsfalls, der von der KI bearbeitet werden soll.

Um der KI zu sagen, wie sie denken und funktionieren soll, umfasst die Erweiterung folgende Teile: Schauen Sie sich zun?chst an, welche Module die Seite hat, welches Modul der Schritt sein soll, den ich bedienen m?chte, welche Bedienelemente und Komponenten sich in diesem Modul befinden , und was ich gerade bedienen m?chte Um welches Steuerelement oder welche Komponente handelt es sich, welche Aktion m?chte ich ausführen und welche spezielle Syntax kann ich verwenden und dann eine Anweisung generieren.

5.2 Debugging-Tool

Der Kern des Debugging-Tools besteht darin, über das ADB-Tool eine Fernverbindung zum Telefon herzustellen. Nach der Verbindung k?nnen wir die von der KI generierten Anweisungen zum Ausführen an das Mobiltelefon senden und die Laufergebnisse an die KI lesen, sodass die KI beurteilen kann, ob die von ihr generierten Anweisungen korrekt sind. 5.3 Tool zur Erfassung von Seiteninformationen Das Steuerelement, das es bedienen m?chte, ist Was, mit der ID k?nnen nachfolgende Programmanweisungen basierend auf der ID generiert werden. Um die ID zu erhalten, ben?tigen wir eine Steuerelement- und Komponentenbibliothek. Der Kern dieser Bibliothek ist die ID jedes Steuerelements und jeder Komponente sowie deren Beschreibung. Mit diesen beiden Inhalten kann die KI anhand der Beschreibung der Steuerung nach dem Lesen des BDD-Anwendungsfalls erraten werden, welche Steuerung ben?tigt wird.

Um diesen Zweck zu erreichen, haben wir eine Seitensteuerungsbibliothek eingerichtet. Zus?tzlich zur ID und Beschreibung jedes Steuerelements auf der Seite enth?lt diese Bibliothek auch die Beziehung zwischen der Seite und Komponenten sowie die Beziehung zwischen Komponenten und Steuerelementen. Es kann der KI die schrittweise Abfrage erleichtern.

Die Steuerbibliothek selbst wird basierend auf unserer statischen Analyse des Codes durch Jobs generiert. In tats?chlichen Anwendungen werden die Steuerelemente auf der Seite jedoch in einigen Szenarien ausgeblendet, da die derzeit auf der Seite angezeigten Steuerelemente je nach Szenenstatus unterschiedlich sind. Daher schneidet das Tool zur Erfassung von Seiteninformationen die derzeit auf der Seite vorhandenen Steuerelemente mit den in der Steuerelementbibliothek abgefragten Steuerelementen ab und erh?lt so die tats?chlich auf der aktuellen Seite angezeigten Steuerelemente und ihre Beschreibungsinformationen. 5.4 Weiter gespaltene KI Die Erfolgsquote bei der Generierung ist ebenfalls von 5 % auf 55 % gestiegen, aber die Erfolgsquote von 55 % reicht immer noch nicht aus.

Wir haben die fehlgeschlagenen F?lle weiter analysiert. Es stellte sich heraus, dass das Hauptproblem die Halluzination der KI war. Obwohl die prompten Worte relativ detailliert waren, ging die KI manchmal nicht wie erforderlich mit der Situation um und redete manchmal selbst Unsinn.

Unser Fazit ist, dass der KI zu viel Verantwortung übertragen wird und zu viele Dinge berücksichtigt werden müssen. Es ist nicht so, dass es nicht genügend Token hat, aber wenn es zu viele Dinge tun muss, wird es vergessen und kann die Anforderungen nicht genau erfüllen. Daher haben wir über eine Aufteilung nachgedacht und dennoch die Funktion von Langchain verwendet. Da KI Funktionen durch Tools ausführen kann, warum kann dieses Tool selbst keine KI sein?

Du kannst es sogar noch einmal teilen.

Durch diese Aufteilungen haben wir die Arbeit, die jede KI berücksichtigen muss, weniger und einfacher gemacht und sie auch genauer verarbeitet, und die Erfolgsquote der endgültigen Generation ist auf über 80 % gestiegen.

Follow-up-Entwicklung

Derzeit kann KI durch unsere Arbeit automatisierten Testcode mit einer Erfolgsquote von etwa 80 % ohne menschliche Beteiligung generieren L?se es weiter.

1) Die Kosten für den Anruf bei gro?en Modellen sind immer noch hoch. Gibt es eine bessere M?glichkeit, die Arbeit zu geringeren Kosten abzuschlie?en?

2) Es gibt derzeit einige Vorg?nge oder überprüfungen, die schwierig zu handhaben sind. Die Erfolgsquote von 80 % bietet noch viel Raum für Verbesserungen und die generierten Ergebnisse müssen noch überprüft werden.

3) Darüber hinaus gibt es in anderen Aspekten Verbesserungspotenzial, das unserer kontinuierlichen Verbesserung würdig ist.