Hi André
Andre Schnabel schrieb:
Hi,
-------- Original-Nachricht --------
Von: Raphael Bircher <[EMAIL PROTECTED]>
Das Testtool unterscheidet momentan nicht mehr Plattformen. Ich hab mit
Helge Delfs auch schon darüber diskutiert. Er meinte wichtiger wäre, mal
die Plattformen Windows, Linux und Mac zu besetzen. Was noch
ausdrücklich fehlt, ist eine Vergleichsmöglichkeit von den Tests die ich
gemacht habe mit denen die schon auf Quaste sind. Dann könnte ich auch
mal ein PPC durchlaufen lassen, und ihn mit den QUASTe Tests
vergleichen. Das ganze macht aber me. Wirklich erst bei RC's sinn. Wir
haben momentan auch so tendentiell genug zu testen.
Sorry, ich bin da komplett anderer Meinung: Wenn man erst in der RC Phase
beginnt, verschiedene Ergebnisse miteinander zu vergleichen ist es schlicht zu
spät. In der RC-Phase müssen wir in der Regel sehr schnell reagieren können -
es bleibt kaum Zeit für eine detailliertere Analyse, ob Unterschiede in den
Testergebnissen nur tatsächlich durch Programmfehler verursacht werden oder
durch unterschiedliche Testumgebungen bedingt sind.
Bim momentanen Ansatz von QUASTe wird ein Testset, welches möglichst gut lief
hochgeladen - und niemand weiß, ob dieses Testset der Regel entspricht oder die
glückliche Ausnahme ist.
Könnte man mehrere Testsets hochladen, könnten Unterschiede die durch
verschiedenen Testumgebungen entstehen schon viel früher im Entwicklungszyklus
erkannt und auch analysiert werden.
Natürlich hast Du recht - wir haben eh schon genug zu testen (weshalb ich es im
Moment z.B. überflüssig finde, in der Breite automatische Tests für m29 zu
machen). Nur haben die Tests nur dann einen Sinn, wenn die Ergebnisse auch
ausgewertet werden.
Ich glaube der Ansatz von QUASTe und deinen automatischen tests sind
grundsätzlich verschieden. Haben aber beide seine daseins Berechtigung.
Du machst die Test um Fehler rauszufinden. QUASTe ist eher ein
Fehlerbarometer. In deinem Fall ist es natürlich unabdingbar, die Tests
zu analysieren. Denn sonst findet man die Fehler nicht. Im Fall von
QASTe ist das lang nicht immer notwendig. Es geht da mehr um die
Fehlerzahl.. Hat nun ein millestone plötzlich massiv mehr Fehler als die
anderen sollten beim Tester die Alarmglocke leuten. Dann sollte man sich
Zeit nehmen, das ganze zu analysieren. Ist alles so im normalen Bereich,
braucht man da nicht die Fehlermeldungen anzusehen. Diese Fehlerreferenz
ist sehr hilfreich, da man mit kontinuirlichen Tests relativ gut ein
"Fehlerniveau" halten kann. Ausserdem ist es ja auch geplant, dasselbe
in die CWS Ebene zu bringen. Fallen die Automatischen Tests in einem CWS
mit mehr Fehler aus, als die des Masters, auf dem es basiert, dann ist
im CWS etwas noch nicht in Ordnung. Das sieht man dann dank QASTe sehr
schnell, ohne dass man die ganzen Logfiles analysieren muss. Um dann
herauszufinden wo der Hund liegt, muss man dann schon wieder hinter die
Logfiles.
Aber dies funktioniert halt nur, wenn man regelmässig Testresultate hat.
Daher ist es für QUASTe wichtig, auch m29 möglichst vollständig zu
haben. Diese Logs müssen nicht zwingend analysiert werden. Wenn man auf
QUASTe sieht, dass die Fehleranzahl nicht massiv gestiegen ist, kann man
die Tests abhaken.
Bei der OOO300 Linie sieht es etwas anders aus. Da Analysiert SUN
momentan die Logs, und behebt die Fehler. Das machten sie schon immer.
Nur durch QUASTe können die Sunnies nun auch Resultate anderer Rechner
sehen. Es kann also sein, dass so Fehler entdeckt werden, die sonst nie
aufgefallen wären. Mein Tip daher, legt Eure .res Files auf die Seite,
sie können plötzlich nützlich sein.
Ich gehe vollkommen einig, das QUASTe aus sicht der Community zu wenig
Plattformen unterstützt. Das Problem ist auch, dass wir keine
möglichkeit haben, einen Kommentar zu hinterlassen. Die einzige
Möglichkeit die wir haben, ist, in den .txt die wir dann zippen den PC
Name zu manipulieren. z.B. PPC/OSX oder Linux/deb. Wir können mehrere
uploads machen in dem wir mehrere Sprachen testen. Ansonsten müssen wir
die anderen Plattformen von Hand analysieren
Phu, das wurde lang
Gruss Raphael
André
André
--
# Raphael Bircher
# Member of OpenOffice.org
# Private Website: http://www.raphaelbircher.ch
---------------------------------------------------------------------
To unsubscribe, e-mail: [EMAIL PROTECTED]
For additional commands, e-mail: [EMAIL PROTECTED]
