Schutzverletzung aus der WIN 04/99   -   www.goldmann.de


Das Problem sind nicht Bugs, die Benutzerführung ist auch nicht schuld. Das Problem mit moderner Software ist tückischer: Wie kriegt man die verdammte Verpackung auf? WIN-Tester Martin Goldmann fordert neue Benchmarks für Software-Tests.

Wer sich heute mit Software-Tests herumschlägt, ist arm dran. Denn während sich jede Hardware mit unzähligen Benchmarks wunderbar vermessen läßt, ist der Software-Tester auf Gefühl, Intuition und ein wenig Erfahrung angewiesen. Alle Versuche, Software in ein Punkteschema zu pressen, sind zum Scheitern verurteilt. Denn wer hat je einen Benchmark für Steuer-Software geschrieben, und wie mißt der Software-Tester die Performance eines Italienisch-Wörterbuchs auf CD?
WIN hat intensiv über diese Probleme nachgedacht und präsentiert als erste europäische Computer-Zeitschrift nachvollziehbare, universell gültige Software-Benchmarks. Die beruhen auf tatsächlich meßbaren Werten:
Ein Plastikfolien-öffnen-Benchmark mißt die Zeit, die ein Software-Tester mit mehrjähriger Erfahrung benötigt, um das eingeschweißte Softwarepaket aus seiner Hülle zu befreien. Gemessen werden - neben der Netto-Auspackzeit - die Anzahl der Flüche, der abgebrochenen Fingernägel und der verwendeten Werkzeuge. Eine eigene Wertung gibt es für hauteng in reißfester Kohlefaserfolie eingeschlossene CD-ROMs.
Gleich nach dem erfolgreichen Öffnen der Schachtel tritt der Packungs-Inhalts-Index PII auf den Plan. Er mißt das Gewicht des Inhalts und setzt ihn ins Verhältnis zum Verpackungsvolumen. Der Referenzwert ist hier eine US-Clipart-Sammlung für Web-Designer mit 50 PII: 40 Gramm Inhalt auf 2000 Milliliter Packungsvolumen.

Dem Handbuch-Finder gebührt ebenfalls ein Platz in der Performance-Messung. Dieser Index mißt die Zeit, bis sich ein User durch die fürsorglich beigelegten Prospekte und Registrierungskarten sowie Prospektregistrierungsangebote, die Freundschaftswerbung und Anforderungskarten für weitere Prospekte gewühlt hat - und er schließlich auf ein zwölfseitiges Manual trifft. Als Nebenmessungen gehen beim Handbuch die Schriftgröße, der Bezug zum gelieferten Produkt und die Übersetzungsqualität ein.
Der letzte Benchmark nennt sich SdS (Such die Seriennummer). Hierbei handelt es sich um einen reinen Performance-Test. Er mißt die Zeit, bis der Tester auf die Idee kommt, die Seriennummer genau auf jener Diskette oder CD zu suchen, die gerade im Laufwerk steckt. Eng mit diesem Leistungstest verbunden ist TFB (Type Fault Benchmark). Er zeichnet auf, wie viele Fehlversuche ein Proband beim Eintippen der 22stelligen Seriennummer in puncto Groß- und Kleinschreibung hat.
Die neuen Testverfahren und -wertungen werden gerade in enger Abstimmung mit Herstellern, Technischen Überwachungsvereinen und der Wasserwacht verfeinert. Voraussichtlich kommen sie im kommenden Jahrtausend erstmals zum Einsatz.


Blick ins nagelneue WIN-Software-Testlabor: Endlich decken gefühlsechte Benchmarks die wirklichen Stärken und Schwächen der Programme auf.