Wie testet man Anti-Viren-Programme?

Andreas Marx, amarx@gegasoft.de, http://www.av-test.de

Inhalt

• Einführung
  • Viren, Würmer und Trojaner

• Test und Evaluation
  • Teil 1: Voraussetzungen, Vorbereitungen
  • Teil 2: Durchführung, Ablauf
  • Teil 3: Ergebnisdarstellung, Nachbereitung

Viren, Würmer und Trojaner

• Oberbegriff "Malicious Code" oder "Malware"
  • Eines der Top-Five-Themen im Computerbereich
  • Software, die vorsätzlich Schaden anrichtet

• Arten (Auszug)
  • Viren: Selbständige Vermehrung durch Infektion anderer Programme und Daten
  • Würmer: Ausbreitung in Netzwerken
  • Trojanische Pferde, Backdoors

Voraussetzungen, Vorbereitungen I

• Voraussetzungen
  • Theoretische Grundlagen über das Testen, über Viren und Anti-Viren-Software
  • Tester muß von Anti-Viren-Firmen unabhängig sein, kein Sponsoring

• Vorbereitungen
  • Erstellen eines Projekt-Plans (Zeitsetzung...)
  • Festlegen der Testkriterien und Wichtungen
  • Ressourcenakquisition (Menschen, Rechner)

Voraussetzungen, Vorbereitungen II

• Informationen, die die Hersteller benötigen
  • Grund bzw. Anlass des Tests
  • Deadlines für Produkte und Updates
  • Was genau wird getestet?
  • Welche Betriebssysteme und Umgebungen?
  • Was wird für den Test benötigt


• Erhalten der Produkte von den Herstellern
  • Mit welchen Herstellervorgaben (Optionen) soll die Software getestet werden?
  • Kontaktpersonen (Ansprechpartner)

Voraussetzungen, Vorbereitungen III

• Generierung der Testdateien
  • Woher die Viren nehmen? Simulatoren, Generatoren, AV-Firmen, Downloads... :-(
  • Virensammlung nach "Lebensbereich" und Merkmalen sortieren (z.B. Datei-, Makroviren)
  • Viren vermehren: Lauffähigkeit testen, Mogeln (Cheaten) ausschließen
  • Viren in archivierten, eingebetteten und komprimierte Dateien

Durchführung, Ablauf I

• Software-Service- und Qualitätsmerkmale
  • Vollständigkeit
  • Benutzerfreundlichkeit, Programm-Feedback
  • Sicherheit
  • Effizienz, Kompatibilität
  • Anpassung, Konfiguration
  • Dokumentation
  • Support, Updates, Kosten


• Teststrategien
  • Volumen (Massentests) und unter Last

Durchführung, Ablauf II

• Viren-spezifische Tests
  • On-Demand (Virenscanner)
  • On-Access (Virenwächter, Guard)
  • Desinfektion ausgewählter Viren
  • Speichererkennung
  • Archivierte und komprimierte Dateien
  • Notfall-Plan und -Disketten des Herstellers

• Achtung: Betriebssystem-Fehler (Features?)

Ergebnisdarstellung, Nachbereitung

• Ergebnisdarstellung
  • Zusammenstellung der Einzelergebnisse zu übersichtlichen Tabellen
  • Wertung mittels vorher festgelegten Schemata
  • Schreiben der Texte durch den Tester
  • Veröffentlichung

• Nachbereitung
  • Kontakte halten, Aufklärung, Diskussion

Zusammenfassung

• Testen ist ein komplexer Prozeß, der nicht in allen Teilen objektiv ist (z.B. Bedienung)
• Nur ein kurzer Abschnitt im Lebenszyklus des Programms testbar
• Man kann einiges testen, aber nur das echte Leben (Real Life) ist entscheidend, welches man nur lückenhaft simulieren oder nachstellen kann
• Test als Entscheidungshilfe

Andreas Marx, amarx@gegasoft.de, http://www.av-test.de