Kriterienkatalog PDF Drucken

Beschreibung und Einsatzzweck

EvalExpert bezeichnet mit dem Kriterienkatalog eine Matrix aus den gewichteten Anforderungen des Kunden an die zu evaluierenden Objekte und deren Anbietern.

An den Kreuzpunkten von Anforderung und Anbieter wird die Bewertung nach einem vorher für jedes Kriterium festgelegtem Bewertungsschema abgelegt. Aus Bewertung und Gewichtung ergibt sich pro Kriterium die Beurteilung des Anbieters. Bei unterschiedlichen Bewertungsschemata werden die Kriterien durch Normalisierung vergleichbar gemacht. Die Summierung der Beurteilungen eines Anbieters ergibt dessen Gesamtbeurteilung.

Damit wird der Kriterienkatalog das Fundament für die Auswahl des passenden Anbieters. Weiterhin bietet er eine gute Grundlage, um Konzepte und Pflichtenheft für die nach der Evaluation folgende Einführungsphase zu erstellen.

Ergebnisse

Übersicht über die gewichteten Anforderungen des Kunden sowie der gewichteten normalisierten Bewertungen der Anbieter.

Besonderheiten

Der Kriterienkatalog ist für EvalExpert das zentrale Werkzeug jeder Evaluation. Seine Qualität wirkt sich maßgeblich auf die Ergebnisse aus. Dieses beginnt bei der Auswahl der Kriterien, geht über die Festlegung der Gewichtung und endet bei der Bewertung der Anbieter.

Bei der Auswahl der Kriterien sollte folgendes beachtet werden:

  • Die Kriterien sollten die Anforderungen des Kunden vollständig abdecken. Bei der Anzahl gewählter Kriterien sollte jedoch beachtet werden, daß sie maßgeblich die Dauer der Evaluation beeinflussen.
  • Die Kriterien sollten eindeutig und nachvollziehbar sein, jedoch kurz und prägnant beschrieben werden. Die Bedeutung des Kriteriums sollte nicht nur jedem an der Evaluation Beteiligten auf einen Blick verständlich sein, sie muss evtl. auch nach Monaten oder Jahren noch von Personen erkannt werden, die gegebenenfalls nicht an der Evaluation teilgenommen haben.
  • Die Bewertung der Kriterien soll die Vergleichbarkeit der Anbieter ermöglichen. Die Kriterien dürfen also nicht anbieterspezifisch formuliert sein.

Folgendes sollte bei der Strukturierung beachtet werden:

  • Die Kriterien im Katalog sollten nach verschiedenen Gesichtspunkten sortierbar sein. Zwei Sichtweisen sind dabei besonders zu berücksichtigen:
    • Der Bewertende: Er möchte schnell für einen bestimmten Anbieter zu einem bestimmten Kriterium seine Bewertung hinterlegen.
    • Der Analyst : Er möchte schnell auf seine Fragen Antworten finden.
  • Die Struktur sollte berücksichtigen, daß jedes Kriterium seine Evaluationsphase hat. Es gibt Kriterien der Vorevalution, die eine schnelle Auswahl interessanter Kandidaten aus einer großen Anzahl Anbietern ermöglichen und Kriterien für die Hauptevalution, deren Bewertung aufwändig ist, die aber auch eine genauere Beurteilung der Anbieter erlauben.
  • Bei der Strukturierung sollte berücksichtigt werden, das Kriterien von unterschiedlichen Gruppen bewertet werden. Die Bewertung kann z.B. durch Anbieter, Evaluator, Beteiligte und / oder Referenzkunden erfolgen.
  • In den Kriterienkatalog fließen viele subjektive Einschätzungen ein. Der Kriterienkatalog sollte es Analysten (Auftraggeber, Projektleiter, Beteiligte,...) daher erlauben, für das Feintuning schnell und fehlerfrei Simulationen verschiedener Annahmen durchzuführen. Gerade Gewichtungen und Bewertungsschema können häufig erst in mehreren iterativen Durchgängen festgelegt werden.

Die Gewichtung der Kriterien, ein entscheidendes Merkmal bei der Auswahl der Anbieter:

  • Über die Gewichtung wird beschrieben, welche Bedeutung ein Kriterium im Bezug zu den anderen Kriterien hat. Hierbei müssen in der Regel verschiedene Interessengruppe berücksichtigt werden. Die Gewichtungen sollten also zwischen diesen Gruppen abgestimmt werden.
  • Die Kriterien sollten nach einem einheitlich vergleichbaren intuitivem System gewichtet werden. Wechsel zwischen verschiedenen Systemen (z.B. zwischen Schulnotensystem und verschiedenen Formen von textlichen Gewichtungen wie sehr wichtig - wichtig - unwichtig) erschweren die Abstimmung der Gewichtungen zwischen den Kriterien.

Ein weiteres entscheidendes Merkmal bei der Auswahl der Anbieter ist deren Bewertung:

  • Bewertungen werden evtl. von mehreren Personen abgegeben, aber ganz bestimmt von vielen Personen interpretiert. Das Bewertungsschema sollte daher intuitiv und möglichst eindeutig sein.
  • Bewertungen sind häufig eine subjektive Entscheidung. Die Bewertenden sollten daher ihre Entscheidung an der Bewertung erläutern.
  • Um den subjektiven Einfluss zu reduzieren, sollten alle Anbieter von mehreren Personen bewerten werden. Auch diese Möglichkeit sollte der Kriterienkatalog bieten.
  • Vor Start der eigentlichen Bewertungen sollte der Katalog von Bewertenden und Analysten nochmals auf Eindeutigkeit, Verständlichkeit und Praxisrelevanz geprüft werden.
Werden für die Bewertung verschiedene Bewertungsschemata verwendet, macht eine Normalisierung der Beurteilungen die Kriterien untereinander vergleichbar und erlaubt damit eine Verdichtung der Daten in Form von Analysen. Dieses ist jedoch nur möglich, wenn die Normalisierung nach einem einheitlichen Verfahren erfolgt.

Üblicher Einsatz in folgenden Evaluationsphasen

Alle Evaluationsphasen.