Ausschnitte aus den Ergebnissen der wissenschaftlichen Entwicklung und Begleitforschung zum Berufsnavigator

Die wissenschaftliche Entwicklung des Berufsnavigators erfolgte in enger Zusammenarbeit mit Herrn Prof. Dr. Georg Weise Dipl.-Psych. von der Helmut-Schmidt-Universität der Bundeswehr. Er führte zahlreiche Untersuchungen und Überprüfungen durch, um die Qualität des Berufsnavigators sicherzustellen. Nachfolgend  werden exemplarisch die wichtigsten Ergebnisse vorgestellt. 

In der Literatur findet man zahlreiche Gütekriterien wie z.B. Standardisierung, Normierung, Objektivität, Reliabilität und Validität. An dieser Stelle werden die drei wichtigsten angesprochen, nämlich Objektivität, Reliabilität und Validität. 

Die Objektivität gibt Auskunft darüber, inwieweit die Ergebnisse eines Verfahrens unabhängig von der Art der Testung und der Auswertung sind. Eine zentrale Voraussetzung für eine zufriedenstellende Objektivität ist die Standardisierung (vereinheitlichte Festlegung) des Testformats, der Durchführung, Auswertung und Interpretation der Ergebnisse. 

Die Durchführung des Peer-Ratings (computergestützen Tests) erfolgt über eine Software, die den Schülerinnen und Schülern die Fragen auf eine festgelegte Art und Weise und Darstellung präsentiert. Die Auswertungsobjektivität ist sowohl bei den Expertenprofilen, als auch den Schülerdaten und 10 Berufsempfehlungen der Software gegeben, da die Auswertung durch den Computer erfolgt, ohne dass von außen Eingriffe erforderlich sind.

Die Interpretationsobjektivität ist bei den Expertenprofilen gegeben, da eine Interpretation im eigentlichen Sinne nicht erforderlich ist. Es wird lediglich zur Kenntnis genommen, wie die Experten gewertet haben. 

Unter der Reliabilität versteht man die Messgenauigkeit eines Verfahrens. Ein Lineal ist ein gutes Messinstrument, weil es genau misst. Ein Gummiband ist ein schlechtes Messinstrument, denn damit kann man die Länge einer Strecke nur schätzen.

Um zu überprüfen, ob die Einschätzungen der Schülerinnen und Schüler wirklich zuverlässig sind, wiederholten die Teilnehmer unserer Erststichprobe (2004, Hamburg-Lohbrügge, N = 136) unter gleichen Bedingungen sechs Wochen nach der ersten Datenerhebung die Befragung. 

Die Auswertung ergab über alle Schüler einen mittleren Reliabilitätskoeffizienten (der mittlere Korrelationskoeffizient wurde mittels der FISHER’schen z-Transformation berechnet) von 0,793. Die Reliabilität der Gruppen schwankte von 0,591 bis 0,962.

Bei heterogenen Persönlichkeits-Testverfahren fallen die Reliabilitätskoeffizienten meistens niedriger aus als bei homogenen Verfahren. Deshalb können die o.a. Werte für diesen Bereich mit „gut” bewertet werden.

Um ein Expertenprofil zu erstellen wurden Experten herangezogen, die gleichzeitig als Gruppe urteilten und miteinander diskutieren sollten, wenn es zu größeren Abweichungen kam. Zur Überprüfung wurden Experten unabhängig voneinander auditiert. Dieses Vorgehen wurde gewählt, um die Güte der Expertenurteile abzuschätzen und einen Anhalt für die Homogenität der Urteile zu haben. Die Profile weisen alle eine hohe Übereinstimmung auf und die Korrelationskoeffizienten sind mindestens auf dem 0.1%-Niveau hochsignifikant.

Zur weiteren Überprüfung der Reliabilität der Expertenprofile wurden Daten verglichen, die zu unterschiedlichen Zeitpunkten erhoben wurden. Es handelt sich bei den folgenden Daten um das Profil der Soziologen. Zwischen der Datenerhebung „2003“ und „2005 1“ lagen 19 Monate, zwischen „2003“ und „2005 2“ 23 Monate. Zwischen den Datenerhebungen „2005 1“ und „2005 2“ lagen 4 Monate. 

Schon der Vergleich der einzelnen Zahlen lässt erkennen, dass sehr ähnliche Wertungen vorliegen. Die folgende Abbildung macht dies noch deutlicher.

Im Jahr 2003 wurde erstmals ein Expertenprofil für den „Soziologen“ erhoben. Im Jahr 2005 wurde das Expertenprofil zweimal reevaluiert, um Aussagen zur Reliabilität der Expertenprofile machen zu können.

Die Korrelationen zwischen den Expertenprofilen sind in der folgenden Tabelle dargestellt.

Zahlreiche andere Expertenprofile wurden im Jahr 2005 mind. zweifach reevaluiert. Der niedrigste Korrelationskoeffizient lag bei 0.633, der höchste bei 0.969. Die mittlere Korrelation beträgt 0.899. Die ist ein sehr guter Wert, d.h. die Expertenprofile sind stabil und messgenau.

Die Reliabilität der Expertenprofile, gemessen mit der Retest-Methode (auch Testwiederholungsmethode genannt bei der der gleiche Test bzw. das gleiche Verfahren an den gleichen Probanden in einem bestimmten zeitlichen Abstand wiederholt wird), kann als sehr gut bezeichnet werden.

Unter Validität versteht man die Gültigkeit eines Verfahrens. Misst der Test wirklich das, was es messen soll? Um das zu überprüfen, wurden Schülerinnen und Schüler, die den Berufsnavigator durchlaufen hatten mit anderen Testverfahren getestet.

Ein Beispiel: 36 von den 136 Schülern der Erststichprobe „Hamburg-Lohbrügge“, wiesen laut Berufsnavigator eine Eignung für Berufe aus dem Bereich „Metall und Elektro“ auf. Diese wurden im Anschluss einem unabhängigen Assessment der Firma HAUNI (Hamburg) unterzogen, das 2,5 Tage dauerte und auf die Überprüfung der erforderlichen Fähigkeiten für Berufe aus dem Bereich „Metall und Elektro“ spezialisiert ist. Es wurde unter anderem das LPS (Leistungsprüfsystem) und die DBP (Drahtbiegeprobe)  durchgeführt. Für diese Stichprobe ließ sich eine überdurchschnittliche technische Begabung nachweisen und somit das Ergebnis des Berufsnavigators in hohem Maße bestätigen. 

Jeweils im Anschluss an die Beratung wurden die Schüler anonym schriftlich befragt, wie sie die Vorhersagequalität der Ergebnisse des Berufsnavigators einschätzen. Dabei ergaben sich auf einer fünfstufigen Skala folgende Werte (N = 3760): 

In weiteren Untersuchungen wurden die Normen – vor allem Mittelwerte und Standardabweichungen – für verschiedene Schulformen, Klassenstufen, Altersgruppen sowie für beide Geschlechter ermittelt und mehrfach an sehr großen Stichproben überprüft. Ein wichtiger Untersuchungsabschnitt betraf die im Berufsnavigator verwendeten Skalen und die Operationalisierungen der Merkmale.