Ausschnitte aus den Ergebnissen der wissenschaftliche Entwicklung und Begleitforschung zum Berufsnavigator

Testentwicklung:

Die wissenschaftliche Entwicklung des Berufsnavigators erfolgte in enger Zusammenarbeit mit Herrn Prof. Dr. Georg Weise Dipl.-Psych. von der Helmut-Schmidt-Universität der Bundeswehr. Er führte zahlreiche Untersuchungen und Überprüfungen durch, um die Qualität des Berufsnavigators sicherzustellen. Nachfolgend  werden exemplarisch die wichtigsten Ergebnisse vorgestellt. 

Gütekriterien des Verfahrens:

In der Literatur findet man zahlreiche Gütekriterien wie z.B. Standardisierung, Normierung, Objektivität, Reliabilität und Validität. An dieser Stelle werden die drei wichtigsten angesprochen, nämlich Objektivität, Reliabilität und Validität. 

1. Objektivität (Distanz, Neutralität)

Die Objektivität gibt Auskunft darüber, inwieweit die Ergebnisse eines Verfahrens unabhängig von der Art der Testung und der Auswertung sind. Eine zentrale Voraussetzung für eine zufriedenstellende Objektivität ist die Standardisierung (vereinheitlichte Festlegung) des Testformats, der Durchführung, Auswertung und Interpretation der Ergebnisse. 

Die Durchführung des Peer-Ratings (computergestützen Tests) erfolgt über eine Software, die den Schülerinnen und Schülern die Fragen auf eine festgelegte Art und Weise und Darstellung präsentiert. Die Auswertungsobjektivität ist sowohl bei den Expertenprofilen, als auch den Schülerdaten und 10 Berufsempfehlungen der Software gegeben, da die Auswertung durch den Computer erfolgt, ohne dass von außen Eingriffe erforderlich sind.

Die Interpretationsobjektivität ist bei den Expertenprofilen gegeben, da eine Interpretation im eigentlichen Sinne nicht erforderlich ist. Es wird lediglich zur Kenntnis genommen, wie die Experten gewertet haben. 

2. Reliabilität (Zuverlässigkeit)

Unter der Reliabilität versteht man die Messgenauigkeit eines Verfahrens. Ein Lineal ist ein gutes Messinstrument, weil es genau misst. Ein Gummiband ist ein schlechtes Messinstrument, denn damit kann man die Länge einer Strecke nur schätzen.

Reliabilität der Schülerdaten

Um zu überprüfen, ob die Einschätzungen der Schülerinnen und Schüler wirklich zuverlässig sind, wiederholten die Teilnehmer unserer Erststichprobe (2004, Hamburg-Lohbrügge, N = 136) unter gleichen Bedingungen sechs Wochen nach der ersten Datenerhebung die Befragung. 

Die Auswertung ergab über alle Schüler einen mittleren Reliabilitätskoeffizienten (der mittlere Korrelationskoeffizient wurde mittels der FISHER’schen z-Transformation berechnet) von 0,793. Die Reliabilität der Gruppen schwankte von 0,591 bis 0,962.

Bei heterogenen Persönlichkeits-Testverfahren fallen die Reliabilitätskoeffizienten meistens niedriger aus als bei homogenen Verfahren. Deshalb können die o.a. Werte für diesen Bereich mit „gut” bewertet werden.

Reliabilität der Expertenprofile: hier Übereinstimmungsgenauigkeit

Um ein Expertenprofil zu erstellen wurden Experten herangezogen, die gleichzeitig als Gruppe urteilten und miteinander diskutieren sollten, wenn es zu größeren Abweichungen kam. Zur Überprüfung wurden Experten unabhängig voneinander auditiert. Dieses Vorgehen wurde gewählt, um die Güte der Expertenurteile abzuschätzen und einen Anhalt für die Homogenität der Urteile zu haben. Die Profile weisen alle eine hohe Übereinstimmung auf und die Korrelationskoeffizienten sind mindestens auf dem 0.1%-Niveau hochsignifikant.

Reliabilität der Expertenprofile: hier Messwiederholung

Zur weiteren Überprüfung der Reliabilität der Expertenprofile wurden Daten verglichen, die zu unterschiedlichen Zeitpunkten erhoben wurden. Es handelt sich bei den folgenden Daten um das Profil der Soziologen. Zwischen der Datenerhebung „2003“ und „2005 1“ lagen 19 Monate, zwischen „2003“ und „2005 2“ 23 Monate. Zwischen den Datenerhebungen „2005 1“ und „2005 2“ lagen 4 Monate. 

Hauptmerkmale

Datenerhebung 2003

Datenerhebung 2005 „1“

Datenerhebung 2005 „2“

Belastbarkeit

0,222

0,265

0,309

Bildung

0,037

0,067

0,100

Entschlossenheit

0,040

0,019

0,012

Flexibilität

0,371

0,344

0,320

Führungsfähigkeit

0,162

0,219

0,180

Gedächtnis

0,046

0,037

0,023

Intelligenz

0,029

0,019

0,019

Konzentration

0,127

0,108

0,081

Kreativität

0,094

0,120

0,153

Lernfähigkeit

0,318

0,228

0,214

Motivation

0,143

0,086

0,028

Offenheit

0,077

0,079

0,080

Raumvorstellung

0,013

0,110

0,008

Selbständigkeit

0,059

0,039

0,033

Soziale Kompetenz

0,064

0,113

0,139

Sprachbegabung

0,005

0,036

0,024

Zielstrebigkeit

0,147

0,209

0,244

Hauptmerkmale der Expertenwertungen: Soziologen (bei den Werten handelt es sich um ahp-Werte)

Schon der Vergleich der einzelnen Zahlen lässt erkennen, dass sehr ähnliche Wertungen vorliegen. Die folgende Abbildung macht dies noch deutlicher.

Reliabilität der Expertenprofile | Berufsnavigator

Expertenprofile „Soziologen“: Messwiederholung

Im Jahr 2003 wurde erstmals ein Expertenprofil für den „Soziologen“ erhoben. Im Jahr 2005 wurde das Expertenprofil zweimal reevaluiert, um Aussagen zur Reliabilität der Expertenprofile machen zu können.

Die Korrelationen zwischen den Expertenprofilen sind in der folgenden Tabelle dargestellt.

 

Datenerhebung 2003

Datenerhebung 2005 „1“

Datenerhebung 2005 „2“

Datenerhebung 2003

1.000

0,890

0,821

Datenerhebung 2005 „1“

 

1.000

0,935

Datenerhebung 2005 „2“

 

 

1.000

Interkorrelationen der Expertenprofile „Soziologe“

Zahlreiche andere Expertenprofile wurden im Jahr 2005 mind. zweifach reevaluiert. Der niedrigste Korrelationskoeffizient lag bei 0.633, der höchste bei 0.969. Die mittlere Korrelation beträgt 0.899. Die ist ein sehr guter Wert, d.h. die Expertenprofile sind stabil und messgenau.

Die Reliabilität der Expertenprofile, gemessen mit der Retest-Methode (auch Testwiederholungsmethode genannt bei der der gleiche Test bzw. das gleiche Verfahren an den gleichen Probanden in einem bestimmten zeitlichen Abstand wiederholt wird), kann als sehr gut bezeichnet werden.

3. Validität (Gültigkeit, Vebindlichkeit)

Unter Validität versteht man die Gültigkeit eines Verfahrens. Misst der Test wirklich das, was es messen soll? Um das zu überprüfen, wurden Schülerinnen und Schüler, die den Berufsnavigator durchlaufen hatten mit anderen Testverfahren getestet.

Externe Validität

Ein Beispiel: 36 von den 136 Schülern der Erststichprobe „Hamburg-Lohbrügge“, wiesen laut Berufsnavigator eine Eignung für Berufe aus dem Bereich „Metall und Elektro“ auf. Diese wurden im Anschluss einem unabhängigen Assessment der Firma HAUNI (Hamburg) unterzogen, das 2,5 Tage dauerte und auf die Überprüfung der erforderlichen Fähigkeiten für Berufe aus dem Bereich „Metall und Elektro“ spezialisiert ist. Es wurde unter anderem das LPS (Leistungsprüfsystem) und die DBP (Drahtbiegeprobe)  durchgeführt. Für diese Stichprobe ließ sich eine überdurchschnittliche technische Begabung nachweisen und somit das Ergebnis des Berufsnavigators in hohem Maße bestätigen. 

Subjektive Validität

Jeweils im Anschluss an die Beratung wurden die Schüler anonym schriftlich befragt, wie sie die Vorhersagequalität der Ergebnisse des Berufsnavigators einschätzen. Dabei ergaben sich auf einer fünfstufigen Skala folgende Werte (N = 3760): 

    % Sehr gut und gut M&E-Eignung: Eignung für Metall- und Elektroberufe
1 Sehr gut 22,0 68,2 92,2
2 Gut 46,2
3 Befriedigend 24,0  
4 Schlecht 6,0    
5 Sehr schlecht 1,8    
    N = 3760    

Normen

In weiteren Untersuchungen wurden die Normen – vor allem Mittelwerte und Standardabweichungen – für verschiedene Schulformen, Klassenstufen, Altersgruppen sowie für beide Geschlechter ermittelt und mehrfach an sehr großen Stichproben überprüft. Ein wichtiger Untersuchungsabschnitt betraf die im Berufsnavigator verwendeten Skalen und die Operationalisierungen der Merkmale.

 

Bei Interesse können vertiefende Informationen bei Dipl. Psych. Wiebke Kenkel w.kenkel@berufsnavigator.de angefordert werden. 

Helmut Schmidt Universität
Download
Prof. em. Dr. Georg Weise zur Testentwicklung
Weise.mov
QuickTime Video Format 2.7 MB