info logo
TAA IBS kl

TAA®-IBS + PMT: Entwicklung, Normierung und Gütekriterien

Ziel der TAA®-IBS + PMT Testentwicklung war es, ein Verfahren zu entwickeln, welches die wichtigsten Komponenten im Bereich der Intelligenz und der Leistungsfähigkeit / Basisfähigkeiten sowie Aspekte der sozialen Kompetenz in einer einzigen Testbatterie zusammenfasst und stets aktuelle Normwerte für Bewerber liefert.

Zudem sollten in der Testbatterie - vor dem Hintergrund sich in vielen Bereichen verändernder, oft stärker vertrieblich oder kundenorientiert ausgerichteter Berufsbilder – weniger relevante Anforderungen (wie Zahlengedächtnis, Allgemeinwissen, Messung von Büroarbeitstätigkeiten) eliminiert und durch relevante Inhalte ersetzt werden. Die wichtigsten Kulturfähigkeiten / Basisfertigkeiten wie Rechtschreibung und Zeichensetzung sollten ebenfalls erfasst werden.

Die meisten Testmodule wurden zwischen 1994 und 1998 in Anlehnung an bekannte und wissenschaftlich abgesicherte psychologische Konstrukte wie numerisch-, sprach- und abstrakt-logisches sowie analytisches Denken, Konzentration und Merkfähigkeit entwickelt (vgl. u.a. IST-70; MIT; D2-Test; Raven-Matrizen / FRT).

  1. umfassender Test der kompletten Testbatterie an 226 Schülern und Schülerinnen der Jahrgangsstufen 9 und 10 an insgesamt 5 verschiedenen Schulen im Gießener Raum getestet. Dabei wurden neben Itemanalysen auch eine Konstruktvalidierung mit den o. g. Verfahren durchgeführt, die von den gleichen Personen bearbeitet wurden.
  2. Test (Pilotierung) und vorläufige Normierung an 152 Bewerber/innen um einen Ausbildungsplatz in 1998. Eine weitere inhaltliche Anpassung / Aktualisierung fand im Jahr 2006 statt. Hierbei wurden neben layouttechnischen Anpassungen und Aktualisierungen die Neuregelungen der letzten Rechtschreibreform eingebracht.

Obwohl Vertriebsorientierung als eine wesentliche Anforderung bereits im Rahmen der Anforderungsanalyse definiert worden war, wurde der Bereich der vertrieblichen Kompetenzen aus methodischen Gründen erst 2005/2006 entwickelt. Die in der Zwischenzeit gemachten wissenschaftichen Fortschritte mit der Methodik der SJTs (Situational Judgement Test/ Situativer Einschätzungstest), haben die INFO GmbH ermutigt, diese Methodik für die Messung der Vertriebsorientierung zu nutzen. Bei der Entwicklung der Items konnte auf Ergebnisse aus über 60 Multimethodalen Interviews mit Auszubildenden in Bezug auf Vertriebsorientierung und die in diesem Rahmen verwendeten BARS (Behavioral Anchored Rating Skales) zurückgegriffen werden. In die inhaltliche Entwicklung dieser Items sind zudem mehrere Experten (Ausbildungsleiter, Trainer) einbezogen worden. Die Items des Subtests vertriebliche Kompetenzen wurden zunächst in mehreren Runden an 173 Schüler/innen der Klassen 9-12 im Herbst 2005 an bayrischen Schulen getestet (Realschule, Fachoberschule, Gymnasium) und optimiert.

In 2007/2008 erfolgte die Umsetzung der Paper & Pencil Versionen in die Online-Verfahren. Aufgrund veränderter Darbietungsmodalitäten wurden die Module Konzentration und vertriebliche Kompetenzen zunächst an 135 Schülern (Gymnasium, Realschule) in Bayern und Hessen durchgeführt und die Normierung modifiziert.

Unsere Testverfahren werden kontinuierlich weiterentwickelt und aktualisiert.

Um neue Aufgaben in die Verfahren zu integrieren, wurden in den Jahren 2009/2010 zur Erweiterung der Itempools die Tests erneut mit 500 Schülern durchgeführt. In 2011 erfolgte die Entwicklung der Testmodule „Räumliches Vorstellungsvermögen“ und „Englisch-Test“.

Unter der wissenschaftlichen Leitung von Dr. Korbinian Möller vom Leibniz-Instituts für Wissensmedien wurde im Jahr 2012 ein neues Testverfahren - Physikalisch-technisches Verständnis (PTV) - zur Messung des physikalisch-technischen Verständnisses bei Jugendlichen für den Einsatz bei der Auszubildendenauswahl entwickelt.

Die Inhalte des entwickelten Verfahrens basieren auf einer aktuellen Analyse der Anforderungen in den wichtigsten gewerblich-technischen Berufsbildern. Als Erweiterung zu bisherigen Verfahren enthält das Testverfahren Items zu den Bereichen physikalisches, technisches, chemisches und elektrisches Verständnis und ist somit in dieser Form in Deutschland einzigartig.

Im Rahmen der Entwicklung und Normierung des Verfahrens wurden Daten von circa 450 Schülerinnen und Schülern der 9. bis 11. Klasse an verschiedenen Realschulen und Gymnasien in Baden-Württemberg erhoben.

pdfHier finden Sie die vollständige Pressemitteilung.

Itemanalyse: Die Itemschwierigkeiten des TAA®-IBS liegen zwischen p=.24 und .79, wobei die meisten Items im mittleren Bereich liegen. Hierdurch ist eine sehr gute Differenzierung zwischen den Bewerbern möglich.

Beim PMT-Onlinetestverfahren (Persönlichkeits-Motiv-Test) handelt es sich um einen Persönlichkeitstest, der Eigenschaften abfragt, die für die meisten Berufe relevant sind. Dieses Testverfahren misst Kompetenzen eines Bewerbers/einer Bewerberin auf Basis strukturierter Selbstaussagen in den Bereichen Belastbarkeit, Kooperationsbereitschaft, Konfliktfähigkeit, Leistungsstreben, Motivation durch Wettbewerb, Zuverlässigkeit, Vermeidungsfaktor, Lernbereitschaft und Offenheit.

Normierung

Das Verfahren wird kontinuierlich, in der Regel jährlich auf einer Basis von etlichen tausend Datensätzen neu normiert, um systematische Verschiebungen in den Fähigkeiten der Basisrate (Anteil der potenziell geeigneten Bewerber) zu berücksichtigen. So haben bspw. die Leistungen in den Bereichen Rechtschreibung und Zeichensetzung in den Jahren 1999 bis 2006 systematisch nachgelassen.

Normierung: Vom Rohwert zum Profilwert

Im vorliegenden Testverfahren werden die Ergebnisse eines Bewerbers als sogenannte Stanine-Werte dargestellt. Die Rohwerte (Anzahl richtig gelöster Aufgaben beim TAA®-IBS bzw. Anzahl der erreichten Punkte beim Vertriebstest) werden dabei in "Standard Nine"-Normwerte transformiert. Je höher der Stanine-Wert in einem bestimmten Kompetenzbereich, desto stärker sind die Kompetenzen des jeweiligen Bewerbers im Vergleich zu seinen Kollegen der Normstichprobe ausgeprägt.

entwicklung

Beispiel zur Interpretation der Ergebniswerte (Stanine-Werte): Erreicht eine Person im Ergebnisprofil z.B. einen Stanine-Wert von 2, heißt das, dass nur ca. 11% der Normstichprobe ein schlechteres oder gleich gutes Ergebnis erzielt bzw. 89% ein besseres Ergebnis erreicht haben. Diese 89% setzen sich zusammen aus den Prozentwerten, die in der Normalverteilung (s. o.) rechts von dem Wert 2 liegen. Die Kompetenz der Person in diesem Bereich ist im Vergleich zu anderen niedrig ausgeprägt. Hat eine Person beispielsweise einen Profilwert (Stanine-Wert) von 8, bedeutet dies, dass ca. 11% einen besseren oder gleich guten und 89% einen schlechteren Ergebniswert erreicht haben, d.h. die Kompetenz dieser Person ist im Vergleich zu anderen Bewerbern hoch ausgeprägt.

TAA®-IBS: Gütekriterien

Objektivität: Sowohl die Papier- als auch die Online-Version des TAA®-IBS sind in Bezug auf das standardisierte Setting, die Durchführung, Auswertung und Ergebnisinterpretation objektive Testverfahren. Die Standardisierungen führen dazu, dass die Ergebnisse weitestgehend unabhängig von der Person des Testleiters oder anderen möglichen, ungewollten Einflüssen sind. Voraussetzung hierzu ist der korrekte und bestimmungsgemäße Einsatz des Verfahrens gemäß DIN 33430 (geschulte Anwender, Durchführung unter Aufsicht, um Manipulationen auszuschließen).

Validität: Die Ergebnisse aus den Konstruktvalidierungen mit renommierten und psychologisch fundierten Testsystemen (vgl. IST-70; D2-Test; Raven-Matrizen) liegen zwischen r=.75 und .86. Die Prüfung der Kulturfertigkeiten kann als inhaltlich valide angesehen werden.
Das Konstrukt Vertriebsorientierung wurde auf Basis der Anforderungsanalyse verhaltensnah beschrieben und definiert. Die - unter Einbezug von mehreren Experten aus Unternehmen - ausgewählten Items gelten als inhaltsvalide und stellen ein gutes Abbild des gewünschten Verhaltensraums dar.

Reliabilität: Die Split-Half Reliabilität der einzelnen Module liegt zwischen r=.79 und .85. Der Bereich vertriebliche Kompetenzen ist als heterogenes Merkmal definiert, das die Bereiche Kundenorientierung, Kontaktfähigkeit und verkäuferisches Geschick umfasst. Der Homogenitätsindex / die interne Konsistenz liegt demzufolge erwartungsgemäß im mittleren Bereich (α = .59 in der Papier- und .61 in der Online-Version.) Dies sind verglichen mit anderen SJTs (Situative Einschätzungstest) relativ hohe Werte.

Kontakt

INFO GmbH - Institut für Organisationen
Kloster Arnsburg
35423 Lich

Telefon: +49 (0) 6404 9404 0
Telefax: +49 (0) 6404 9404 14

www.info-home.org