Nahlédněte do „kuchyně“ TCC online a zjistěte, jak vzniká psychodiagnostický dotazník

Přemýšleli jste někdy nad tím, jak vlastně vzniká psychodiagnostický dotazník? Jak je vůbec možné, že lze z několika málo otázek usuzovat na tak komplexní jevy, jako je osobnost člověka, jeho schopnost zvládat zátěž nebo třeba motivace? Nahlédněte do „naší kuchyně“ a objevte metody a postupy, s jejichž pomocí vyvíjíme online psychodiagnostické dotazníky a testy.

Pokud jste někdy vyplnili dotazník např. v časopise, tak jste vlastně objevili první krok k vytváření dotazníku. Nejspíše jste si podle určitého klíče obodovali své otázky a součet jednotlivých bodů Vás nasměroval k odpovídající interpretaci. Testy a dotazníky v časopisech však nevytvářejí psychologové, zabývající se tvorbou psychodiagnostiky. Jde proto spíše o zábavu než o cokoli jiného. Kvalitní psychodiagnostika totiž vyžaduje mnohem sofistikovanější postupy a má zcela jiná kritéria kvality.

V přípravné fázi se hodně ptáme

Ještě před tím, než vytvoříme dotazník, přichází tzv. přípravná fáze. Klademe si řadu otázek jako například:

• Co budeme měřit?
• Jak to vlastně vůbec lze měřit?
• Co k tématu říkají psychologické teorie?
• Kdo jiný a jak danou věc už měřil? Lze se z chyb a úspěchů ostatních poučit?
• Jak budeme formulovat otázky?
• Jakým způsobem budou respondenti odpovídat?

Odpovědi na otázky v přípravné fázi jsou základem pro vytvoření první verze dotazníku.

Pilotujeme

První verze dotazníku či testu musí projít pilotním provozem, během kterého sbíráme data. Z dat následně vypočítáváme, nakolik jsou jednotlivé otázky pro dotazník přínosné, jestli každá otázka přispívá k určení hodnoty atributu, který chceme měřit, a zda na ni respondenti odpovídají tak, jak bychom očekávali. Na základě analýzy odpovědí pak nevhodné položky měníme či nahrazujeme jinými.

Následuje další pilotní provoz, kde si potvrdíme, zda je konstrukce dotazníku z hlediska jednotlivých otázek již v pořádku. Poté se začneme zabývat tím nejdůležitějším pro každou psychodiagnostickou metodu, a to je reliabilita (spolehlivost) a validita (platnost).

Zjišťujeme reliabilitu

V případě reliability zjišťujeme, zda respondenti odpovídají na dotazník i napodruhé podobně (zda jsou výsledky stabilní v čase – typicky metoda test-retest) a jestli je dotazník konzistentní, tzn. zda mezi sebou mají jednotlivé položky dostatečně vysoké korelace (to je „to záhadné“ Cronbachovo alfa). Reliabilitu lze zkoumat i dalšími způsoby. Když je dotazník dostatečně dlouhý, můžeme ho rozdělit na dvě poloviny a následně tyto poloviny porovnat (metoda split-half), popř. rovnou vytvořit dva podobné dotazníky a ty porovnat mezi sebou.

Prověřujeme validitu

Validita označuje platnost, resp. pravdivost metody. Zjednodušeně řečeno vyjadřuje, nakolik dotazník měří to, co jsme chtěli měřit, a odpovídá tak na naši otázku, jestli to, co chceme měřit, lze měřit naší metodou. Nejspolehlivějším způsobem ověření validity je porovnání výsledků dotazníku s nějakým vnějším kritériem.

Příkladem může být porovnávání testů inteligence s výsledky vysokoškolského studia. V tomto bodě je důležité upozornit na nutnost teoretického podložení dotazníku. Abychom mohli počítat validitu na základě korelací výsledků našeho testu inteligence s výsledky univerzitního vzdělávání, musíme mít nejdříve dobře teoreticky podloženo, že inteligence souvisí s výsledky vysokoškolského studia.

Tomuto typu validity, kdy měříme nějaký atribut (inteligenci) a na základě výsledků v testu můžeme usuzovat na nějaký jev (prospěch na univerzitě), se říká prediktivní validita.

Existuje i validita postdiktivní, kdy ověřujeme, že výsledky našeho dotazníku korespondují s něčím, co se stalo již v minulosti (můžeme se tak například testovaného středoškoláka dotazovat, jaký měl prospěch na základní škole).

Obvykle nejjednodušším a velmi praktickým způsobem ověření validity je využití jiného dotazníku, který měří to samé, co naše metoda, jen trochu jinak, a porovnání výsledků obou dotazníků. Asi není těžké uhodnout, že by výsledky měly být podobné. Pokud porovnáme dostatečný počet dotazníků, dostaneme korelační koeficient, který označuje tzv. souběžnou validitu našeho dotazníku.

V poslední řadě stojí za to zmínit i validitu ekologickou. Ta vypovídá o vztahu mezi výsledkem testu a reálným životem. Přestože může test či dotazník velmi dobře měřit, v praxi jsou jeho výsledky mnohdy nevyužitelné a nevypovídají nic o chování respondentů v každodenních situacích. Naše Psychodiagnostika se zaměřuje mimo jiné i na využitelnost v praxi. Typickým příkladem je pak Job Matching, který úspěšně pomáhá při výběru nejvhodnějších kandidátů na pracovní pozici.

Tvoříme normy

Po ověření validity a reliability je na čase vytvořit populační normy. Ty mají za úkol roztřídit respondenty podle toho, jak odpovídali, a umístit je na škále, která bude vyjadřovat jejich umístění vůči celkové populaci.

To jsou již samotné výsledky, které jsou nejčastěji vyjádřeny v percentilech. Percentily se počítají poměrně složitým matematicko-statistickým procesem a označují, kde se přesně jedinec v dané charakteristice nachází vůči všem ostatním respondentům, kteří daný dotazník vyplnili. Platí, že čím více lidí vyplnilo, tím jsou výsledky přesnější. Pokud Vám tedy vyjde výsledek např. 78. percentil v osobnostním dotazníku ve škále extraverze, tak jej můžete interpretovat tak, že 78 % populace je méně extravertních než Vy.

Samotná výstupní zpráva je generována právě na bázi percentilových výsledků. U každého dotazníku je třeba napsat interpretace pro všechny možnosti – vezmeme-li si opět za příklad extraverzi u osobnostního dotazníku, je třeba napsat interpretaci pro jedince, kteří jsou introvertní, extravertní i nevyhranění. A takto postupně pro všechny škály. K interpretacím jsou často připojeny i výhody, rizika a rozvojová doporučení.

Základní pravidlo kvalitní interpretace

I psaní interpretací má svá pravidla. Jak poznáte kvalitní interpretaci? Texty by měly být konkrétní a nikoli obecné, což je pravidlo, které je často porušováno u nekvalitní psychodiagnostiky. Ukažme si to na příkladu. „Jste samostatní, ale můžete pracovat i v týmu.“  Co o člověku tato věta přesně říká? Vůbec nic. Ale vytváří dojem, že je trefná, protože „to přece sedí”. Problém je, že tato věta sedí na každého, a tudíž nemá žádnou hodnotu v naší snaze říci o člověku něco konkrétního a odlišit ho od ostatních.

Po celém zdlouhavém a náročném procesu tvorby nové metody se interpretace nakombinují podle výsledků v jednotlivých škálách tak, aby dohromady dávaly ucelený text. A výstupní zpráva je na světě.

Rada na závěr

Chystáte se využívat psychodiagnostiku? Hledáte dodavatele, který Vám dodá kvalitní výstupy? Pak se nikdy se nezapomeňte zeptat, jaká je reliabilita, validita, velikost vzorku pro normy a na výsledky položkové analýzy.

Pokud Vám dodavatel nechce nebo není schopen na tyto otázky odpovědět anebo Vás odbude slovy, „že to zajímá jen psychology a nikoho jiného”, zbystřete a poohlédněte se raději někde jinde.

Zajímá Vás metodika ještě podrobněji? Nahlédněte do manuálu Psychometrické charakteristiky psychodiagnostických metod, který připravili naši analytici, nebo nás kontaktujte na info@tcconline.cz. Vaše dotazy rádi zodpovíme.

Autor: Jaroslav Pustina a kolektiv autorů TCC online