Traditional scores versus IRT estimates on forced-choice tests based on a dominance model/Puntuaciones tradicionales y estimaciones TRI en tests de elección forzosa con un modelo de dominancia

Background: Forced-choice tests (FCTs) were proposed to minimize response biases associated with Likert format items. It remains unclear whether scores based on traditional methods for scoring FCTs are appropriate for between-subjects comparisons. Recently, Hontangas et al. (2015) explored the exten...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Veröffentlicht in:Psicothema 2016-01, p.76
Hauptverfasser: Hontangas, Pedro M, Leenen, Iwin, de la Torre, Jimmy, Ponsoda, Vicente, Morillo, Daniel, Abad, Francisco J
Format: Artikel
Sprache:spa
Online-Zugang:Volltext
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
container_end_page
container_issue
container_start_page 76
container_title Psicothema
container_volume
creator Hontangas, Pedro M
Leenen, Iwin
de la Torre, Jimmy
Ponsoda, Vicente
Morillo, Daniel
Abad, Francisco J
description Background: Forced-choice tests (FCTs) were proposed to minimize response biases associated with Likert format items. It remains unclear whether scores based on traditional methods for scoring FCTs are appropriate for between-subjects comparisons. Recently, Hontangas et al. (2015) explored the extent to which traditional scoring of FCTs relates to the true scores and IRT estimates. The authors found certain conditions under which traditional scores (TS) can be used with FCTs when the underlying IRT model was an unfolding model. In this study, we examine to what extent the results are preserved when the underlying process becomes a dominance model. Method: The independent variables analyzed in a simulation study are: forced-choice format, number of blocks, discrimination of items, polarity of items, variability of intra-block difficulty, range of difficulty, and correlation between dimensions. Results: A similar pattern of results was observed for both models; however, correlations between TS and true thetas are higher and the differences between TS and IRT estimates are less discrepant when a dominance model involved. Conclusions: A dominance model produces a linear relationship between TS and true scores, and the subjects with extreme thetas are better measured. Keywords: forced-choice, dominance model, traditional scores, EAP. Antecedentes: los tests de eleccion forzosa (TEFs) fueron propuestos para reducir los sesgos de respuesta de items tipo Likert. Se cuestiona que los metodos de puntuacion tradicional (PT) empleados permitan hacer comparaciones entre-sujetos. Recientemente, Hontangas et al. (2015) exploraron como las PTs obtenidas con diferentes TEFs se relacionan con sus puntuaciones verdaderas y estimaciones TRI, mostrando las condiciones para ser utilizadas cuando el modelo subyacente es un modelo de unfolding. El objetivo del trabajo actual es comprobar si el patron de resultados se mantiene con un modelo de dominancia. Metodo: las variables independientes del estudio de simulacion fueron: formato de eleccion forzosa, numero de bloques, discriminacion de los items, polaridad de los items, variabilidad de la dificultad intrabloque, rango de dificultad del test y correlacion entre dimensiones. Resultados: un patron similar de resultados fue obtenido en ambos modelos, pero en el modelo de dominancia las correlaciones entre PTs y puntuaciones verdaderas son mas altas y las diferencias entre PTs y estimaciones TRI se reducen. Conclusiones: un modelo
doi_str_mv 10.7334/psicothema2015.204
format Article
fullrecord <record><control><sourceid>gale</sourceid><recordid>TN_cdi_gale_infotracmisc_A455611491</recordid><sourceformat>XML</sourceformat><sourcesystem>PC</sourcesystem><galeid>A455611491</galeid><sourcerecordid>A455611491</sourcerecordid><originalsourceid>FETCH-LOGICAL-g1041-7e1c16a57d740fee6582f6c5b06939b75d0691f7f5b2333f5d80cff5fc1c28773</originalsourceid><addsrcrecordid>eNptUc1KxDAQ7kFBXX0BTwGvdjdpm2Z7FPFnQVCkniWdTHYj20R2WkGvPpJv4L6Y2bWCggSSyTffD5MkybHgY5XnxeSZHIRuga3OuJDjjBc7yT7PRJFWlZB7yQHRE-eyzFW2n6zrlTauc8HrJSMIKyT2givqic3ua4bUuVZ3EQye2bACNCksggNkEeyINZrQbJqamdA6r31stcHgcnLX-67XEK2jvNvEwDYm3l4H46FZ388Y-sHRIMMlArj1--fHNvQtkGYQM3r_bR02pJ84pw-TXauXhEfDOUoeLi_q8-v05vZqdn52k84FL0SqUIAotVRGFdwilnKa2RJkw8sqrxolTSyEVVY2WZ7nVpopB2ulBQHZVKl8lJx8-87jEI_O2xCngtYRPJ4VUpZCFJWIrPE_rLgMtvFjPFoX8T-C01-CpicX3yRu5OaLjua6J_pN_wJ_0Jxh</addsrcrecordid><sourcetype>Aggregation Database</sourcetype><iscdi>true</iscdi><recordtype>article</recordtype></control><display><type>article</type><title>Traditional scores versus IRT estimates on forced-choice tests based on a dominance model/Puntuaciones tradicionales y estimaciones TRI en tests de elección forzosa con un modelo de dominancia</title><source>ProQuest Central Essentials</source><source>Research Library</source><source>ProQuest Central (Alumni Edition)</source><source>DOAJ Directory of Open Access Journals</source><source>ProQuest Central Student</source><source>Elektronische Zeitschriftenbibliothek - Frei zugängliche E-Journals</source><source>Research Library (Alumni Edition)</source><source>Research Library Prep</source><source>ProQuest Central Korea</source><source>ProQuest Central UK/Ireland</source><source>ProQuest Central</source><creator>Hontangas, Pedro M ; Leenen, Iwin ; de la Torre, Jimmy ; Ponsoda, Vicente ; Morillo, Daniel ; Abad, Francisco J</creator><creatorcontrib>Hontangas, Pedro M ; Leenen, Iwin ; de la Torre, Jimmy ; Ponsoda, Vicente ; Morillo, Daniel ; Abad, Francisco J</creatorcontrib><description>Background: Forced-choice tests (FCTs) were proposed to minimize response biases associated with Likert format items. It remains unclear whether scores based on traditional methods for scoring FCTs are appropriate for between-subjects comparisons. Recently, Hontangas et al. (2015) explored the extent to which traditional scoring of FCTs relates to the true scores and IRT estimates. The authors found certain conditions under which traditional scores (TS) can be used with FCTs when the underlying IRT model was an unfolding model. In this study, we examine to what extent the results are preserved when the underlying process becomes a dominance model. Method: The independent variables analyzed in a simulation study are: forced-choice format, number of blocks, discrimination of items, polarity of items, variability of intra-block difficulty, range of difficulty, and correlation between dimensions. Results: A similar pattern of results was observed for both models; however, correlations between TS and true thetas are higher and the differences between TS and IRT estimates are less discrepant when a dominance model involved. Conclusions: A dominance model produces a linear relationship between TS and true scores, and the subjects with extreme thetas are better measured. Keywords: forced-choice, dominance model, traditional scores, EAP. Antecedentes: los tests de eleccion forzosa (TEFs) fueron propuestos para reducir los sesgos de respuesta de items tipo Likert. Se cuestiona que los metodos de puntuacion tradicional (PT) empleados permitan hacer comparaciones entre-sujetos. Recientemente, Hontangas et al. (2015) exploraron como las PTs obtenidas con diferentes TEFs se relacionan con sus puntuaciones verdaderas y estimaciones TRI, mostrando las condiciones para ser utilizadas cuando el modelo subyacente es un modelo de unfolding. El objetivo del trabajo actual es comprobar si el patron de resultados se mantiene con un modelo de dominancia. Metodo: las variables independientes del estudio de simulacion fueron: formato de eleccion forzosa, numero de bloques, discriminacion de los items, polaridad de los items, variabilidad de la dificultad intrabloque, rango de dificultad del test y correlacion entre dimensiones. Resultados: un patron similar de resultados fue obtenido en ambos modelos, pero en el modelo de dominancia las correlaciones entre PTs y puntuaciones verdaderas son mas altas y las diferencias entre PTs y estimaciones TRI se reducen. Conclusiones: un modelo de dominancia produce una relacion lineal entre PTs y puntuaciones verdaderas, y los sujetos con puntuaciones extremas son medidos mejor. Palabras clave: eleccion forzada, modelo dominancia, puntuacion tradicional, EAP.</description><identifier>ISSN: 0214-9915</identifier><identifier>DOI: 10.7334/psicothema2015.204</identifier><language>spa</language><publisher>Colegio Oficial De Psicologos Del Principado De Asturias</publisher><ispartof>Psicothema, 2016-01, p.76</ispartof><rights>COPYRIGHT 2016 Colegio Oficial De Psicologos Del Principado De Asturias</rights><lds50>peer_reviewed</lds50><woscitedreferencessubscribed>false</woscitedreferencessubscribed></display><links><openurl>$$Topenurl_article</openurl><openurlfulltext>$$Topenurlfull_article</openurlfulltext><thumbnail>$$Tsyndetics_thumb_exl</thumbnail><link.rule.ids>314,780,784,864,27924,27925</link.rule.ids></links><search><creatorcontrib>Hontangas, Pedro M</creatorcontrib><creatorcontrib>Leenen, Iwin</creatorcontrib><creatorcontrib>de la Torre, Jimmy</creatorcontrib><creatorcontrib>Ponsoda, Vicente</creatorcontrib><creatorcontrib>Morillo, Daniel</creatorcontrib><creatorcontrib>Abad, Francisco J</creatorcontrib><title>Traditional scores versus IRT estimates on forced-choice tests based on a dominance model/Puntuaciones tradicionales y estimaciones TRI en tests de elección forzosa con un modelo de dominancia</title><title>Psicothema</title><description>Background: Forced-choice tests (FCTs) were proposed to minimize response biases associated with Likert format items. It remains unclear whether scores based on traditional methods for scoring FCTs are appropriate for between-subjects comparisons. Recently, Hontangas et al. (2015) explored the extent to which traditional scoring of FCTs relates to the true scores and IRT estimates. The authors found certain conditions under which traditional scores (TS) can be used with FCTs when the underlying IRT model was an unfolding model. In this study, we examine to what extent the results are preserved when the underlying process becomes a dominance model. Method: The independent variables analyzed in a simulation study are: forced-choice format, number of blocks, discrimination of items, polarity of items, variability of intra-block difficulty, range of difficulty, and correlation between dimensions. Results: A similar pattern of results was observed for both models; however, correlations between TS and true thetas are higher and the differences between TS and IRT estimates are less discrepant when a dominance model involved. Conclusions: A dominance model produces a linear relationship between TS and true scores, and the subjects with extreme thetas are better measured. Keywords: forced-choice, dominance model, traditional scores, EAP. Antecedentes: los tests de eleccion forzosa (TEFs) fueron propuestos para reducir los sesgos de respuesta de items tipo Likert. Se cuestiona que los metodos de puntuacion tradicional (PT) empleados permitan hacer comparaciones entre-sujetos. Recientemente, Hontangas et al. (2015) exploraron como las PTs obtenidas con diferentes TEFs se relacionan con sus puntuaciones verdaderas y estimaciones TRI, mostrando las condiciones para ser utilizadas cuando el modelo subyacente es un modelo de unfolding. El objetivo del trabajo actual es comprobar si el patron de resultados se mantiene con un modelo de dominancia. Metodo: las variables independientes del estudio de simulacion fueron: formato de eleccion forzosa, numero de bloques, discriminacion de los items, polaridad de los items, variabilidad de la dificultad intrabloque, rango de dificultad del test y correlacion entre dimensiones. Resultados: un patron similar de resultados fue obtenido en ambos modelos, pero en el modelo de dominancia las correlaciones entre PTs y puntuaciones verdaderas son mas altas y las diferencias entre PTs y estimaciones TRI se reducen. Conclusiones: un modelo de dominancia produce una relacion lineal entre PTs y puntuaciones verdaderas, y los sujetos con puntuaciones extremas son medidos mejor. Palabras clave: eleccion forzada, modelo dominancia, puntuacion tradicional, EAP.</description><issn>0214-9915</issn><fulltext>true</fulltext><rsrctype>article</rsrctype><creationdate>2016</creationdate><recordtype>article</recordtype><sourceid>N95</sourceid><recordid>eNptUc1KxDAQ7kFBXX0BTwGvdjdpm2Z7FPFnQVCkniWdTHYj20R2WkGvPpJv4L6Y2bWCggSSyTffD5MkybHgY5XnxeSZHIRuga3OuJDjjBc7yT7PRJFWlZB7yQHRE-eyzFW2n6zrlTauc8HrJSMIKyT2givqic3ua4bUuVZ3EQye2bACNCksggNkEeyINZrQbJqamdA6r31stcHgcnLX-67XEK2jvNvEwDYm3l4H46FZ388Y-sHRIMMlArj1--fHNvQtkGYQM3r_bR02pJ84pw-TXauXhEfDOUoeLi_q8-v05vZqdn52k84FL0SqUIAotVRGFdwilnKa2RJkw8sqrxolTSyEVVY2WZ7nVpopB2ulBQHZVKl8lJx8-87jEI_O2xCngtYRPJ4VUpZCFJWIrPE_rLgMtvFjPFoX8T-C01-CpicX3yRu5OaLjua6J_pN_wJ_0Jxh</recordid><startdate>20160101</startdate><enddate>20160101</enddate><creator>Hontangas, Pedro M</creator><creator>Leenen, Iwin</creator><creator>de la Torre, Jimmy</creator><creator>Ponsoda, Vicente</creator><creator>Morillo, Daniel</creator><creator>Abad, Francisco J</creator><general>Colegio Oficial De Psicologos Del Principado De Asturias</general><scope>N95</scope><scope>XI7</scope><scope>INF</scope></search><sort><creationdate>20160101</creationdate><title>Traditional scores versus IRT estimates on forced-choice tests based on a dominance model/Puntuaciones tradicionales y estimaciones TRI en tests de elección forzosa con un modelo de dominancia</title><author>Hontangas, Pedro M ; Leenen, Iwin ; de la Torre, Jimmy ; Ponsoda, Vicente ; Morillo, Daniel ; Abad, Francisco J</author></sort><facets><frbrtype>5</frbrtype><frbrgroupid>cdi_FETCH-LOGICAL-g1041-7e1c16a57d740fee6582f6c5b06939b75d0691f7f5b2333f5d80cff5fc1c28773</frbrgroupid><rsrctype>articles</rsrctype><prefilter>articles</prefilter><language>spa</language><creationdate>2016</creationdate><toplevel>peer_reviewed</toplevel><toplevel>online_resources</toplevel><creatorcontrib>Hontangas, Pedro M</creatorcontrib><creatorcontrib>Leenen, Iwin</creatorcontrib><creatorcontrib>de la Torre, Jimmy</creatorcontrib><creatorcontrib>Ponsoda, Vicente</creatorcontrib><creatorcontrib>Morillo, Daniel</creatorcontrib><creatorcontrib>Abad, Francisco J</creatorcontrib><collection>Gale Business: Insights</collection><collection>Business Insights: Essentials</collection><collection>Gale OneFile: Informe Academico</collection><jtitle>Psicothema</jtitle></facets><delivery><delcategory>Remote Search Resource</delcategory><fulltext>fulltext</fulltext></delivery><addata><au>Hontangas, Pedro M</au><au>Leenen, Iwin</au><au>de la Torre, Jimmy</au><au>Ponsoda, Vicente</au><au>Morillo, Daniel</au><au>Abad, Francisco J</au><format>journal</format><genre>article</genre><ristype>JOUR</ristype><atitle>Traditional scores versus IRT estimates on forced-choice tests based on a dominance model/Puntuaciones tradicionales y estimaciones TRI en tests de elección forzosa con un modelo de dominancia</atitle><jtitle>Psicothema</jtitle><date>2016-01-01</date><risdate>2016</risdate><spage>76</spage><pages>76-</pages><issn>0214-9915</issn><abstract>Background: Forced-choice tests (FCTs) were proposed to minimize response biases associated with Likert format items. It remains unclear whether scores based on traditional methods for scoring FCTs are appropriate for between-subjects comparisons. Recently, Hontangas et al. (2015) explored the extent to which traditional scoring of FCTs relates to the true scores and IRT estimates. The authors found certain conditions under which traditional scores (TS) can be used with FCTs when the underlying IRT model was an unfolding model. In this study, we examine to what extent the results are preserved when the underlying process becomes a dominance model. Method: The independent variables analyzed in a simulation study are: forced-choice format, number of blocks, discrimination of items, polarity of items, variability of intra-block difficulty, range of difficulty, and correlation between dimensions. Results: A similar pattern of results was observed for both models; however, correlations between TS and true thetas are higher and the differences between TS and IRT estimates are less discrepant when a dominance model involved. Conclusions: A dominance model produces a linear relationship between TS and true scores, and the subjects with extreme thetas are better measured. Keywords: forced-choice, dominance model, traditional scores, EAP. Antecedentes: los tests de eleccion forzosa (TEFs) fueron propuestos para reducir los sesgos de respuesta de items tipo Likert. Se cuestiona que los metodos de puntuacion tradicional (PT) empleados permitan hacer comparaciones entre-sujetos. Recientemente, Hontangas et al. (2015) exploraron como las PTs obtenidas con diferentes TEFs se relacionan con sus puntuaciones verdaderas y estimaciones TRI, mostrando las condiciones para ser utilizadas cuando el modelo subyacente es un modelo de unfolding. El objetivo del trabajo actual es comprobar si el patron de resultados se mantiene con un modelo de dominancia. Metodo: las variables independientes del estudio de simulacion fueron: formato de eleccion forzosa, numero de bloques, discriminacion de los items, polaridad de los items, variabilidad de la dificultad intrabloque, rango de dificultad del test y correlacion entre dimensiones. Resultados: un patron similar de resultados fue obtenido en ambos modelos, pero en el modelo de dominancia las correlaciones entre PTs y puntuaciones verdaderas son mas altas y las diferencias entre PTs y estimaciones TRI se reducen. Conclusiones: un modelo de dominancia produce una relacion lineal entre PTs y puntuaciones verdaderas, y los sujetos con puntuaciones extremas son medidos mejor. Palabras clave: eleccion forzada, modelo dominancia, puntuacion tradicional, EAP.</abstract><pub>Colegio Oficial De Psicologos Del Principado De Asturias</pub><doi>10.7334/psicothema2015.204</doi></addata></record>
fulltext fulltext
identifier ISSN: 0214-9915
ispartof Psicothema, 2016-01, p.76
issn 0214-9915
language spa
recordid cdi_gale_infotracmisc_A455611491
source ProQuest Central Essentials; Research Library; ProQuest Central (Alumni Edition); DOAJ Directory of Open Access Journals; ProQuest Central Student; Elektronische Zeitschriftenbibliothek - Frei zugängliche E-Journals; Research Library (Alumni Edition); Research Library Prep; ProQuest Central Korea; ProQuest Central UK/Ireland; ProQuest Central
title Traditional scores versus IRT estimates on forced-choice tests based on a dominance model/Puntuaciones tradicionales y estimaciones TRI en tests de elección forzosa con un modelo de dominancia
url https://sfx.bib-bvb.de/sfx_tum?ctx_ver=Z39.88-2004&ctx_enc=info:ofi/enc:UTF-8&ctx_tim=2025-01-05T06%3A49%3A37IST&url_ver=Z39.88-2004&url_ctx_fmt=infofi/fmt:kev:mtx:ctx&rfr_id=info:sid/primo.exlibrisgroup.com:primo3-Article-gale&rft_val_fmt=info:ofi/fmt:kev:mtx:journal&rft.genre=article&rft.atitle=Traditional%20scores%20versus%20IRT%20estimates%20on%20forced-choice%20tests%20based%20on%20a%20dominance%20model/Puntuaciones%20tradicionales%20y%20estimaciones%20TRI%20en%20tests%20de%20elecci%C3%83%C2%B3n%20forzosa%20con%20un%20modelo%20de%20dominancia&rft.jtitle=Psicothema&rft.au=Hontangas,%20Pedro%20M&rft.date=2016-01-01&rft.spage=76&rft.pages=76-&rft.issn=0214-9915&rft_id=info:doi/10.7334/psicothema2015.204&rft_dat=%3Cgale%3EA455611491%3C/gale%3E%3Curl%3E%3C/url%3E&disable_directlink=true&sfx.directlink=off&sfx.report_link=0&rft_id=info:oai/&rft_id=info:pmid/&rft_galeid=A455611491&rfr_iscdi=true