Theory Testing Using Quantitative Predictions of Effect Size

Traditional Null Hypothesis Testing procedures are poorly adapted to theory testing. The methodology can mislead researchers in several ways, including: (a) a lack of power can result in an erroneous rejection of the theory; (b) the focus on directionality (ordinal tests) rather than more precise quantitative predictions limits the information gained; and (c) the misuse of probability values to indicate effect size. An alternative approach is proposed which involves employing the theory to generate explicit effect size predictions that are compared to the effect size estimates and related confidence intervals to test the theoretical predictions. This procedure is illustrated employing the Transtheoretical Model. Data from a sample (N = 3,967) of smokers from a large New England HMO system were used to test the model. There were a total of 15 predictions evaluated, each involving the relation between Stage of Change and one of the other 15 Transtheoretical Model variables. For each variable, omega‐squared and the related confidence interval were calculated and compared to the predicted effect sizes. Eleven of the 15 predictions were confirmed, providing support for the theoretical model. Quantitative predictions represent a much more direct, informative, and strong test of a theory than the traditional test of significance. Les procédures traditionnelles de tests basées sur l’hypothèse nulle ne sont guère adaptées à l’évaluation des théories. Cette méthodologie est susceptible d’induire les chercheurs en erreur de différentes façons, à savoir: a) une absence de significativité peut entraîner un rejet abusif de la théorie; b) se centrer sur la directionalité (tests ordinaux) plutôt que sur des prédictions quantitatives plus précises appauvrit l’information récoltée; enfin c) l’usage inapproprié de valeurs probabilitaires pour rendre compte de l’ampleur du résultat. On propose une autre approche qui implique d’utiliser la théorie pour générer des prédictions explicites concernant l’ampleur des résultats, prédictions qui sont comparées aux estimations et rapportées aux intervalles de confiance. Le modèle transthéorique sert d’exemple d’utilisation de cette procédure. Pour éprouver le modèle, on a utilisé des données émanant d’un échantillon de fumeurs (N = 3,967) relevant d’une vaste organisation de suivi de la santé en Nouvelle Angleterre. Un total de quinze prédictions a étéévalué, chacune mettant en jeu la relation entre le stade du changement et l’une des