New methods for generating significance levels from multiply-imputed data




Professorship/Faculty: Lehrstuhl für Statistik und Ökonometrie in den Sozial- und Wirtschaftswissenschaften 
Author(s): Licht, Christine
Alternative Title: Neue Methoden zur Erzeugung von Signifikanzlevels von multipel imputierten Daten
Publisher Information: Bamberg : opus
Year of publication: 2010
Pages / Size: 102 Bl. : graph. Darst.
Supervisor(s): Rässler, Susanne
Language(s): English
Remark: 
Bamberg, Univ., Diss., 2010
URN: urn:nbn:de:bvb:473-opus-2992
Document Type: Doctoralthesis
Abstract: 
Fehlende Daten sind ein allgegenwärtiges Problem bei statistischen Analysen, welches zu einem wichtigen Forschungsgebiet in angewandter Statistik geworden ist. Eine äußerst nützliche Technik zur Behandlung fehlender Daten ist multiple Imputation, welche zuerst von Rubin (1977, 1978) vorgeschlagen und in Rubin (1987) erweitert wurde. Aufgrund der Weiterentwicklung der Computerleistung in den letzten zehn Jahren ist multiple Imputation heute ein weithin bekanntes und sehr oft angewandtes Werkzeug für statistische Analysen. Dennoch existiert ein Problem in der Erzeugung von Signifikanzlevels aus multipel imputierten Daten, denn die Anwendung von multipler Imputation erfordert normal- oder t-verteilte Schätzer. Derzeit gibt es drei Methoden, welche Vorschläge von Rubin (1987) erweitern. Bei der von Li, Raghunathan und Rubin (1991) entwickelten Prozedur werden Signifikanzlevels durch Berechnung einer modifizierten Wald-Statistik erzeugt, welche eine F-Verteilung als Referenzverteilung besitzt. Diese Prozedur ist essentiell kalibriert, allerdings erfordert sie die Bereitstellung von Varianz-Kovarianz-Matrizen, die nicht standardmäßig in jedem Statistiksoftwarepaket gegeben ist. Meng und Rubin (1992) haben eine Prozedur vorgeschlagen, die auf Likelihoodratio-Test-Statistiken basiert und Zugang zu Programmcode für die Berechnung dieser Statistik benötigt. Dies ist allerdings bei den gängigen Statistikprogrammen nicht gegeben. Li, Meng, Raghunathan und Rubin (1991) entwickelten eine verbesserte Version einer Methode von Rubin (1987), die lediglich Chi-Quadrat-Statistiken von einem üblichen Wald-Test benötigt. Diese Methode ist aber nur approximativ kalibriert und hat einen substantiellen Powerverlust. Es existieren demnach drei Prozeduren um Signifikanzlevels von multipel imputierten Daten zu erzeugen, aber keine ist in ihrer Anwendung zufriedenstellend. Es ist somit sehr wichtig eine Methode zu finden, die die Vorteile der bestehenden Methoden beibehält und gleichzeitig die Nachteile eliminiert. Die Entwicklung einer solchen Methode war das Ziel der vorliegenden Dissertation. Nach einer kurzen Einführung in die Theorie der multiplen Information und die Präsentation der oben genannten drei Methoden, beschreiben wir eine neue Prozedur, die auf einer z-Transformation basiert. Wir zeigen analytisch, dass diese Methode für alle eindimensionalen Tests funktioniert. Für multidimensionale Tests ist diese Methode allerdings nicht geeignet. Bei der Suche nach einer neuen Prozedur für multidimensionale Tests haben wir ein generelles statistisches Problem entdeckt, welches bisher keine Beachtung zu finden scheint. Die Verwendung einer Chi-Quadrat-Verteilung anstatt der korrekten F-Verteilung, wenn Stichprobengröße klein ist, führt zu einem nicht vernachlässigbaren Fehler, vor allem für hohe Dimensionen des Schätzers. Wir präsentieren eine an dieses Problem angepasste Prozedur, welche die Freiheitsgrade von Barnard und Rubin (1999) für kleine Stichprobenumfänge komponentenweise benutzt. Wir analysieren diese Methode und die bereits bestehenden Prozeduren detailliert und vergleichen sie miteinander. Dabei haben wir eine umfangreiche Simulationsstudie mit 55296 verschiedenen Situationen durchgeführt. Um das Verhalten der vier Methoden unter den verschiedenen Bedingungen zu untersuchen, benutzen wir eine ANOVA um zunächst die wichtigsten Faktoren für die Verteilung der p-Werte nach der multiplen Imputation zu bestimmen. Anschließend betrachten wir die konkreten Ablehnungsraten der vier Methoden mit den original vorgeschlagenen Freiheitsgraden und mit anderen Freiheitsgrad-Kombinationen und vergleichen sie mit den jeweiligen nominalen Levels. Unsere Ergebnisse beschreiben wir ausführlich und werten unserer Studie detailliert aus. Basierend auf unseren Ergebnissen geben wir abschließend einige praktische Ratschläge zur korrekten Berechnung von Signifikanzlevels multipel imputierter Daten jeweils für die Datenerhebung, für die Datenergänzung und für die Datenanalyse. Schließlich geben wir einen Überblick über sehr anspruchsvolle weiterführende Fragestellungen.

Missing data are a ubiquitous problem in statistical analyses that has become an important research field in applied statistics. A highly useful technique to handle missing values in many settings is multiple imputation, that was first proposed by Rubin (1977, 1978) and extended in Rubin (1987). Due to the ongoing improvement in computer power in the last 10 years, multiple imputation has become a well known and often used tool in statistical analyses. However, obtaining significance levels from multiply-imputed data is still a problem, because the application of multiple imputation requires normally distributed or t-distributed complete-data estimators. Today there are basically three methods that extend the suggestions given in Rubin (1987). First, Li, Raghunathan, and Rubin (1991) proposed a procedure, in which significance levels are created by computing a modified Wald-test statistic that is then referred to an F-distribution. This procedure is essentially calibrated, but it requires access to the completed-data estimates and their variance-covariance matrices that may not be available with standard software. Second, Meng and Rubin (1992) proposed a complete-data two-stage-likelihood-ratio-test-based procedure that requires access to the code for the calculation of the log-likelihood-ratio statistics. Common statistical software does not provide access to the code in their standard analyses routines. Third, Li, Meng, Raghunathan, and Rubin (1991) developed an improved version of a method in Rubin (1987) that only requires the chi-square-statistics from a usual complete-data Wald-test. This method is only approximately calibrated and has a substantial loss of power compared to the previous two. There thus exist several procedures to generate significance levels in general from multiply-imputed data, but none of them has satisfactory applicability. Since many statistical analyses are based on hypothesis tests, especially on the Wald-test in regression analyses, it is very important to find a method that retains the advantages and overcomes the disadvantages of the existing procedures. Developing such a method was the aim of the present thesis. After providing a short introduction to multiple imputation theory and the existing methods to generate significance levels from multiply-imputed data, we present a new procedure that is based on a z-transformation. We analytically show that the z-transformation works for a one-sided z-test. By simulation we show that our new z-transformation is working well for all one-dimensional tests, because they can be linked to an F-test or to a z-test, respectively. Despite the success of this new z-transformation procedure in several practical settings, problems arise when multi-dimensional tests are performed. We develop and discuss a possible procedure to fix these problems. Based on a comprehensive simulation study we discover an interesting general statistical problem: Using a chi-square-distribution rather than an F-distribution, can lead to a not negligible error for small sample sizes, especially with larger dimensions of the estimator. This problem seems to be unnoticed until now. In addition, we show the influence of the sample size for generating accurate significance levels from multiply imputed data. We present an adjusted procedure, the componentwise-moment-based method, to easily calculate correct significance levels from multiply-imputed data under some assumptions. This procedure is related to one of the three existing methods and uses the small-sample degrees of freedom given in Barnard and Rubin (1999) componentwise. We examine this new method and the already existing procedures in detail and compare them with each other by an extensive simulation study with 55296 different situations given by the factorial design of our simulation study. We also compare the results with former simulation studies of Li, Raghunathan, Meng, and Rubin (1991, 1992), where they simulated draws from the theoretically calculated distributions of the test statistics. To analyze the behaviour of the four methods we perform an ANOVA to identify the most important factors for the distribution of the multiple imputation p-values. Afterwards we examine the rejection rates of the four methods with their originally proposed degrees of freedom and some further "method and degrees-of-freedom"-combinations and compare them with the particular nominal levels. We summarize the results of the simulation study in detail. Based on these results we give some practical advices for the data collector, for the imputer and for the data analyst, about how to calculate correct significance levels from multiply-imputed data. Finally, we give an overview of challenging tasks left for future research.
SWD Keywords: p-Wert , Imputationstechnik , Statistischer Test , Fehlende Daten , Online-Publikation
p-Wert ; Imputationstechnik ; Statistischer Test ; Fehlende Daten ; Online-Publikation
Keywords: Multiple Imputation , Signifikanzlevel, multiple imputation , combining rules , repeated p-values, Multiple Imputation, Signifikanzlevel, multiple imputation, combining rules, repeated p-values
DDC Classification: 310 Statistics 
RVK Classification: QH 235   QH 233   
URI: https://fis.uni-bamberg.de/handle/uniba/263
Release Date: 20. April 2012

File Description SizeFormat  
Dokument_1.pdf601.77 kBAdobe PDFView/Open