STATA-FORUM.DE

[tiny]

Hallo Leute,

ich kämpfe gerade mit den Ergebnissen, die mir Stata ausgibt.
Wenn ich ein psmatch2 durchführe, bekomme ich eine T-Stat, welches nach dem Matchen nicht mehr signifikant ist. Das heißt, meine Ergebnisse sind nach dem Matching schlechter als vorher. Das sollte doch nicht so sein. Ich kann es mir nicht erklären.
Hat jemand eine Idee?

Danke schonmal für eure Antworten

[daniel]

Das soll nicht böse klingen, aber kämpf Dich, bevor Du Ergebnisse interpretierst, besser erst noch mal durch die Literatur zum propensity score matching. Wenn Du wirklich der Ansicht bist "Signifikante Eregbnisse = gute Ergebnisse", dann vielleicht auch nochmal durch Einführungs- und Fortgeschrittene Litertaur über Statistik, empirische Forschung und Wissenschafttheorie.

Die Grundidee hinter propensity score matching ist es, nur diejenigen zu vergleichen, die auch vergleichbar (i.e. nicht unterschiedlich -> keine signifikanten Mittelwertunterschide, getetste mittels t-Test) sind.

-psmatch2- ist nicht Teil des offiziellen Stata Pakets, sondern eine user-written Software, deren aktuelle Version vom SSC Archiv erhältlich ist. Es empfiehlt sich das anzugeben, damit jeder weiß, worüber gesprochen wird.

Möglicher Weise meinst Du mit "T-Stat" etwas anderes als die Ergebnisse, die -psmatch2- nach diversen t-Tests der Kovariaten zurückgibt. In diesem Fall wäre es hilfreich, wenn Du Dich etwas präziser ausdrücken könntest.

[tiny]

Danke für deine Antwort.
Ich führe diesen "Kampf" schon seit einigen Monaten. Leider gibt es keine Erklärung für diesen Effekts in der Literatur.
Auch die Entwickler der Software habe ich angeschrieben. Auch die konnten mir auch nicht weiterhelfen. Die Vermutung liegt nahe, dass es an den ausgewählten Kovariaten liegt.
Du hast recht! ich sollte angeben, dass ich mit der PSM user written software von Leuven/Sianesi arbeite.
Aber die Vermutung ist hier, dass die Gruppen in meinem Fall in den meisten der Kovariaten bereits vor dem Matching ausbalanciert sind, so dass das Matching die Vergleichbarkeit nur verschlechtert.
T-Stat ist die T-Statistik. Die zeigt in meinem Fall keine Signifikanz in psmatch2 und die Ergebnisse aus dem pstest zeigen, dass die Mittelwertunterschiede zwischen den Gruppen vor dem Matchen nicht signifikant, nach dem Matchen signifikant sind.

[daniel]

Ergebnisse aus dem pstest zeigen, dass die Mittelwertunterschiede zwischen den Gruppen vor dem Matchen nicht signifikant, nach dem Matchen signifikant sind.

Das ist eine konkrete Aussage, und das ist in der Tat rätselhaft. Wenn die Kovariaten, auf die gematcht werden soll, aber bereits vor dem matching keine Signifikanten Unterschiede aufweisen, wozu dann überhaupt matchen? Abgesehen davon, dass das Resultat des matchings rätselhaft bleibt, würde ich rein pragmatsch vorgehen. Kannst Du nicht den matching Schritt (der offebar überflüssig ist, da die Gruppen schon vergleichbar sind) auslassen und direkt zur Analyse übergehen.

[tiny]

Ja, das ist eine Überlegung wert.
Vielen Dank für deine Antworten.