F-Test zum Vergleich zweier Modelle

T-Test, U-Test, F-Test sowie weitere Tests und Gruppenvergleiche aller Art mit Stata.

F-Test zum Vergleich zweier Modelle

Beitragvon StevenHero » Mo 9. Jan 2012, 21:47

Hallo Stata-Forum,

Ich bin noch ziemlich neu im Bereich STATA doch habe großes Interesse zu lernen.
Und zwar würde ich gerne einen F-Test für zwei Modelle die ich geschätzt habe durchführen.

Y = x1 + x2 + x3 und ln(y) = ln(x1) + ln(x2) +ln(x3)

Ich bekomme von Modell 1 ein R^2 von 0,820 und für Modell zwei ein R^2 von 0,724

Ich würde diesen Unterschied nun gerne in der Form:

f = ((R²1 - R²0) / J) / ((1 - R²1) / (N-K)) [wobei n=30] testen.

Das ist sicher mit STATA möglich, jedoch sagen mir viele Kürzel in der help test noch nichts.

Hoffentlich könnt ihr mir helfen.
Vielen dank im Vorraus

Steven
StevenHero
 
Beiträge: 3
Registriert: Mo 9. Jan 2012, 21:38
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: F-Test zum Vergleich zweier Modelle

Beitragvon daniel » Mo 9. Jan 2012, 22:47

Ich mag mich irren, aber ein solcher Test ist denke ich relativ sinnlos, da das outcome nicht das selbe ist. R-quadrat ist defieniert als erklärte Varianz im outcome. Was soll ein Vergleich der erklärten Varianz in y mit der erklärten Varianz in ln(y) aussagen?
Stata is an invented word, not an acronym, and should not appear with all letters capitalized: please write “Stata”, not “STATA”.
daniel
 
Beiträge: 1060
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: F-Test zum Vergleich zweier Modelle

Beitragvon StevenHero » Di 10. Jan 2012, 10:59

Vielen dank schonmal für die Antwort. Ich versuchs zu erklären was ich machen möchte.

Ich würde gern zeigen, dass das nicht logarithmierte Modell signifikant mehr Erklärungskraft hat als das ln Modell. Bei einem Unterschied von fast 10 Prozentpunkten ist das zwar ein deutlicher Fall.Was wäre jedoch wenn Modell 1 ein R2 von 81% hat und Modell 2 r2 von 82.1%.
Es sollte doch einen Test geben (mit oben beschriebener Formel) ob Modell 2 nun signifikant mehr Erklärungskraft hat oder ob die Abweichungen von 1.2% nur zufällig zu erklären sei.

Oder habe ich ein Denkfehler drin und jedes R2 ist sobald es etwas höher ist "besser"

Ich hoffe ich konnte mein Problm nun besser schildern
StevenHero
 
Beiträge: 3
Registriert: Mo 9. Jan 2012, 21:38
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: F-Test zum Vergleich zweier Modelle

Beitragvon daniel » Di 10. Jan 2012, 12:09

Ich würde gern zeigen, dass das nicht logarithmierte Modell signifikant mehr Erklärungskraft hat als das ln Modell. Bei einem Unterschied von fast 10 Prozentpunkten ist das zwar ein deutlicher Fall.Was wäre jedoch wenn Modell 1 ein R2 von 81% hat und Modell 2 r2 von 82.1%.
Es sollte doch einen Test geben (mit oben beschriebener Formel) ob Modell 2 nun signifikant mehr Erklärungskraft hat oder ob die Abweichungen von 1.2% nur zufällig zu erklären sei.


Wie bereits geschrieben, glaube ich, dass dieser Vergleich generell sinnlos ist, weil das zwei völlig unterschiedliche Modelle sind. Zu schreiben Modell 1 erklärt 80% der Varianz in y, während Modell zwei lediglich 72% der Varianz in ln(y) erklärt ist, um es mal auf die Spitze zu treiben, als würdest Du sagen, Modell 1 erklärt 80% der Varianz des gemessenen IQs, während Modell 2 nur 72% der Varianz des Einkommens erklärt. Was soll man aus einem solchen Vergleich folgern?

Ich wüsste auf Anhieb auch nicht, wo und wie ein solcher Test in Stata implementiert ist. Mit likelihood-ratio (help lrtest) Tests kannst Du genestete Modelle vergleichen, ansonsten gibt es noch das user-written -fitstat- (Teil des spost9.ado von SSC), das Dir verschiedene Gütekriterien der Modelle berechnet.

Wenn Du unbedingt Deinen Test berechnen willst und nichts findest was passt, ist es vielleicht die schnellere Lösung das einfach selbst zu schreiben. Unter -help density functions- bekommst Du Funktionen, die Dir kritische Werte für Deine Verteilung gegeben Parametr ausspucken.
Stata is an invented word, not an acronym, and should not appear with all letters capitalized: please write “Stata”, not “STATA”.
daniel
 
Beiträge: 1060
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: F-Test zum Vergleich zweier Modelle

Beitragvon StevenHero » Di 10. Jan 2012, 15:31

Achsoo meinst du das mit dem Sinn zum Vergleich zweier unterschiedlicher Modelle.
Wenn es so wäre das man IQ und Einkommen in zwei Modellen misst, dann geb ich dir natürlich recht und ein Test auf die R2 Werte ist nicht sinnvoll.

Jetzt bleibt mir nur noch eine Frage : meine abhängige Variable ist in beiden Modellen die selbe also Lohn. Ich sollte nun zwei Modelle schätzen, einmal ein lineares mit Lohn = alter + Erfahrung gegen das loglineare Modell mit log(Lohn)= Log(alter) + log(Erfahrung) und begründen welches ich vorziehen. Ich habe dann mit dem R2 argumentiert welches im Modell 1 eben 0.81 ist und im Modell 2 0.72 ist.

Und jetzt nur zum Verständnis : Ich kann auf diese beiden R2 Werte keinen f-test auf Signifikanz machen, da Lohn und log(Lohn) zu behandeln ist wie IQ und Einkommen? Versteh ich dich das richtig. Und bleibt meine Argumentation valide mit den R2 oder sollte ich evtl. auch ein AIC und BIC berechnen?

Grüße Steven
StevenHero
 
Beiträge: 3
Registriert: Mo 9. Jan 2012, 21:38
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: F-Test zum Vergleich zweier Modelle

Beitragvon daniel » Di 10. Jan 2012, 15:43

Ich denke Du kannst das schon testen, es ist nur eben nicht sehr sinnvoll. Schon der Vergleich, ohne statisitschen Test, von R-quadrat ist eher sinnfrei, weil es sich eben um zwei völlig unterschiedliche Modelle handelt. Ich würde AIC und BIC vorziehen, es kann aber natürlich sein, dass ich da auch falsch liege. M.E. sollte das Modell ohnehin von der Theorie geleitet sein, es sei denn es handelt sich um ARIMA Modelle oder ähnliches, in denen es keine inhaltlichen Variablen gibt.
Stata is an invented word, not an acronym, and should not appear with all letters capitalized: please write “Stata”, not “STATA”.
daniel
 
Beiträge: 1060
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post


Zurück zu Tests und Gruppenvergleiche

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron