mobilogisch!

Wenn dieselben nicht dieselben sind: Was misst eigentlich ein Panel?

• Drucken
• E-Mail

Erhebungen wie das deutsche Mobilitätspanel (MOP) haben den Anspruch, dass sie das Mobilitätsverhalten mehrfach von denselben Personen ermitteln. Kann man das so einfach sagen?

Panels in der Mobilitätsforschung

In der Mobilitätsforschung gibt es traditionell viele Erhebungen bei denen das Mobilitätsverhalten der Menschen erfasst werden soll. Dabei werden zum Glück die in der Marktforschung üblichen Verfahren („wie oft nutzen Sie im Durchschnitt öffentliche Verkehrsmittel“ oder „an wie vielen Tagen der Woche fahren Sie Fahrrad“) eher seltener eingesetzt. Stattdessen wird das Verhalten in der Regel in tagebuchähnlichen Verfahren ermittelt, meist zu einem bestimmten Stichtag, manchmal auch über längere Zeiträume.

Will man Veränderungen im Mobilitätsgeschehen messen, werden meist Querschnittserhebungen zu mehreren Zeitpunkten (mit jeweils repräsentativen Stichproben) durchgeführt. Gelegentlich (und je nach Aufgabenstellung) werden in solchen Fällen aber auch Panel-Erhe­bungen ins Spiel gebracht.

Bei einer Panel-Erhebung werden dieselben Haushalte/ Personen wiederholt befragt. Damit könne man – so die Theorie – Verhaltensände­rungen besonders gut messen. Dies wirke sich auch vorteilhaft auf die erforderliche Stichprobengröße aus, die (da man ja dieselben Personen befrage) bei gleicher Zuverlässigkeit bei einem Panel kleiner sein könne als bei aufeinanderfolgenden repräsentativen Stichproben.

Soweit die Theorie. Die Praxis sieht ein bisschen anders aus. Das zeigt sich besonders deutlich bei einem häufigen Einsatzbereich von Mobilitäts-Panels: Der Evaluierung von Programmen zur Verhaltensänderung. Solche Programme gibt es inzwischen weltweit. Ihr Ziel ist es fast immer, die Nutzung alternativer Verkehrsmittel zum Auto zu fördern und damit die Häufigkeit von Pkw-Fahrten zu reduzieren.

Eine Zusammenfassung von solchen Projekten (in drei Kontinenten) findet sich in Brög/ Erl/ Ker/ Ryle/ Wall: „Evaluation of voluntary travel behaviour change: Experiences from three continents“ in Transport Policy 16 (2009).

*)Die kombinierte Antwortquote ist das Produkt Vorher und Nachher (Beispiel: Vorher 60, Nachher 80%, kombiniert 48%)

Verschiedene Methoden messen verschiedene Ergebnisse

Gerade bei der Evaluierung solcher Programme zur Verhaltensänderung wird immer wieder der Einsatz von Panel-Erhebungen gefordert. Hierzu finden sich im o.g. Artikel auch drei Beispiele, die nachdenklich machen sollten. Dabei wurden bei den jeweiligen Zielgruppen parallel Querschnitts- und Panel-Erhebungen durchgeführt. Dazu muss man wissen, dass bei den gezeigten Projekten (sämtlich in Australien) jeweils der Anteil der Pkw-Fahrten reduziert werden sollte. In die Erhebungen wurden alle Personen eines Haushaltes (ohne Altersbegrenzung) einbezogen. Anders als bei vielen Befragungen in Deutschland waren dabei die Antwortquoten sehr hoch (s. S. 19).

Bei allen drei Projekten ergaben sich (nach nur einem Jahr) in der Querschnittsmessung sehr erfreuliche Rückgänge bei der Pkw-Nutzung (im Durchschnitt –13 %!). In den jeweiligen Panels wurden jedoch regelmäßig geringere Veränderungen gemessen (Durchschnitt –10 %).

Dies bestätigt zunächst die alte Empirie-Weis­heit, dass das Messergebnis von dem jeweils gewählten Messverfahren (mit) bestimmt wird. Aber die durchgängige Richtung der Abweichungen in den Panels zeigt uns noch mehr.

Wenn dieselben nur die gleichen sind

Um diese Besonderheit der Panel-Erhebungen noch deutlicher zu machen, haben wir bei einem Projekt in Worcester (1) ein Panel über sechs Jahre durchgeführt, mit hohen Fallzahlen. Im Querschnitt wurden 4.125 Personen 2004 und 3.140 Personen 2010 befragt, im Panel 844 bzw. 786. Die Antwortquoten lagen bei etwas über 60 % (Querschnitt) und etwas über 50 % (kombinierte Antwortquote Panel).

Die Evaluierung der Verkehrsmittelnutzung ergab vor allem bei der wichtigsten Kennziffer (Pkw als Fahrer) einen deutlichen Unterschied zwischen der Querschnitts- und der Panel-Erhebung: Der bereits gezeigte Trend aus den Untersuchungen mit Jahresabstand (geringerer Rückgang der Pkw-Fahrten im Panel als im Querschnitt) hat sich deutlich verstärkt:

(STT= Sustainable Travel Towns)

Die im Querschnitt gemessene Reduzierung der Pkw-Fahrten war jetzt zweieinhalbmal so groß wie die im Panel. Wie ist das möglich?

Diese Frage lässt sich relativ leicht beantworten, wenn man bedenkt, dass Befragte, die nach einem bestimmten Zeitraum (im Worcester-Beispiel: sechs Jahre) wieder befragt werden, zwar dieselben Menschen sind, aber in unterschiedlichen Lebens­situationen. Zu allererst sind alle sechs Jahre älter. Und alleine dieser Effekt bedeutet ja, dass in den befragten Haushalten sechs volle Jahrgänge junger Menschen im Panel fehlen, junge Menschen, die noch nicht selber Auto fahren. Damit wird der Anteil der Pkw-Fahrer in der (zweiten) Panel-Erhebung nach sechs Jahren relativ größer als in einer Querschnittserhebung und die Reduzierung der Pkw-Fahrten fällt (scheinbar) geringer aus.

Aber das ist natürlich noch nicht alles. In den sechs Jahren zwischen den beiden Panel-Erhebungen ist (wahlweise) die Oma gestorben, ein Kind geboren, der Vater arbeitslos geworden, ein neues Auto gekauft worden, eine neue Straßenbahnlinie zum Zentrum gebaut worden, der Sohn an eine Universität in einer anderen Stadt gegangen, die Tante pflegebedürftig geworden, die Wohnstraße verkehrsberuhigt, der Arbeitsplatz der Mutter verlegt worden, usw., usw.. Mit anderen Worten: Dieselben Menschen sind im Sinne einer Mobilitätserhebung keineswegs dieselben. Und es ist eines der großen Probleme von Panel-Erhebungen, dass sie das umgangssprachlich leicht verstehbare Versprechen genau nicht einlösen, nämlich dieselben „(Mobilitäts-)Menschen“ zu befragen.

Vor diesem Hintergrund muss man auch die Annahme größerer Signifikanz-Werte im Panel bei gleicher Stichprobengröße wie im Querschnitt in Frage stellen. Dies bedeutet nun keineswegs, dass Panel-Erhebungen sinnlos wären. Es bedeutet nur, dass sie mitunter falsch eingesetzt und/ oder falsch verstanden werden.

Will man beispielsweise die Veränderung des Verhaltens einer Familie über einen Zeitraum von mehreren Jahren untersuchen, ist ein Panel unverzichtbar. Will man aber die Wirkung einer bestimmten Maßnahme auf eine ausgewählte Zielgruppe messen, ist ein Panel weniger geeignet. Denn der Einfluss von anderen externen Faktoren auf die Zielpersonen ist oft größer als die Wirkung der zu messenden Maßnahme. Und es ist allen uns bekann­ten Mobilitäts-Panels zu eigen, dass sie genau diese externen Faktoren nicht oder nicht ausreichend thematisieren. Das war im Beispiel von Worcester anders. In einer sehr intensiven Begleitforschung wurden alle messbaren Sekundär-Einflüsse untersucht, (2) das Ergebnis der Querschnitts-Befragung bestätigt und damit deutlich gemacht, dass die im Panel erhobenen Werte für die Pkw-Nutzung nicht stimmen können.

Wenn „die gleichen“ sich nur ähneln

Mit den geschilderten Problemen ist es bei den gängigen Mobilitäts-Paneln aber noch nicht getan. Fast alle kämpfen mit den Antwortquoten. So erreichen beispielsweise viele Evaluierungen zu Verhaltensänderungen nur kombinierte Ausschöpfungen (Antwortquote vorher multipliziert mit der Antwortquote nachher) von etwa einem Drittel (oder weniger) und verlieren alleine dadurch ihren Anspruch auf valide Aussagen.

Oder es wird von vorneherein auf die Ziehung einer repräsentativen Stichprobe verzichtet und stattdessen werden Haushalte gesucht und angeworben, die eine größere Bereitschaft zeigen, sich an einer solchen Befragung zu beteiligen (also keine – im statistischen Sinne – zufällige Auswahl). Diesen Weg geht beispielsweise das Mobilitätspanel des Bundesministers für Verkehr = MOP (www.mobilitaetspanel.de). Dabei ist die Problematik, die sich aus diesem Anwerbeverfahren ergibt, unseres Wissens zu wenig thematisiert worden.

Aber auch mit diesem Verfahren gelingt es nicht, den überwiegenden Teil der Panel-Teil­nehmer bei der Stange zu halten. Obwohl das Panel nur drei Wellen hat und nur zwei Jahre dauert, steigen schon nach der ersten Welle derzeit ein Fünftel bis ein Viertel (früher oft ein Drittel) der Haushalte aus. In der zweiten Welle findet sich dann nur noch eine gute Hälfte der Ausgangsgesamtheit.

Diese Zahlen variieren über die Jahre und mögen manchmal besser oder schlechter sein. Der entscheidende Punkt ist aber ein anderer: Ausgeschiedene Haushalte werden – möglichst „strukturgleich“ – nachbesetzt. Das heißt, für Familie Müller kommt Familie Meier, weil die Eltern auch zwischen 30 und 45 Jahren alt sind und ebenfalls ein Kind unter 10 Jahren haben. Auch die Berücksichtigung einiger weiterer Strukturmerkmale (wie z.B. Gemeindegröße) macht aber aus Familie Meier noch lange nicht die Müllers (mit ihrer spezifischen Einstellung zum Leben). Aus den gleichen werden damit die ähnlichen. Und von den gleichen gibt es keine Zeitreihe mehr zu den ähnlichen.

Diese Probleme sind in der Panelforschung bekannt und werden dort eher als kontrollierbar dargestellt. Unter der Flagge „Rotationspanel“ wird beispielsweise im MOP dem methodischen weniger versierten Leser der Eindruck vermittelt, dass letztlich ein sauberes Panel vorliege, wenn man ausgeschiedene Haushalte durch – vermeintlich zufällig gefundene – neue ersetzt. Tatsächlich entsteht im Rotationspanel aber eine bunte Mischung aus Haushalten die zwei Jahre im Panel (und damit auch zwei Jahre älter) sind, Haushalten die ein Jahr im Panel sind und Haus­halten die jeweils neu dazu kommen.

Da die Fallzahlen des Panels klein sind und da viele Teilnehmer nicht bis zum Ende dabeibleiben, ist die Zahl der Teilnehmer mit denen Verhaltensänderungen im Zeitverlauf untersucht werden können, eher gering (für den Zwei-Jahres-Zeitraum immer unter 500 Personen). Die eigentliche Aufgabe des Panels kann also nur begrenzt erfüllt werden. Zudem ist ein Zeitraum von zwei Jahren auch sehr (zu) kurz, um wesentliche Erkenntnisse über die Veränderungen des Mobilitätsverhaltens zu gewinnen.

Eindrücke aus dem deutschen Mobilitätspanel (MOP)

Wenn man vor diesem Hintergrund beispielsweise den Bericht 2011 (3) des deutschen Mobilitätspanel durchblättert (hier nur den Teil zur Alltagsmobilität), dann fällt auf, dass vor allem querschnittsbezogene Aussagen zur Entwicklung des Mobilitätsverhaltens in Deutschland gemacht werden (und auch nur für den Herbst). Häufig müssen mehrere Jahre zusammengefasst werden, weil die jährlichen Fallzahlen zu klein sind (z.B. werden 1996 – 2000 mit 2001 – 2005 und 2006 – 2010 verglichen) und die Ana­lyse wird dadurch grobkörniger.

Aber es ist leicht zu erkennen, dass für den überwiegenden Teil der vorgestellten Ergebnisse kein Panel benötigt würde. Im Gegenteil: Es wäre viel besser, die (erheblichen) Mittel für Auf­bau und Pflege des Panels für regelmäßige Querschnittsuntersuchungen (über das ganze Jahr!) zu verwenden und damit Verhaltensänderungen im Jahresrhythmus darzustellen. Wir vermuten, dass die Stichprobe dann so groß sein könnte, dass keine Fünfjahresblöcke mehr gebildet werden müssten. Und noch etwas: Die Erhebung könnte dann wieder auf einer echten Stichprobe basieren und die statistischen Kennziffern könnten auf der Basis berechnet werden die sie eigentlich haben müssten.

Es ist zwar richtig, dass es im Rahmen des MOP immer wieder Bemühungen gab, auch „echte“ Panel-Auswertungen zu machen. Die aber litten öfters unter den (zu) kleinen Fallzahlen, dem geringen zeitlichen Abstand (maximal zwei Jahre) und beträchtlichen methodischen Problemen, wie sie beispielsweise in diesem Beitrag geschildert wurden. Und so bleibt das MOP das, was es schon immer war: Eine konzeptionell gute Idee, die in ihrer Umsetzung weder Fisch noch Fleisch ist.

In Kürze

Die Annahme, dass Panel-Erhebungen mehrfach dieselben Personen befragen ist umgangssprachlich richtig, aber in der wissenschaftlichen Umsetzung problematisch. Tatsächlich verändern sich Grundgesamtheiten eines Panels oft schon nach kurzer Zeit aufgrund externer Einflüsse so stark, dass die gemessenen Ergebnisse in erheblichem Maße beeinflusst werden.

Info und Quellen:

1. Socialdata Ltd. , Sustrans (April 2011). Worcester: Travel behaviour research 2010, Report for Worcestershire County Council
2. Cairns, S., Sloman, L., Newson, C., Anable, J., Kirkbride, A., & Goodwin, P. (2004). Smarter choices-changing the way we travel. Final report of the research project: The influence of soft factor interventions on travel demand. Research Report, Department for Transport, London.
3. Zumkeller, D., Kagerbauer, M., Streit, T., Vortisch, P., Chlond, B., Wirtz, M. (2011). Deutsches Mobiitätspanel (MOP) wissenschaftliche Begleitung und erste Auswertungen, Bericht 2011: Alltagsmobilität & Tankbuch

Dieser Artikel von Werner Brög ist in mobilogisch! , der Vierteljahres-Zeitschrift für Ökologie, Politik und Bewegung, Heft 4/2012, erschienen. 

Einzelhefte von mobilogisch! können Sie in unserem Online-Shop in der Rubrik "Zeitschrift - Versand Hefte" bestellen.