mobilogisch!

Die GPS-Euphorie trübt den Blick für die Regeln der empirischen Forschung

• Drucken
• E-Mail

In großem Umfang werden derzeit Forschungsprojekte zum Einsatz von GPS-Technologien bei Mobilitätserhebungen gefördert. Werden die erhobenen Daten dadurch wirklich besser?

Das Kolloquium in Dresden

Regelmäßige mobilogisch!-Leser wissen, dass wir uns seit einiger Zeit damit befassen, wie in Deutschland die Standards für Mobilitätserhebungen aufgeweicht werden. Und dass das im Kern eigentlich niemanden juckt.

Jetzt hat es aber doch gejuckt: Die Technische Universität Dresden hat ihr 38. Verkehrsplanerisches und Verkehrsökologisches Kolloquium als „Sonderveranstaltung mit der DVWG“ durch­geführt (26.06.2013). Einer der Hauptredner war Dr. Gerd Sammer, Em. o.Univ. Prof. für Verkehrs­wesen von der Universität für Bodenkultur (Institut für Verkehrswesen, Department für Raum, Landschaft und Infrastruktur) in Wien. Sein Beitrag war betitelt „Qualität von Verkehrsverhaltenserhebungen im Haushalt – Probleme und Lösungsansätze“.

Ein wesentliches Anliegen war ihm dabei zu zeigen, dass Mobilitätserhebungen über ein mitgeführtes GPS-Gerät eine höhere Mobilität erfassen als konventionellere Befragungen. Dabei rekurriert er auf das Projekt MOBIFIT 2010, das vom Verkehrsministerium und der Forschungsgesellschaft in Österreich gefördert wurde. Unterlagen über dieses Projekt waren uns nur begrenzt zugänglich. Wir stützen uns auf eine Präsentation von Herry/ Tomschy mit dem Titel „Erfahrungen mit technologiegestützten Erhebungsmethoden – MOBIFIT“, gehalten am 18.01.2011 im Rahmen einer „Konzeptstudie Mobilitätsdaten Österreich (KOMOD)“ und ein Paper von Kohla/ Meschik mit dem Titel „Comparing Trip Diaries with GPS Tracking: Results of a Comprehensive Austrian Study“, präsentiert auf der Konferenz „Transport Survey Methods: Best Practice for Decision Making“, publiziert bei Emerald, 2013.

Das Projekt MOBIFIT

Aus der Präsentation erfahren wir mehr über das Projekt MOBIFIT: „Ziel des Projektes war die Entwicklung und Testung einer Verkehrsverhaltensanalyse (Mobilitätserhebung) via GPS mit speziellem Fokus auf die Ausarbeitung der Unterschiede bzw. Vor- und Nachteile gegenüber herkömmlichen Paper-Pencil-Erhebungen“. Die Erhebungen wurden in zwei Gebieten (Graz: Januar bis Februar 2010; Tullnerfeld: November 2009 bis Januar 2010) und an drei aufeinander­folgenden Stichtagen durchgeführt. Es gab – laut Präsentation – vier sogenannte Probandengruppen:

„Probandengruppe A1 – GPS passiv:
Wurde mittels rein passiver GPS-Technologie erhoben, d.h. die Probanden tragen das GPS-Gerät bei sich, ohne zusätzlich Informationen eingeben zu müssen.

Probandengruppe A2 – GPS aktiv:
Wurde mittels aktiver GPS-Technologie erhoben, d.h. die Probanden gaben zusätzlich die benutzten Verkehrsmittel zu den zurückgeleg­ten Wegen an.

Probandengruppe B – GPS und Kontiv:
Passive GPS-tracking Methode, parallele Kontrollerhebung in traditioneller Form nach dem Kontiv-Design.

Probandengruppe C – Kontiv:
Traditionelle Erhebungsform mit Personenwegebögen nach dem Kontiv-Design (Kontrollgruppe).“

Die Angaben über die Fallzahlen variieren in beiden Veröffentlichungen, ebenso die Angaben über die erzielten Antwortquoten. In jedem Fall sind die Grundgesamtheiten sehr gering (für alle GPS-Gruppen zusammen – je nach Quelle – 124 oder 134 Teilnehmer) und die Antwortquoten sehr niedrig (GPS – je nach Quelle - zwischen 15 und 23 %; Haushaltsbefragung – je nach Quelle – zwischen 28 und 30%).

Die jeweils erfasste Wegeanzahl liegt (errechnet aus dem Außer-Haus-Anteil und der Wegehäu­figkeit pro mobiler Person) bei:

Die von Sammer in Dresden berichteten Werte sind unter dem Titel „Messfehler von Mobilitätsindikatoren“ so zusammengefasst:

Dabei ist mit „Kontiv“ nur ein vereinfachtes Verfahren gemeint, das gegenüber einem „richtigen KONTIV-Design“ eine Reihe von Mängeln aufweist. (Mehr hierzu kann man in der oben genannten „Konzeptstudie Mobilitätsdaten Österreich (KOMOD)“ nachlesen.)

Im Paper werden folgende Fallzahlen für die vier Gruppen berichtet („participants“):

Daraus wird ersichtlich, dass Sammer vermutlich die Mobilität von A1, A2 und B (GPS) zu seinem „GPS-Wert“ zusammengefasst hat und die von B (Befragung) und „nur Befragung“ zu dem von ihm „Kontiv“ genannten Wert. (Wären die Gruppen nur zahlenmäßig anders besetzt gewesen, hätten sich schon andere Werte ergeben!) Aber das soll uns jetzt nicht kümmern, wir wollen uns ja mit den Sammer’schen „Messfehlern von Mobilitätsindikatoren“ befassen (Das ist der Titel der Grafik mit den oben gezeigten Indikatoren). Und da interessiert uns zunächst der Unterschied von 3,2 zu 4,4 Wegen pro Person.

Vergleiche von Daten aus unterschiedlicher Methodik

Die empirische Sozialforschung ist relativ strikt: Das jeweils gewählte Messverfahren bestimmt das jeweils erzielte Messergebnis. Will man also Ergebnisse verschiedener Messverfahren vergleichen, muss man die durch jedes Verfahren bewirkten Einflüsse (Artefakte) abschätzen. Man wird sie nicht immer alle quantifizieren, vielleicht auch nur ganz grob schätzen können, aber man muss ihren Einfluss zumindest in Erwägung ziehen. Hierzu haben wir bei diesem Projekt, wie auch bei vielen anderen, die den Einsatz neuer Technologien zeigen, nicht viel gefunden. Dabei sind eine Reihe einschlägiger Einflussfaktoren bekannt und auch gut dokumentiert. Es wäre also nicht schwer gewesen, mit den gemessenen Ergebnissen ein bisschen selbstkritischer umzugehen.

Eine kleine Auswahl bekannter Methoden-Einflüsse zeigt:

• Schaufenster-Bummel und ähnliche Angewohnheiten Es ist seit über 30 Jahren bekannt, dass in einer klassischen Mobilitätserhebung die Befragten das Ziel „Einkauf“ oft nur einmal angeben, auch wenn sie mehrere Läden/ Geschäfte ansteuern/ besuchen. Auch der klassische „Bummel“ (Einkauf, Freizeit, beides), der ja durch Stopps und/ oder Ziele unterbrochen ist, wird meist nur einmal genannt. Bei einer GPS-Erhebung ist das ganz anders. In der Möglichkeit, diese kleinen Aktivitäten zu erfassen, liegt ja gerade ihre Stärke. Dass dieser Effekt im vorliegenden Bestand auftritt, zeigen die Auswertungen nach Verkehrsmitteln und Entfernungen: In der Befragung fehlen vor allem kurze Wege, oft zu Fuß, während sich die gesamten Tages-Entfernungen bei beiden Erhebungsformen kaum unterscheiden.
• Zusammengefasste Wege Es ist auch lange bekannt, dass Subaktivitäten, die auf dem Weg zu einer Hauptaktivität erledigt werden (z.B. Kauf einer Zeitung auf dem Weg zur Arbeit; kurzer Stopp vor der Schule für ein mitfahrendes Schulkind etc.) oft nicht berichtet werden. Auch hierfür gibt es Bestätigung in den vorliegenden Daten (z.B. weniger kurze Pkw-Fahrten in der Befragung, bei Einsatz von GPS aber erfasst).
• Codierung Bei der Codierung gibt es – bei herkömmlichen Befragungen – zum letzten Mal die Möglichkeit, dass ein Mensch die Mobilitätsdaten eines Haushalts im Zusammenhang studiert. Ein solches Vorgehen verbessert die Ergebnisse spürbar, ist aber personal- und kostenintensiv. Angewendet wird es eher selten. Bei Socialdata ist es ein unverzichtbarer Teil des KONTIV-Designs. Das wurde besonders deutlich, als wir das Neue KONTIV-Design (NKD) in den Niederlanden eingeführt haben. (mobilogisch!-Leser werden sich erinnern; Ausgabe 2/12). Wir waren damals in den Niederlanden „nur“ Berater; die Durchführung lag beim Centraal Bureau voor de Statistiek (CBS). CBS führte zu unseren ersten Tests auch ein Parallelverfah­ren mit alter Methode durch. Das erreichte 44 % Ausschöpfung, aber eine Wegeanzahl von 3,9 (Wege pro Person und Tag). Unsere Tests erzielten dagegen 74 % Ausschöpfung, aber nur 3,0 Wege. (Die Parallelen zur Präsentation in Dresden sind nicht zu übersehen.) In einer gemeinsamen sorgfältigen Analyse konnte gezeigt werden, dass die vermeintlichen Unterschiede in der Mobilität sämtlich auf Einflüsse der jeweiligen Erhebungs-Designs zurückzuführen sind. Und ein Drittel des Unterschiedes entstand auf dem Gebiet Codierung (1).
• Completing Die von Herry/ Sammer et al. mehrfach geäußerte Erkenntnis, dass bei einer Befragung nicht alle Wege vollständig und korrekt berichtet werden, ist nicht neu. Allerdings sind die Reaktionen auf diese Erkenntnis sehr unterschiedlich. Eine Reihe von „Befragern“ sieht die Ursache bei den Befrag­ten oder spricht von einem (unvermeidlichen) Methodenproblem. Bei einem „echten KONTIV-Design“ werden dagegen die rückgelau­fenen Fragebogen systematisch überprüft und – wenn nötig – mit den Befragten persönlich validiert. Eine solche Validierung wird meist bei 75 – 90 % der Befragten durchgeführt und damit wird fast so viel Zeit für die Validierung wie für die Generierung der Daten aufgewendet. Und erst wenn auch „Cor­rection“ (Codierung) und „Completing“ ordentlich durchgeführt sind, ist es ein KONTIV-Design. Bei der vereinfachten Kontiv-Version wird das lockerer gesehen und deshalb ist nicht immer „KONTIV“ drin wo „Kontiv“ draufsteht. Wir haben vor diesem Hintergrund auch eine Befragung von Herry (1993) analysiert (2) und festgestellt, dass bei einem verkürzten und vereinfachten Kontiv-Design vor allem kurze Fuß- aber auch Pkw-Fahrer-Wege nicht berichtet werden.
• Selektivität Neue Technologien haben neue Freunde. In allen vergleichbaren Studien zu MOBIFIT zeigt sich, dass es eine ganz spezielle Gruppe der Bevölkerung ist, die es spaßig findet, tagelang mit einem GPS-Tool herumzulaufen. Wirklich berücksichtigt wird diese Erkenntnis fast nie. Dabei kann man sich gut vorstellen, dass Menschen, die Freude an einem GPS-Tool haben, auch Menschen mit einer anderen (höheren) Mobilität sind. Socialdata Australia hat in einem einfachen Experiment (3) nachgewiesen, dass Interessenten an einem GPS-Projekt eine deutlich höhere Mobilität aufweisen als der Durchschnitt und häufiger mit dem Auto unterwegs sind (auch bei MOBIFIT – wenig überraschend – zeigen diese beiden Indikatoren höhere Werte).
• Motivation Bei einem wirklichen KONTIV-Design gibt es die Rolle der Motivierer(innen). Das sind Menschen, die in der Lage sind, eine Interaktion mit den Befragten aufzubauen und sie zur Teilnahme zu motivieren. Aber sie machen nicht nur das. Sie ermuntern die Befragten auch, alle weniger wichtigen Wege und Aktivitäten zu berichten. Dafür stehen sie mit Rat und Tat den Befragten zur Seite. Diese Aufgabe ist anstrengend und erfordert ganz besondere Persönlichkeiten. Und man braucht einen speziellen Einsatz- und Personalplan, der auch die Motivation der Motivierer(innen) vorsieht. Dass solche oder vergleichbare Aktivitäten zur Verbesserung der Ergebnisse führen, kann man (indirekt) an den vorliegenden Daten erkennen: Die Teilnehmer der Gruppe B haben bei der Befragung 20 % mehr Wege berichtet als die der Gruppe C. Offenbar hat schon das Mitführen des GPS-Tools ihre Aufmerksamkeit stärker angeregt und sie zu genauerem Berichten motiviert.
• Stichprobe Die Stichproben im MOBIFIT-Projekt sind sehr klein und setzen sich auch noch aus verschiedenen Sub-Gruppen zusammen (Stadt, Land; November, Dezember, Januar, mit oft deutlichen Witterungseinflüssen auf die Mobilität). Dass es hieraus weitere Einflüsse auf die Ergebnisse gibt, ist wahrscheinlich. Ein Hinweis darauf ist die unterschiedliche Mobilität der Gruppe B (GPS) zu den „reinen“ GPS-Gruppen. Denn warum sollte die mit GPS gemessene Mobilität niedriger sein, nur weil zusätzlich noch eine Befragung durchgeführt wird?

Abschätzung der denkbaren Methodeneinflüsse

Die eben diskutierte Liste von möglichen Einflüssen ist bei Weitem noch nicht vollständig. Aber sie fasst die gängigsten Effekte zusammen. Da es für diese Effekte genügend Erkenntnisse gibt, um sie quantitativ abzuschätzen, können wir jetzt für jeden der genannten Einflüsse angeben, wie stark sie die Ergebnisse verändern können. (Diese Werte können allerdings nicht zu einer kumulativen Wirkung addiert werden.)

In der folgenden Tabelle wird angegeben, um wie viel Prozent der bei Sammer unter „Kontiv“ angegebene Wert wachsen könnte, wenn die methodischen Voraussetzungen geschaffen wären (lediglich bei a) und b) sind die gezeigten Effekte in einem echten KONTIV-Design nur zum Teil korrigierbar).

Man muss dem nicht in allen Punkten folgen. Aber es wäre schwer zu behaupten, dass in einem seriösen Forschungsprojekt alle diese Artefakte schlicht ignoriert werden können. Ent­weder die MOBIFIT-Autoren haben das gemacht oder sie haben Ergebnisse publiziert ohne die dazugehörigen methodischen Erkennt­nisse. Damit bleibt die eigentliche Forschungsfrage (Einfluss von GPS-basierten Methoden auf die Ergebnisse von Mobilitätserhebungen) im Kern unbeantwortet.

Alleine die beiden Einflussfelder „Correction/ Completing“ und „Selektivität/ Motivation“ können den Unterschied der in Dresden gezeigten Werte leicht erklären (3,2 zu 4,4 = 36 %). Damit stellt sich eher die Frage, ob in dem in Dresden gezeigten GPS-Teil wirklich alle Wege sauber erhoben wurden.

Ergebnisse, die „in die Zeit passen“

Trotz vieler Fragen zum Einsatz der GPS-Metho­dik zeigt sich aber weltweit, wie Forschungspro­jekte, die neue Technologien für Befragungen fördern, zunehmen. Und das Ergebnis – ob abgesichert oder nicht – erscheint ja auch sehr plausibel: GPS-Tools erfassen die Mobilität genauer. Und die Befragten sind auch ganz glücklich, dass sie so ein Gerät bekommen haben, weil es ihnen viel Arbeit bei der Befragung erspare.

Es ist schon bemerkenswert, dass Forscher, die bisher wenig befragtenfreundlich agiert haben (siehe „KOMOD-Handbuch“), jetzt plötzlich den „respondent burden“ entdecken, den sie vermeintlich reduzieren wollen. Und es ist ja auch gar nicht so: Herry/ Tomschy schreiben selbst, dass die Teilnahme am GPS-Teil „von drei Viertel der kontaktierten Personen explizit verweigert wurde“. Ja, warum wohl?

Und kleiner wird dieser Anteil in Zukunft auch nicht werden.

Der „Stellvertreter-Krieg“

Die Literatur zur Methodik von Mobilitätserhebungen zeigt über mehrere Dekaden immer wieder Versuche durch neue „Techniken“ (der unterschiedlichsten Art) vermeintliche Verbesserungen zu erreichen.

Der echte Gradmesser für deren Erfolg sind die Bereitschaft der Befragten zur Teilnahme und die Validität der erhobenen Daten. Teilnahme und Datenqualität sind erreichbar, wenn man Befragte nicht als Antwortautomaten, notwendiges Übel oder gar Gegner begreift und stattdessen mit ihnen eine Interaktion auf Augenhöhe aufbaut. Dies ist möglich und in der Literatur auch dokumentiert. Es verlangt Konzepte, die Befragte ernst nehmen, sich um sie bemühen und sie zu einer aktiven Befragungsteilnahme motivieren. Dies gelingt nur, wenn der Befragungsprozess ernst genommen und sehr gut organisiert wird und ist mit Aufwand verbunden.

Genau das scheut mancher Mobilitätsforscher („Ich bin ein schlechter Organisator“; „Ich muss mit den Mitarbeiter(inne)n arbeiten, die ich habe“; „Dafür wäre uns der Aufwand zu groß“) und wendet die bestehenden Methoden unvollständig, ungenau, fehlerhaft an.

Die (vorhersehbaren) schlechten Rückläufe und niedrigen Wegehäufigkeiten bringt er/ sie aber nicht mit eigenem Handeln in Zusammenhang. Stattdessen neigt er/ sie dazu, andere, bessere Methoden einfach auszublenden. Oder, mit ei­nem Zitat aus dem Buch „Antifragilität“ von Nassim Nicholas Taleb: „Zu allem Überfluss ist er schließlich noch überzeugt, dass es das, was er nicht sieht, nicht gibt, beziehungsweise dass das, was er nicht versteht, nicht existiert. Er verwechselt also letztlich das Unbekannte mit dem Nicht-Existenten.“

In Kürze

In der Literatur zur Mobilitätsforschung kann man nachlesen, wie sich die Ergebnisse durch GPS-Technologien verbessern lassen. Eine ge­nauere Prüfung zeigt, dass dies oft auf einem Vergleich mit unzulänglich durchgeführten kon­ventionellen Erhebungen beruht. Eine Überle­genheit der GPS-gestützten Erhebung lässt sich daraus nicht ableiten.

Quelle:

1. Werner Brög, Erhard Erl: Systematische Fehler in Mobilitätserhebungen, Beitrag zur Konferenz der europäischen Verkehrsminister, 15. International Symposium. Key Issues for Transport Beyond 2000, Thessaloniki/ Griechenland, Juni 2000
2. Werner Brög, Erhard Erl: Systematic Errors in Mobility Surveys, Paper presented at the 23rd ATRF Conference, Perth, September/ October 1999
3. Werner Brög, Erhard Erl, Ian Ker, James Ryle, Rob Wall: Evaluation of voluntary travel behaviour change: Experiences from three continents, in: Transport Policy (2009), doi:10.1016/j.tranpol.2009.10.0003

Dieser Artikel von Werner Brög ist in mobilogisch! , der Vierteljahres-Zeitschrift für Ökologie, Politik und Bewegung, Heft 4/2013, erschienen. 

Einzelhefte von mobilogisch! können Sie in unserem Online-Shop in der Rubrik "Zeitschrift - Versand Hefte" bestellen.