Evaluationsnetzwerk für transdisziplinäre Forschung

Transdisziplinäre Methoden und Konzepte

Projekt:

Evaluationsnetzwerk für transdisziplinäre Forschung - Evalunet

Leitung:

Bearbeitung:

Dr. Engelbert Schramm
Dr. Matthias Bergmann

Projektpartner:

IÖW - Institut für ökologische Wirtschaftsforschung
Katalyse - Institut für angewandte Umweltforschung
Österreichisches Ökologie-Institut für angewandte Umweltforschung
Öko-Institut - Institut für angewandte Ökologie e.V.
Dr. Matthias Bergmann

Laufzeit:

07/2001-04/2006
abgeschlossen

Förderung: Bundesministerium für Bildung und Forschung

Förderschwerpunkt Sozial-ökologische Forschung

Publikationen

Bergmann, Matthias et.al. (2005): Qualitätskriterien transdisziplinärer Forschung. Ein Leitfaden für die formative Evaluation von Forschungsprojekten. ISOE-Studientexte, Nr. 13, Frankfurt am Main, ISSN 0947-6083, 76 Seiten, 6.- Euro + Versandkosten oder als pdf

Bergmann, Matthias et al., 2005: Quality Criteria of Transdisciplinary Research: A Guide for the Formative Evaluation of Research Projects. ISOE-Studientexte, No 13, Frankfurt am Main

Jahn, Thomas (2005): Soziale Ökologie, kognitive Integration und Transdisziplinarität. In: Technikfolgenabschätzung - Theorie und Praxis, Nr. 2, 14. Jahrgang, 32-38 (pdf-file, 280 kb)

Evaluationsnetzwerk für transdisziplinäre Forschung - Evalunet

In transdisziplinären Forschungsprojekten müssen Expertinnen und Experten aus verschiedenen Disziplinen und der Praxis zusammenwirken, um komplexe Forschungsgegenstände umfassend behandeln zu können. Diese Vielfalt erfordert besondere Formen der Kooperation, der Differenzierung und Integration und bringt es mit sich, dass gängige, bei der fachbezogenen Bewertung hinreichende Verfahren der Evaluation und der Qualitätssicherung nicht unmittelbar übertragbar sind. Im Vorhaben Evalunet wurden daher Qualitätskriterien identifiziert, die sowohl zur Evaluation transdisziplinärer Forschungsvorhaben als auch zu deren Konzipierung herangezogen werden können. Damit soll eine eigene Traditionsbildung für die Bewertung transdisziplinärer Forschung angestoßen und der Forschungsansatz insgesamt gestärkt werden. Als zentrales Ergebnis aus Evalunet wurde der Leitfaden »Qualitätskriterien transdisziplinärer Forschung« veröffentlicht, der inzwischen auch in einer englischen Fassung publiziert ist.

Stärkung der Forschungskapazitäten

Im Rahmen des Förderschwerpunkts "Sozial-ökologische Forschung" des BMBF werden neben Forschungsprojekten auch sogenannte "Infrastruktur-Vorhaben" gefördert, die eine grundlegende Stärkung der Forschungskapazitäten als Voraussetzung für interessante und innovative Projektforschung zum Ziel haben. Damit sollen die Bildung von Kompetenzzentren unterstützt und die sozial-ökologische Forschung in der Bundesrepublik deutlicher sichtbar werden. Fünf Institute des Ökoforum führten in diesem Kontext unter der Federführung des ISOE ein gemeinsames Vorhaben unter dem Titel "Evaluationsnetzwerk für transdisziplinäre Forschung (Evalunet)" durch. Das Vorhaben wurde im Juli 2001 begonnen und von einer Projektgruppe getragen. Ihr gehörten je eine VertreterIn von IÖW, ISOE, Katalyse, Österreichisches Ökologie-Institut, zwei VertreterInnen des Öko-Instituts sowie Matthias Bergmann an, der im Auftrag des ISOE das Vorhaben leitete und seinen Arbeitsplatz am Wissenschaftskolleg zu Berlin hat.

Gemeinsames Ziel: transdisziplinäre Forschungsansätze stärken

Das Vorhaben diente der Entwicklung von Qualitäts- und Evaluationskriterien für transdisziplinäre Forschungsprojekte. Damit sollte zunächst eine Stärkung der beteiligten Institute des Ökoforum herbeigeführt werden.

Die Umsetzung dieser "Infrastrukturstärkung" in der sozial-ökologischen Forschung wurde in Evalunet auf zwei Wegen erreicht:

Fortbildung und Qualitätssicherung in den Instituten (Sicherung von Innovationen und Methoden; fächerübergreifendes Lernen; Entwickeln neuer Kooperationen)
Entwicklung eines Instruments für eine prozessorientierte (Selbst-)Evaluation für die Institute des Ökoforum

Mehrstufiges Evaluationsverfahren

Zur Verfolgung dieser Ziele wurden im Laufe des Vorhabens sechs transdisziplinäre Forschungsprojekte einer umfangreichen Auswertung unterzogen. Für jedes dieser Projekte wurde zunächst von seinen Bearbeitern und Bearbeiterinnen eine Dokumentation erstellt, die u.a. die Zusammensetzung des Projektteams, äußere Rahmenbedingungen, das Projektmanagement, die Arbeitsprozesse und -ergebnisse, die inhaltlichen Integrationsmethoden, die Produkte sowie die Ergebnisumsetzung beschreibt. Zudem beantworteten die BearbeiterInnen einen Fragenkatalog, den die Evalunet-Projektgruppe sukzessive weiterentwickelt hat. Nach Auswertung aller Texte zum ausgewerteten Projekt und der Antworten auf den Fragenkatalog kamen alle Beteiligten auf einem dreitägigen Workshop zur Durchführung des diskursiven Evaluationsverfahrens zusammen. Die Evalunet-Projektgruppe wurde im gesamten Verfahren von wechselnden Fachkommentatoren und externen Experten unterstützt, die Aspekte der Wissenschaftsforschung und Wissenschaftsbewertung einbrachten und fachliche Aspekte des jeweils untersuchten Projekts beurteilten. Den Abschluss jeder Evaluation bildete eine durch die Projektgruppe zusammengestellte Dokumentation des Evaluationsergebnisses. Vor und nach den Evaluationsworkshops wurde im Rahmen der Projektgruppe der Stand der Methoden- und Kriterienentwicklung aktualisiert und kommuniziert. (siehe Grafik)

Hohes Lernpotenzial

Die sechs Evaluationen transdisziplinärer Forschungsprojekte wurden im Vorhaben erfolgreich abgeschlossen. Die Ergebnisse wurden für die BearbeiterInnen der Projekte jeweils in einer ausführlichen Dokumentation niedergelegt. Kennzeichnend für diese Auswertungen war vor allem, dass alle an dem diskursiven Verfahren Beteiligten – insbesondere aber die BearbeiterInnen der untersuchten Projekte – von einem hohen Lernpotential berichteten, das die in der Evaluation erarbeiteten Erkenntnisse besitzen. Die Projekte wurden im Rahmen des BMBF-Förderschwerpunkts "Nachhaltiges Wirtschaften", der Österreichischen "Kulturlandschaftsforschung", des BMBF-Förderschwerpunkts "Möglichkeiten und Grenzen neuer Nutzungsstrategien – Regionale Ansätze" sowie eines Auftrages des Umweltbundesamtes bearbeitet. Das fünfte Projekt wurde an den Lehrstühlen für Stoffhaushalt und Entsorgungstechnik sowie Architektur und Städtebau der ETH Zürich bearbeitet. Das sechste und letzte Vorhaben schließlich war ein Verbundvorhaben aus dem BMBF-Förderschwerpunkt "Sozial-ökologische Forschung". Damit ging ein breites Spektrum von Forschungsinhalten und Projekt-Settings in die Suche nach Verfahren und Kriterien für die Evaluation transdisziplinärer Forschung ein.

Verallgemeinerbare Ergebnisse

Eine erste Auswertung mit dem Titel "Indikatoren für eine diskursive Evaluation transdisziplinärer Forschung" (Autor: Matthias Bergmann) wurde in der Zeitschrift Technikfolgenabschätzung –Theorie und Praxis, Nr. 1, 12. Jahrgang, März 2003. Karlsruhe: ITAS, S. 65 – 75 pdf-file 306 kb veröffentlicht. Darin wird versucht – noch sehr tentativ – die ersten verallgemeinerbaren Erkenntnisse zu Evaluationsverfahren und -kriterien zusammenzufassen. Der als zentrales Vorhabensergebnis veröffentlichte Leitfaden »Qualitätskriterien transdisziplinärer Forschung« wurde unmittelbar aus dem Evalunet-Fragenkatalog und aus den sechs Evaluationen hergeleitet. Er war Gegenstand eines intensiven Rückkopplungsprozesses, in dem seine Validität und Praktikabilität von Wissenschaftlern und Wissenschaftlerinnen aus den beteiligten Instituten geprüft wurde und ein Diskurs mit Expertinnen und Experten der Wissenschaftsforschung, der sozial-ökologischen und transdisziplinären Forschung sowie der Forschungsförderung geführt wurde. An dem gesamten intensiven diskursiven Analyseprozess waren etwa 80 Wissenschaftler und Wissenschaftlerinnen beteiligt. Die vorgelegten Kriterien wurden also aus der Forschungspraxis heraus aus konkreten Beispielen abgeleitet und sind nicht Produkt allein einer wissenschaftstheoretischen Herleitung. Nichtsdestoweniger sind die gewissermaßen "von unten" entwickelten Qualitätskriterien einer sorgfältigen Prüfung im intensivern, fächer- und disziplinenübergreifenden Diskurs unterzogen worden. Dieser Kriterienkatalog bildet das Kernstück der Publikation des Evalunet-Ergebnisses, das als ISOE-Studientext, Nr. 13 in deutscher und englischer Sprache veröffentlicht ist:

Bergmann, Matthias et.al. (2005): Qualitätskriterien transdisziplinärer Forschung. Ein Leitfaden für die formative Evaluation von Forschungsprojekten. ISOE-Studientexte, Nr. 13, Frankfurt am Main

Bergmann, Matthias et al., 2005: Quality Criteria of Transdisciplinary Research: A Guide for the Formative Evaluation of Research Projects. ISOE-Studientexte, No 13, Frankfurt am Main