Projekte in den Förderprogrammen des BMEL, betreut durch den Projektträger BLE (PT BLE)
Ergebnis der Suche
| Titel: | Entwicklung eines Leitfadens zur Bewertung von praxisbezogener Forschung zur Ökologischen Landwirtschaft ausgehend von einer Analyse der bestehenden Evaluierungsinstrumente der Forschung |
|---|---|
| Beschreibung (dt.): | Um die Forschung im Ökologischen Landbau entsprechend ihrer Bedeutung zur Lösung gesellschaftlicher Probleme adäquat beurteilt zu wissen, soll in diesem Projekt ein wichtiger Beitrag für eine derartige anwendungsorientierte Bewertung geliefert werden. Mit Hilfe von im Projekt diskutierten Kriterien zur Bewertung praxisbezogener Forschung soll ein erster Beitrag geschaffen werden, um angewandte Forschung zur Ökologischen Landwirtschaft adäquat beurteilen zu können. Mittelfristig könnte dies als Alternative oder Ergänzung zu bestehenden herkömmlichen Evaluierungsinstrumenten (Science Citation-Index) weiterentwickelt werden. Hierbei soll das Augenmerk u.a. auf dem 'Impact' derartiger Forschung in die Praxis bzw. auf dem Transfer des Wissens sowie dem Innovationsgrad der Forschungsprojekte liegen. Gesamtziel dieses Projektvorhabens soll es also sein, einen Leitfaden zur Bewertung angewandter, praxisorientierter und transdisziplinärer Forschungsergebnisse im Bereich der Ökologischen Landwirtschaft zu erarbeiten. Konkrete Ziele: ? Analyse und kritische Betrachtung der bestehenden konventionellen Evaluierungsinstrumente der Forschung hinsichtlich deren Eignung für angewandte, praxisorientierte und transdisziplinäre Forschung unter besonderer Berücksichtigung der Forschung zum Ökologischen Landbau. Darstellung bestehender bzw. diskutierter Bewertungsmodelle angewandter / transdisziplinärer Forschung und Prüfung ihrer Übertragbarkeit auf die Agrarforschung, im speziellen auf die Forschung in der Ökologischen Landwirtschaft.? Erarbeitung von Kriterien zur Bewertung angewandter, praxisorientierter und transdisziplinärer Forschung im Bereich der Ökologischen Landwirtschaft (Erarbeitung eines Bewertungs-Leitfadens). Darstellung und Abwägung von Kriterien für systemorientierte gegenüber symptomorientierten Ansätzen zur Weiterentwicklung der Bewirtschaftungsweise im Ökologischen Landbau. Reflexion über eine adäquate Bewertung interdisziplinärer angewandter Forschung. |
| Ergebnis (dt.): | Im etablierten System der Forschungsevaluierung (z. B. Peer Review Publikationen, SCI, SSCI, JIF) werden die Wirkungen der Wissenschaft auf Praxis und Gesellschaft nur unzureichend berücksichtigt. Im BÖLN Projekt 06 OE 307 wurde daher erforscht, wie praxis- und gesellschaftsrelevante Leistungen der Ökolandbauforschung adäquat in der Evaluierung berücksichtigt werden können. Die Analyse von Konzepten für die Evaluierung angewandter, insbesondere inter- und transdisziplinärer Forschung und qualitative Interviews mit 22 Experten der ökologischen Agrarforschung zeigten, mit großer Übereinstimmung, dass folgende Leistungen der Forschung für eine solche Evaluierung relevant sind: - Fragestellungen und umsetzbare Ergebnisse haben einen Bezug zu relevanten Problemlagen von Praxis und Gesellschaft; - Zusammenarbeit und Austausch mit anderen Wissenschaftlern und Akteuren aus Praxis und Gesellschaft; - Publikationen und andere Produkte der Forschung für nicht-wissenschaftliche Zielgruppen, - Relevanz und tatsächlicher Impact für Praxis und Gesellschaft. Von den Interviewpartnern wurde ein breites und kontextbezogen anpassbares Kriterienset für notwendig erachtet. Dieses stimmt mit Empfehlungen in der Evaluierungsliteratur überein. Die meisten bestehenden Konzepte sind spezifisch auf den jeweiligen Evaluierungsgegenstand abgestimmt und unterscheiden sich daher in Zielsetzungen, Methoden sowie Breite und Detaillierungsgrad der Kriteriensets und Bewertungsraster. Entsprechend braucht eine generelle Ergänzung der Forschungseva-luierung anpassbare Kriterien. Die Konzepte in der Literatur umfassen vielfältige Evaluierungsinstrumente, u.a. Multi-Methoden Ansätze und die Kombination interner und externer Perspektiven. Diese Evaluierungskonzepte werden meistens als „stand-alone-Vorhaben“ umgesetzt. Dadurch erfolgt die Datenerhebung derzeit mit beträchtlichem Aufwand (z.B. Interviews oder Dokumentenanalysen). Erste Ansätze einer generalisierten Datenerfassung finden sich beispielsweise bei den Research Councils in Großbritannien. Von den projektbeteiligten Agrarwissenschaftlern wurden drei Aspekte für die Methodik der Evaluierung besonders betont: a) Akteure aus Praxis und Gesellschaft sollten an der Evaluierung beteiligt sein; b) Für die Analyse von Folgewirkungen ist eine angemessene Nachbeobachtung über das Projektende hinaus sinnvoll; c) Zur Verbesserung der Anwendbarkeit und Akzeptanz der Evaluierung sollte der zusätzliche Aufwand von Forschern für die Datenerfassung gering bleiben und die Daten für verschiede-ne Evaluierungen nutzbar gemacht werden. Im vorliegenden Projekt wurde ein Konzept entwickelt, mit dem die Datenerfassung für die Evaluierung in die Antragstellung und Berichterstattung für die öffentliche Drittmittelförderung integriert werden könnte. Dieses würde sowohl einen zusätzlichen Aufwand für die Datenerfassung seitens der Wissenschaftler und der Evaluatoren vermeiden, als auch die Nutzbarkeit der Daten verbessern. Ein solches Vorgehen ist naheliegend, weil eine Analyse sowohl der Leitbilder als auch der Dokumentationsanforderungen vieler öffentlicher Forschungsförderer (z.B. BMBF, BMWi, BMELV, BMU) zeigte, dass eine erhebliche Schnittmenge mit dem Datenbedarf für die Evaluierung von Leistungen der Forschung für Praxis und Gesellschaft gegeben ist. Um die bereits vorhandenen Informationen in Anträgen und Berichten für eine Evaluierung nutzbar zu machen, ist es notwendig, a) die Daten so zu strukturieren, dass sie gleichermaßen für die Forschungsförderung und verschiedene Evaluierungsgegenstände (Wissenschaftler, Projekte, Institutionen, Programme) nutzbar sind, b) bisher nicht oder nur implizit geforderte, aber für die Evaluierung notwendige Informationen, explizit zu erfassen und c) für die technische Umsetzung ein Datenbanksystem zu nutzen. Durch letzteres können einmalig eingegebene Daten leicht zu späteren Zeitpunkten ergänzt werden (Nachbeobachtung) und Datensätze |
| Ergebnis (engl.): | The established system of research evaluation (e.g. SCI) does not sufficiently consider the impact of science on practice and society. Therefore the BÖLN-Project (06OE307) focused on the adequate extension of research evaluation beyond scientific impact. The project was carried out exemplarily for organic agricultural science. Published evaluation concepts for applied, interdisciplinary and transdisciplinary research and inter-views with 22 agricultural scientists shows a high level of agreement that the following achievements of research are relevant for an evaluation of the impact on practice and society: - Research questions and applicable results are related to relevant problems of practice and society; - Cooperation with scientists particularly from other disciplines, cooperation and knowledge transfer with actors from practice and society; - Publications and products of research for non-scientific target groups; - Relevance and the subsequent impact on practice and society. Interviewees propose a comprehensive and adaptable criteria set for the evaluation of the impact on practice and society. This corresponds to recommendations in the evaluation literature. Most concepts are tailored for specific evaluation objects and purposes. Accordingly, they differ considerably in focus and extent of criteria sets. Thus, general extension needs adaptability of criteria sets. Literature concepts also provide a broad spectrum of evaluation methods. Frequently multi-method-approaches are used, which often consider both internal and external perspectives. In most cases evaluations were carried out as “stand-alone-procedures” with high effort for data collection, like interviews or evaluation of project reports. Attempts for a regular data assessment are made for example by the research Councils UK. Indeed, project results about methods point out that: a) Actors from practice and society have to participate in the evaluation process. b) A consequent follow-up-assessment for projects is needed to gather later impact on practice and society. c) Data should be collected in a less time-consuming manner and be available for various evaluations and other purposes to enhance usability and acceptance of complementary assessment procedures. To improve data collection and usability for evaluation (issue c), we developed a concept to integrate data collection in the application and reporting of third-party funded research projects. We did so, since we found considerable overlapping between data requirements for the evaluation of the impact on practice and society and the documentation requirements and guidelines of many public research funding organisations (e.g. BMBF, BMWi, BMELV, BMU). To enhance the usability of information provided in proposals and reports for evaluation, it is necessary to a) structure the data in such a way that makes information useable both for research funding as well as for evaluations, b) explicitly gather information necessary for the evaluation which is currently not or only implicitly claimed and c) store it in a database-system. The latter enables the use of data for various evaluation and research administration purposes, because it can be filtered, aggregated and analysed as needed. Furthermore it can easily be updated with information from follow-up-assessments. If structured documentation by scientists may substitute considerable parts of research proposals and reports, overall efforts of scientists for documentation would not increase. To further develop this concept in detail it will be implemented and tested in case studies in a follow-up project. Practical implementation would also allow verifying, if the intended benefits for scientists, research funding organisations and evaluation can be achieved. Additionally, a wide discussion within the Scientific Community is needed, to shape an general extension of research evaluation beyond scientific impact. |
| Laufzeit: | Beginn: 01.10.2008 / Ende: 30.04.2011 |
| Ausf. Einrichtung: | Universität Kassel - FB 11 Ökologische Agrarwissenschften - FG Ökologischer Land- und Pflanzenbau, Witzenhausen |
| Themenfelder: | Wissenstransfer / Vernetzung, knowledge transfer, networking |
| Förderprogramme: | Bundesprogramm ökologischer Landbau |
| Schlagworte: | Ökologischer Landbau, organic farming, Agrarpolitik, agricultural policy, Datensammlung, data collection |
| Förderkennzeichen: | 2806OE307 |
| Dokument zum Download: | Schlussbericht 06OE307.pdf (2,4 MB) |
Kontakt: |
Benutzen Sie unser Kontaktformular
oder E-Mail an boel-forschung@ble.de |
Erweiterte Suche
Hier gibt es die Möglichkeit, nach Stichworten, Themenfeldern, Projektstatus, Förderprogrammen, Laufzeiten und Einrichtungen zu suchen:
