Evaluation VII - Bewertung der Programmwirkung

Description

Karten zu Evaluation VL 7
Johanna Brinkmann
Flashcards by Johanna Brinkmann, updated more than 1 year ago
Johanna Brinkmann
Created by Johanna Brinkmann about 8 years ago
85
6

Resource summary

Question Answer
Welche Fragestellungen sind zentral beim Beurteilen der Programmwirkung? 1. Hat das Programm eine Wirkung auf die gewünschten Ergebnisse? 2. War das Programm ursächlich für die beobachteten Ergebnisse? 3. Wie gestaltet sich die Ursache-Wirkungsbeziehung?
Was lässt sich zur Ursache-Wirkungs-Beziehung in den Sozialwissenschaften feststellen? Sie ist stets probabilistisch.
Wann ist eine Wirkungsbewertung angebracht? 1. V.A. wenn nach der Kausalität des Programms gefragt wird -> neue Programme; Pilotprogramme; Veränderungen in lfd. Programmen; periodische Bewertung lfd. Programme; Testung Programmtheorie; Vgl. zweier Programme 2. Auch: Für Kosten-Nutzen-Analyse
Was ist notwendig für die Bewertung der Programmwirkung? 1. Gutachter muss Programmtheorie und -verlauf zuvor bewerten 2. Programmziele vorher klar formuliert 3. Ziele müssen gemessen werden 4. Programmdurchführung muss Veränderungen erwartbar machen 5. Ergebnis ohne Programm schätzen
Bei der Schätzung des Ergebnisses ohne Durchführung des Programms (counterfactual) - welche Designs sind z.B. anwendbar? 1. Baseline-Messung im Vorher-Nachher-Design 2. Pretest im Vorher-Nachher-Design 3. Vergleichsgruppe 4. Kontrollgruppe
Welche zwei grundlegenden Konzepte der Wirkungsbewertung lassen sich zunächst unterscheiden? Beschreibe. 1. randomisierte Feldexperimente: -> Gold-Standard; randomisierte Gruppenzuteilung; Kontrollgruppe und Experimentalgruppe 2. Quasi-Experimente -> keine Randomisierung; Kontrollgruppe: Nichtteilnehmer
1. Warum muss oft statt eines "perfekten" Designs zur Wirkungsbewertung eines verwendet werden, das "nur" "gut genug" ist? 2. Welche Kriterien sollten nach Rossi et al. (2004) zur Findung eines Designs angelegt werden, um "gut genug" zu sein? 1. Forschungsdesign passt nicht zu Programmdesign; Zeit und Geld...; Rechtfertigung der Wahl des besten Designs abh. von Relevanz der Intervention 2. Potentielle Wichtigkeit; Praktikabilität / Durchführbarkeit; Aussichten des Designs auf nützliche Resultate
1. Was ist der Programmeffekt? 2. Wie wäre er in einem hypothetischen "Idealszenario" messbar? 3. Wie versucht ein randomisiertes Feldexperiment, dem nahezukommen? 1. die Ergebnisdifferenz bei Personen mit erhaltener Programmleistung und "äquivalenten" Personen ohne selbige 2. bei identischen Gruppen wäre die beobachte Differenz Resultat des Programms 3. Finden einer möglichst äquivalenten Kontrollgruppe
In Bezug auf die Kontrollgruppe: Was bedeutet "Äquivalenz" zur Interventionsgruppe? 1. Identisches Zusammensetzung: Programm- und ergebnisbezogene Eigenschaften sind gleich oder liegen im gleichen Verhältnis vor 2. Identische Empfänglichkeit: -> gleiche Teilnahmebereitschaft 3. Identische Erfahrung: kein Unterschied in zeitbez. Prozessen (Reifung, Trends...)
1. Was ist Randomisierung? 2. Was ist ihr Resultat? 1. Sicherstellung der Gruppenäquivalenz -> Jede Einheit in Zielpopulation hat gleiche Wahrscheinlichkeit, in eine der zwei Gruppen zu kommen 2. Interventions- und Kontrollgruppe unterscheiden sich nur zufällig
1. Was sind Analyseeinheiten? 2. Nenne Beispiele 3. Wovon sollte die Wahl der Einheiten abhängig sein? 1. Einheiten, an denen die Ergebnismessung durchgeführt wird 2. Individuen, Familien, Gemeinden, Länder 3. Von der Art der Intervention und der Zielpopulation (kann auch mehr als eine Zielgruppe geben)
1. Welcher Logik folgen randomisierte Feldexperimente? 2. bei äquivalenten Gruppen: Was bedeuten Veränderungen? 1. Vorher-Nachher-Design mit beiden Gruppen; anschließend: Mittlere Veränderung für beide getrennt berechnen. 2. Veränderung in KG: Veränderung, die ohne Intervention aufgetreten wäre; Veränderung IG-KG: Veränderung aufgrund von Intervention
Welche Voraussetzungen gibt es für Durchführung von Feldexperimenten? 1. Frage politischer oder ethischer Bedenken (Vorenthaltung einer Intervention bei KG?) 2. Schwierig zu implementieren 3. Teuer in groß angelegter Form 4. Zeitaufwendig 5. Erfordern Fachwissen, Kooperation von Teilnehmern & Leistungserbringern
Welche Voraussetzungen sollen lt. Dennis & Bourch erfüllt sein, um ein Feldexperiment ausreichend zu begründen? 1. bisherige Vorgehensweise ist verbesserungswürdig 2. Effektivität vorgeschlagener Intervention nicht eindeutig bestimmbar 3. keine einfacheren Alternativmethoden 4. Ergebnisse mit pot. politischer Relevanz 5. Erfüllung ethischer Standards
Show full summary Hide full summary

Similar

Evaluation II - Bedarfsanalyse
Johanna Brinkmann
Evaluation VI - Programmergebnisse
Johanna Brinkmann
Evaluation X - Sozialer Kontext
Johanna Brinkmann
Evaluation I - Einführung
Johanna Brinkmann
Evaluation IV - Metaanalyse
Johanna Brinkmann
Evaluation V - Programmverlauf
Johanna Brinkmann
Evaluation IX - Kosten-Nutzen-Analyse
Johanna Brinkmann
Evaluation III - Programmtheorie
Johanna Brinkmann
Evaluationsforschung
Miriam Brunner
Klinische Psychologie Teil 1
Lisa Mariá Hchil
Klinische Psychologie Teil 2
Lisa Mariá Hchil