11910613
Description
Flashcards by Miriam Brunner, updated more than 1 year ago
|
Created by Miriam Brunner
almost 7 years ago
|
|
| Question | Answer |
| Was untersucht Evaluationsforschung? | - wissenschaftsgestützt - unter Berücksichtigung geltender Standards - Effektivität (Ausmaß der Zielerreichung) - Effizienz (Kosten-Nutzen-Relation) von Gegenständen => Ist das was ich durchführe, durchführenswert? Problem: Evaluation = alles, was Bewertung ist (Modewort) |
| Was kann evaluiert werden? | - Programme, Maßnahmen, Interventionen - Einrichtungen & Organisationsteile - Techniken & Methoden - Produkte & Personen - Prozesse & Netzwerke - (Studien- wenig Evaluationsgrenzen) => Evaluationsforschung = interdisziplinäres Feld (Psy, Soziologie, Öko, Politologie, Erziehungswiss) |
| Wie definierte Scriven (1991) Evaluation? | Evaluation = jegliche Art der Festsetzung des Wertes eines Gegenstandes |
| Was ist Evaluationsforschung? | = systemat. & wiss Herangehensweise zur Erhöhung Bewertungsaussagekraft (Methoden) - Teilgebiet der Angewandten (Sozial-)Forschung, häufig externe Auftraggeber - Herausforderung: Diskrepanz zw method.-wiss. Ansprüchen & vorgegebenem Kostenrahmen |
| Welche verwandten Ansätze von Evaluationsforschung gibt es? | - Qualitätsmanagement: aus Wirtschaft; Bewertungsprozess anhand QM-Systems = Akkreditierung - Monitoring: regelmäßige Überwachung & Begleitung der Durchführung einer Maßnahme/ eines Prozesses; US: kontinuierliche Aktivitäten; k. zentr. Rolle der wiss. Fundierung |
| Wie definiert man Bildungsmonitoring? | = systematische & regelmäßige Erfassung von Indikatoren für Qualität eines Bildungssystems oder dessen Teilsysteme |
| Was macht Bildungsmonitoring? | - Rückmeldung über IST-Zustände im BS - Steuerungshilfe des Systems (durch Bildungsergebnisse/-prozesse) - nutzt empirische Verfahren - gezielte Indikatorenerfassung, die bestimmte Aspekte der Ergebnisqualität repräsentieren - Einbeziehung einer Testkomponente => Erfassung des Outputs des BS - Konzentration der Erhebung von Bildungsergebnissen auf grundlegende Kompetenzen - keine umfassende, flächendeckende Beobachtung von BS - repräsentat SP-ziehung für Population - Datenbasis von Bildungsberichten |
| Welche internationale Beispiele für Bildungsleistungsstudien gibt es? | - OECD: Program f Internat Student Assessment (PISA) => alle 3 J, seit 2003, Lesen-Rechnen-Science, 15 Jahre => unterdurchschn. in Lesen + Schreiben - Trend in Internat Mathemat & Science Study (TIMSS) - Mathe Fokus - Progress in Internat Reading Literacy Study (PIRLS) - Primärstufe (9-10) Lesen - Teaching and Learning Internat Survey (TALIS) - Lehrkräfte? - Methoden, Unterrichtsstrukturen, ES, Wissen, .. - Programme f t internat Assessement of Adult Competencies (PIAAC) - Erw |
| Ergebnisse aus PISA (2006) | - persönl. Nutzen der Nawi - instrument. Motivation in Nawi => Gendergap: Mädchen geringste Motivation for NW - unterdurchschnt. |
| Was war der fließende Übergang des Bildungsmonitorings und der Evaluation? | - BM = deskriptiv => Überblicksstudie mit Erfassung vieler Indikatoren (Survey) => Bereitstellung von Beschreibungswissen - keine Erklärung! - Auffassung oft als EF: Ergebn. genutzt f.: Infoquelle f. polit. Entscheid + Steuerungswiss; Lieferung v. emp. Evidenz f. Entscheid; PISA & TIMSS = angesehen als Evaluation im BS - Problem: Kopplung Evaluationsdesign - Ergebn - VB funkt wegen Stakeholdern n. gut! => Wichtigkeit der Umsetzung von Grundprinzipien neuer, partizipativer Evaluationsansätze |
| Wie wird Evaluation nach Zielen eingeteilt? | - Baseline EV - Prospektive EV - Formative EV - Summative EV - EV der Programmeffizienz - Impact EV |
| Was ist die Baseline Evaluation? | = IST-Stand Analyse, Beschreibung der Ausgangssituation - wichtig für Vgl. mit Situation nach Maßnahme (VOR VÄ erhoben!) |
| Was ist die Prospektive Evaluation? | = Bewertung einer Programmkonzeption - Abschätzung der Realisierbarkeit der Maßnahme & mögliche Nebeneffekte |
| Was ist die formative Evaluation? | = Beschreibung/ Bewertung von Programmimplementationen - Zielsetzungen & Umsetzungen - gezielte Rückmeldung zur Programmoptimierung (laufende Durchführung mit Kontrolle) |
| Was ist die Summative Evaluation? | = Wirksamkeitsprüfung der Maßnahme - in Bezug auf gesetzte Ziele unmittelbar nach Programmabschluss |
| Was ist die Evaluation der Programmeffizienz? | = Bewertung der Ökonomie der Maßnahme (Kosten-Nutzen Relation) - Ist Ergebnis so gut, dass es Maßnahme rechtfertigt? |
| Was ist die Impact Evaluation? | = Bewertung nachhaltiger Effekte von Programmen - langfristiger Nutzen, geht weit über direkte Ziele hinaus |
| Wie erfolgt die Einteilung nach Rolle des Evaluators? | - Selbst EV - Fremd EV - Interne EV - Externe EV |
| Was ist die Selbstevaluation bzw. Fremdevaluation? | - Organisationsmitglieder bewerten sich bzw. ihre Maßnahmen selbst - Bewertung durch DRITTE |
| Was ist Interne bzw. Externe Evaluation? | Intern: Selbstevaluation; Evaluator kommt aus gleicher Organisation - keine direkte Maßnahmenbeteiligung Extern: Bewertung durch unabhängigen Experten => keine Bez zu Einrichtung/ Maßnahme |
| Welche Auswirkungen hat Evaluation als strategisches Instrument? | - Erhöhung Motivation/ Leistung der MA - Durchsetzungshilfe f. (positive) Entscheidung - Umsetzungshilfe f. wenig akzept. Entscheidungen - Verantwortungsdeligation f. negat. Entscheid. (MA einsparen - wollen nicht, aber es ist besser) - symbol., ritualis. Funkt. v. EV => Durchführung zur Erfüllung gesetzl. Vorschriften/ Vorgaben von Geldgebern/ Entscheidungsträgern (alle 5 Jahre - Nachweise der VÄ) |
| Welche verschiedene Arten von Evaluationsfunktionen gibt es? | - Erkenntnis-/ Aufklärungsfunktion - Optimierungsfunktion - Kontrollfunktion - Entscheidungs-/ Steuerungsfunktion - Legimitationsfunktion |
| Was ist die Erkenntnis-/ Aufklärungsfunktion? | = wissenschaftliche Erkenntnis über Eigenschaften/ Wirkung von Interventionen |
| Was ist die Optimierungsfunktion? | = Potentiale der Interventionsziele finden - Stärkenausbau, Schwächenbeseitigung |
| Was ist die Kontrollfunktion? | = korrekte Maßnahmenumsetzung - Effektivität, Effizienz?, Nebenwirkungen? |
| Was ist die Entscheidungs-/ Steuerungsfunktion? | = Auswahl, Umsetzung, Weiterentwicklung, Nutzung von Interventionen |
| Was ist die Legimitationsfunktion? | = Rechtfertigung der Durchführung/ Entwicklung der Intervention nach außen |
| Welche Evaluationsebenen gibt es nach Kikpatrick (1998) ? | 1. Akzeptanzerfassung einer Maßnahme => emotionale, basale Ebene; Leiter = sympathisch, kompentent, ... 2. Ausmaßerfassung: Wissens- bzw. Fertigkeitserweit/ Einstellungsveränd als direkte Folge der Maßnahme 3. Transfererfassung: Gelerntem => Alltag => VH-Änderung 4. VÄ-Erfassung auf Organisation- bzw. Systemebene => Auswirkung von Individuum - ganzer Organisation; Mehrwet dort, wo ich mein VH anwende |
| Was macht das JCSEE, 1994; DeGEval, 2002? | = Bewertung & Qualitätssicherung von Evaluationen (30 bzw. Standards) - Nutzen: Evaluationszweck; Infobedarf der Nutzer - Machbarkeit: unter ökonom. Ressourcennutzung - Fairness: ethisch korrekt - Genauigkeit: fundierte, verwertbare Infos |
| In welchen Berufsfeldern sind Evaluatoren tätig? | - Bildung - Sozialwesen - Familie - Arbeitsmarkt - Gesundheit - Justiz- und Strafvollzug - Wohn- und Städtebau - Entwicklungspolitik |
| Was sind erforderliche Kompetenzen für Evaluatoren? | - Sowi Methodenwissen - psycholog. Fachwissen - Schlüsselqualifikationen - hohes Allgemeinwissen im inhaltlichen Bereich |
| Was für eine Relevanz haben Forschungsmethoden für Evaluation? | - Handwerkszeug zur wiss. fundierten Beantwortung inhaltlicher Fragen - erforderliche Kenntnisse für eigen Untersuchungen - Entscheidung über geeignetstes Vorgehen - zum Verständnis & Bewertung anderer Untersuchungen --> Relevanz von Faktenwissen & Entscheidungs- und Bewertungskompetenz |
| Welche Fragestellungen sollte man sich bei der Evaluation stellen? | - Welche Ziele sollen erreicht werden? - Woran ist Zielerreichung erkennbar? - Wie erfolgt Zielerreichung? - Sind entsprechende Ressourcen vorhanden? |
| Welche Beispiele für Untersuchungsdesigns wurden genannt? | - One-Shot Case Study (einmalige Befragung Gruppe - wenig aussagekräft) - Ein-Gruppen-Pretest-Posttest-Design (Befragung vor & nach => VÄ? keine Vglgruppe!) - Quasi-experimentelles Design (zufällige Zuteilung, 2 Gruppen) - Kontrollgruppenplan mit Pre- und Posttest (2 Gruppen vorher & nachher) --> Aussagen über Wirkfaktoren & Generalisierbarket möglich?? => wirkt Training, was steckt dahinter? G. nur bei Randomisierung bzw. Kontrolle von Störfaktoren |
| Welche gesetzlichen Rahmenbedingungen gibt es beim Medizinstudium - Curriculumsreform? | - Bundesgesetz über die Organisation von Unis (UOG 1993) - Evaluierungsverordnung (EvalIVO) - Unistudiengesetz (UniStG) => Verpflichtende Reform der Studienpläne - 1.10.2002: neues Curricula tritt in Ö in Kraft mit Ziel der Qualitätssteigerung |
| Was ist der Idealverlauf der Evaluation einer Curriculumsreform? | - IST-Stand-Analyse alter Studienpläne (Baseline) - EV der Studienplankonzeption (prospektiv) - EV der Implementierung des neuen Studienplans (Prozess) - Ergebnis EV neues Studienplans (Outcome; Vgl mit altem Studienplan) - Summative EV zur Überprüfung langfristiger Wirkungen (Impact) |
| Wie ist die Evaluation von der Curriculumsreform in der Humanmedizin? | - einhellige Forderung nach neuen Medizin-Curricula (problem based vs. lecture based = gem. Problem lösen vs. Vorlesung) - einige Ansätze zur Realisierung (auch im dt. spr. Raum) - Mangel an systematischen, begleitenden Evaluationen |
| Welche Evaluationen gab es bisher? | - vgl. neues - altes Studium bzgl. Praxisrelevanz - Einstellungen zu Reform bzw. zu altem vs. neuem Studium --> Befundlage unklar, spricht jedoch für Kombi von lecture & problem based learning |
| Was waren die Problembereiche bisheriger Evaluationen? | - nur Befragung von Teilgruppen - niedrige Rücklaufquote (Ärzte im KH nicht begeistert über Fragebögen, Interviews) => mangelnde Repräsentativität - reformbegleitende EV auf Basis der IST-Stand-Analyse fehlen gänzlich |
| Was waren die zentralen Fragestellungen der Studie? | - IST-Situation: in welchem Umfang vermittelt Medizin Ausbildung in Graz Wissen/ Fähigkeiten & Fertigkeiten, die ein zukünftiger Arzt benötigt? - Einstellungen zu Curriculumsreform? - SOLL-Situation: Vorstellungen über die zentr Momente eines reformierten Medizinstudiums in Graz? |
| Wie war die Prozedur? | - Externe summative Selbst- und Fremdevaluation aus versch. Perspektiven: 25 Vorinterviews, Ergebnisse früherer EV => Konzeption von Fragebögen, Vortest, Revision |
| Was für eine Methodik wurde verwendet? | - Fragebogenerhebung: multiperspektiv Einschätzungen (versch. Gruppen; Selbst- und Fremdrating) - Befragungsgruppen: Studierende (3. Studienabschnitt), Turnusärzte (nach Studium in prakt. Ausbildung), Lehrende (1./2. & 3. Studienabschnitt), Supervisor (Betreuer der Turnusärzte) |
| Was waren die zentralen Ergebnisse & resultierende verwertbare Infos für weiteren Reformprozess? | - allgem. Betonung Notwendigk. Reform - Kompetenzen von Studenten & Turnusärzten werden nicht hoch eingeschätzt (Selbst- und Fremdrating) - Diskrepanz zw. Ideal & Real in Vermittl ärztl Kompetenzen durch Studium - zunehmend geringere Einstufung der Ausbildungsleistung mit wachsender Praxiserfahrung - gewünschte Reformeffekte - gruppenspezifische Prioritäten - generelle Befürwortung zur Begrenzung der Studierendenanzahl - minimal Einsatz von Lernmethoden bzgl. SR des Lernprozess & kooperatives Lernen |
Want to create your own Flashcards for free with GoConqr? Learn more.