# Evaluation

Herzlich willkommen an alle Digital Natives und -Immigrants :)

Unser Fragebogen zum bearbeiten:
https://docs.google.com/forms/d/1dHkZ3tfafOcZkfLxBb1xVTQnHAzviDRDM2oc5GOBIgU/edit

### Tagesplan Donnerstag:

2. Präsentation druckfertig machen
3. Pingo Umfrage erstellen
4. Folien zuteilen
5. Handout druckfertig machen
6. Wer gibt am Montag ab?

Präsentation Folien-Zuteilung:
Folien 1-3: Svenja
Folien 4-6: Semi
Folien 7-8: Alexandra
Folien 9-10: Nina
Folien 11-12 + Pingo: Lisa

Untersuchungsmethode, -feld und -design: Um bestimmen zu können, ob die Pflegeeltern im Vorfeld und während des Pflegeverhältnisses durch Fachkräfte des PKD umfassend vorbereitet und begleitet werden (Prozessevaluation) wird eine Befragung mittels eines Fragebogens durchgeführt.
Der Fragebogen (standardisiert) wird von den Fachkräften des PKD zweimal in einem Zeitraum eines halben Jahres (Evaluationszeitraum) den Pflegeeltern ausgeteilt , die sich in einem Pflegeverhältnis befinden. Der PKD bietet es den Eltern an, den Fragebogen auch über das Internet auszufüllen.
Die Fragebögen werden in zwei der verpflichtenden Begleitseminaren verteilt und werden dort von den Pflegeeltern beantwortet.
Die ausgefüllten Fragebögen werden von den Fachkräften des PKD ausgewertet und die Ergebnisse dokumentiert. Es können wenn nötig auch Änderungen vorgenommen werden.

Begründung: Zeitnahe Intervention und Prävention möglich machen, Prozess muss laut der Rückmeldung der Pflegefamilien optimiert werden und das Ergebnis muss beobachtet werden, weil es unser Evaluationsziel darstellt und existenziell für den Pflegekinderdienst ist. Interne Evaluation, weil es ressourcenschonend ist und die Fachkräfte angeregt werden ihre Arbeit zu reflektieren.

### Unterschiedliche Intressen der Akteure (Mikropolitik), daraus folgen u.a. folgende Hypothesen:

Die Pflegefamilien nehmen weniger Kinder auf, weil ein Fachkräftemangel innerhalb des PKD besteht und sie deswegen nicht ausreichend vorbereitet und begleitet werden können. (Fachkräfte)

Die Pflegefamilien nehmen weniger Kinder auf, weil die Angebote und Methoden des Pflegekinderdienstes nicht individuell genug auf die Pflegeeltern zugeschnitten sind. (Pflegefamilien)

Die Pflegefamilien nehmen weniger Kinder auf, weil sie sich von den Fachkräften vers. Institutionen (Schule etc.) nicht ausreichend unterstützt fühlen. (Leitung)

Unsere Hypothese: Die Pflegefamilien nehmen weniger Kinder auf, weil sie sich von den Fachkräften des Pflegekinderdienstes unzureichend vorbereitet und betreut fühlen. (Sicht Pflegefamilien)
##
Begründung: Pflegefamilien haben in inoffiziellen Gesprächen mit den Fachkräften erklärt, dass sie sich nicht ausreichend vorbereitet und betreut fühlen. Wir als Fachkräfte des Pflegekinderdienstes sind der Meinung, dass dies das Problem ist, warum die Pflegefamilien keine Kinder mehr aufnehmen möchten. Daher wollen wir unsere Arbeit evaluieren und anschließend verbessern.

#### Checkliste Fragebögen überprüfen! Am Schluss von HackMD
+ Multiple Choice/Single Choice bewusst wählen!
+ Erforderliche Fragen weg oder durchziehen
+ Finanzieller Aspekt? -> Berücksichtigen im FB oder nur in der Präsentation mit ansprechen?
+ Geschlecht, Familienstand/Partnerschaft, Kinder
### Power Point - Präsentation

Erster Überblick:

## Sind unsere Praxisziele smarth formuliert??


Diese Links könnten hilfreich sein: https://www.lvr.de/media/wwwlvrde/jugend/service/arbeitshilfen/dokumente_94/jugend_mter_1/allgemeiner_sozialer_dienst/pflegekinderdienst/Vorbereitung_von_zukuenftigen_Pflegeeltern.pdf

https://www.dijuf.de/files/downloads/2016/PKH-Broschuere.pdf

## **Evaluationsanlass**: Familien, welche zuvor Pflegekinder zur Kurz- oder Bereitschaftspflege aufgenommen haben, zeigen im Anschluss keine Bereitschaft zur Aufnahme neuer/ anderer Kinder.
## **Hypothese:** Die Familien fühlen sich nicht ausreichend vorbereitet und begleitet, weil...

## **Evaluationsziel**: Die Untersuchung soll darüber aufklären, wie wir als Fachkräfte die Voraussetzungen dafür schaffen können, dass die Pflegeeltern in Zukunft bereit sind, weitere Kinder aufzunehmen

## Mikropolitik?

## Hypothesen:Die PE nehmen wenige Kinder auf, weil sie sich durch die Fachkräfte unzureichend vorbereitet und begleitet fühlen.

## **Evaluationsfragestellung**: "Wie gut gewährleisten wir eine umfassende Vorbereitung und Begleitung der Pflegefamilien?"
>

>
## **Konzeptionelles Ziel**:
Wahrscheinlich sowas in die Richtung: Erfolgreiche Vermittlung von Kindern in geeignete Pflegefamilien und deren Betreuung, Beratung und Unterstützung
> Quasi das übergeordnete Praxisziel unserer Einrichtung
Das hat sie letztes Mal noch aufgeschrieben

## **Evaluationsart:**
## formativ, Prozess+Ergebnis, Intern

--------------------------------------------------

## 1. Praxisziel: Die Pflegeeltern sind umfassend vorbereitet und begleitet.

### Indikatoren
- Die PE besuchen ein Vorbereitungsseminar in einem Umfang von 40 Stunden mit abschließender Prüfung(?) für eine erfolgreiche Teilnahme (Aushändigung eines Nachweises bei Bestehen der Prüfung)
- Bereits praktizierende PE werden eingeladen, um aus Erfahrung zu berichten
- Die PE haben an vier bis sechs persönlichen Vorbereitungsgesprächen von je mindestens einer Stunde Dauer teilgenommen
- Im Voraus finden Hausbesuche bei den PF statt, um die Rahmenbedingungen (z.B. Wohnraum, (altersgerechte) Ausstattung, etc.) zu begutachten
- anschließende regelmäßige Begutachtung der Kontinuität der Wohnverhältnisse, etc.
- PE besuchen während des PV proaktiv Begleitseminare des PD (z.B. Themen wie Bewältigung von Krisensituationen, etc.)
- PE halten Präsentationen vor der Gruppe zu vorher zugeteiten Themen
- Die PE werden informiert bzw. ihnen wird Informationsmaterial zur Verfügung gestellt
- Newsletter (pro Quartal, via Mail)
- aktuelle Websiteorganisation mit Austauschforum für Eltern, Neuigkeiten, etc.
- postalische Zusendung von Vorabinformationen
- Broschürenregale stehen aktuel beim PD
- PE nehmen an monatlich stattfindenden niedrigschwelligen Beratungsangeboten in Form von z.B. eines Elterncafés teil
- wird vom PD organisiert
- offener Austausch mit anderen PE
- informeller Raum für Fragen

## 2. Praxisziel: Die Angebote erfüllen die Erwartungen und Bedürfnisse der Pflegeeltern.
-

### Indikatoren

- Auswertungen
- klare Erwartungen der PE sammeln und dokumentieren
- während und nach einer Pflegezeit werden durch die FK Informationen erhoben
- Feedbackbögen zu o.g. Informationen werden erstellt und den PE zum Ausfüllen bereitsgetellt
--> mindestens 80% der Kriterien müssen positiv beantwortet werden
- Anonyme/datengeschützte Teilnehmerzahlen an Z.B Elterncafé erheben, um Inanspruchnahme zu prüfen

## 3. Praxisziel: Die Fachkräfte leisten eine zuverlässige und ausführliche Vorbereitung, Beratung und Begleitung.

### Indikatoren

- Die FK nehmen regelmäßig (mindestens einmal/Jahr) an Schulungen/Fortbildungen teil, um das bereits vorhandene Wissen zu vertiefen und sich neues anzueignen (mit abschließendem Nachweis)
- Teamsitzungen werden wöchentlich durchgeführt
- Supervisionen finden einmal im Monat statt
- Eine Fachkraft betreut höchstens sieben Familien im selben Zeitraum
- Bezugsbetreuer/in muss durch den PD gewährleistet sein
- Fachkräfte garantieren eine durchgängige Erreichbarkeit
- arbeitnehmerfreundliche Öffnungszeiten des PD mit mindestens 2 FK vor Ort (Mo-Fr, 7-19 Uhr)
- telefonischer Bereitschaftsdienst (Wochenende und vor/nach den regulären Öffnungszeiten)
---

## Der Fragebogen für die Pflegeeltern:

### Fragensammlung:

Alter:
Aufgenommene Kinder:

Skala-Fragen:
Auf einer Skala von 1 - 10, ...
- Wie fanden Sie die begleitenden Seminare?
- Wie oft besuchen Sie das Eltern-Cafe?
- Wie zufrieden sind Sie mit der Begleitung durch die Fachkräfte insgesamt?
- Wie zufrieden sind Sie mit dem Vorbereitungsseminar?
- Inwieweit wurde auf Ihre Fragen und Wünsche eingegangen?
- Inwieweit haben Sie sich durch Ihre Bezugsfachkräfte fachlich kompetent unterstützt gefühlt?

Ja/Nein Fragen:
- Haben Sie das Gefühl, dass Sie durch die Fachkräfte gut begleitet wurden?
- Haben Sie das Gefühl, dass Sie durch die Fachkräfte gut vorbereitet wurden?
- Haben Sie das Online-Forum in Anspruch genommen?
- Dient Ihnen der Newsletter als nützliche Informationsquelle?
- War eine durchgängige Erreichbarkeit der Fachkräfte gewährleistet?
- Konnten Sie eine vertrauensvolle Beziehung zu Ihren Bezugsfachkräften aufbauen?
- Finden Sie die Seminare hilfreich?
- Sind Sie bereit weiterhin als Pflegefamilie tätig zu sein?

Offene Fragen:
- Was würden Sie an dem Vorbereitungsseminar verbessern? -> Was hat Ihnen besonders gefallen? Worauf würden Sie verzichten?
- Welche zusätzlichen Angebte würden Sie sich wünschen, um sich besser vorbereitet und/oder begleitet zu fühlen?
- Welche der gegebenen Angebote entsprachen Ihren Vorstellungen und Wünschen? Warum haben Sie sich durch diese besonders angesprochen gefühlt?
- Welche der gegebenen Angebote entsprachen nicht Ihren Vorstellungen und Wünschen? Warum?
- Inwieweit wurden ermotionale Erlebnisse von Ihren Bezugsfachkräften aufgefangen/besprochen/unterstützt/begleitet?
- Haben Sie noch weitere Anregungen oder Bemerkungen/ Vorschläge, die Ihnen im Umgang mit den Kindern und diversen Situationen Sicherheit bieten würden?
- Was haben Sie konkret aus den Seminaren mitgenommen?
###
### Checkliste Fragebogenerstellung
### Von Adam Khalaf

Diese Liste soll helfen (nicht: einzige Quelle sein), häufige Fehler in Fragebögen zu vermeiden und bezieht sich auf die beiden Vorlesungen von mir zu dem Thema, verkürzt aber die Darstellungen deutlich. Sie ist kein Ersatz für Literatur und Vorlesungen zu dem Thema, sondern eine Erinnerungshilfe, die bewusst auf wenige Punkte begrenzt wurde. Ausführlichere Erläuterungen habe ich zu jedem der Punkte in der Vorlesung gegeben.
Die folgenden Kriterien sollten Ihre Fragen und Antworten in einem Fragebogen in den meisten Fällen mindestens erfüllen:

1. Konstante Logik: Gleiches sollte immer gleich benannt werden. Also: beispielsweise nicht einmal „Klienten“ und in der nächsten Frage „Adressaten“ schreiben, sondern immer dieselben Begriffe für dieselbe Sache verwenden.

2. Fragestellungen sollten in der Regel eindimensional sein. Also beispielsweise nicht fragen „Gehst Du gerne und häufig ins Jugendzentrum?“ sondern a) gehst du gerne ins JZ und b) gehst du häufig ins JZ (wobei man hier wahrscheinlich eher die genaue Häufigkeit abfragen würde, also: „Wie oft gehst du pro Woche ins Jugendzentrum?“).

3. Die Antwortoptionen sollten alle denkbaren Antworten enthalten, die man auf die Frage geben könnte, nicht nur die, die einem bei der Erstellung zuerst einfallen und sollten möglichst eindeutig sein.

4. Die Antwortoptionen sollten einander in der Regel ausschließen, also überschneidungsfrei sein. Also auf die Frage „Magst du Pudding?“ nicht die Antworten ja / manchmal / selten / nein, sondern z.B. eher: ja sehr / ja etwas / nein nur selten / nein gar nicht. Weil „ja“ und „manchmal“ sich nicht ausschließen.

5. Fragestellungen sollten nur das enthalten, was Befragte auch wissen können. Man kann also beispielsweise in der Regel Studenten nicht fragen, ob eine Vorlesung sich an dem aktuellen Forschungsstand zu dem Thema orientiert hat, weil die Studenten ja den aktuellen Forschungsstand in der Regel gar nicht kennen.

6. Offene Antworten sollten auch genug Platz vorsehen, um eine der Fragestellung angemessene offene Antwort schreiben zu können.

7. Suggestivfragen sind in der Regel zu vermeiden. Suggestivfragen sind solche Fragen, in denen die Wortwahl in der Frage oder den Antwortoptionen den Eindruck erweckt, es gäbe eine „richtige“ und eine „falsche“ Antwort. Idealerweise verwendet man also neutrale Formulierungen. Das ist manchmal schwierig. Schon ein Wort wie „Arbeitsbelastung“ kann dazu führen, dass die Menschen vor allem an Belastung denken und dann angeben, stärker belastet zu sein, als sie es eigentlich sind.

8. Prüfen Sie bitte, ob alle Ihre Fragen direkt mit Ihren Indikatoren verbunden sind und ob Sie alle Indikatoren, die Sie mit dem Fragebogen abfragen wollen, auch in Fragen „übersetzt“ haben (also, ob Ihr Erhebungsinstrument auch wirklich Ihr Erkenntnisinteresse abbildet). Ein Indikator kann durchaus zu mehreren Fragen führen, d.h. Sie haben in der Regel mehr Fragen als Indikatoren.

9. Stellen Sie umgekehrt aber auch keine überflüssigen Fragen. Bei jeder Frage sollten Sie begründen können, warum sie zur Aufklärung Ihrer Fragestellung notwendig ist.

10. Sie müssen das Rad nicht immer neu erfinden. Für viele Dinge gibt es gute und getestete Fragebögen. Insbesondere für psychologische Konzepte, wie Selbstwirksamkeit, Mobbing, Depression, Neigung zu Gewalt und viele andere, aber auch für Konzepte anderer Disziplinen, wie z.B. sozialwissenschaftliche Konstrukte gibt es geprüfte und bewährte Instrumente aus denen man sich bedienen kann.