Silvestrini (2007) - Organisatorischer Ablauf Von Evaluationen

Organisatorischer Ablauf von Evaluationen
4. Organisatorischer Ablauf von Evaluationen

Stefan Silvestrini
Nachdem im zweiten und dritten Kapitel ein systematischer berblick ber die
theoretischen und methodischen Grundlagen der Evaluation sowie ber komplementre und konkurrierende Anstze vornehmlich konomischen bzw. betriebswirtschaftlichen Ursprungs gegeben wurde, richtet sich im Folgenden das
Augenmerk des Buches mehr auf praxisorientierte Handreichungen. Diese
sollen Auftraggebern wie Evaluatoren eine Orientierungshilfe bei der Planung
und Durchfhrung von Evaluationen geben.
Zunchst werden deshalb zuerst einmal die organisatorischen Schritte einer
Evaluation geschildert, deren Bercksichtigung fr eine professionelle Gestaltung von Bedeutung sind. Die ausreichende Beachtung der mit diesen Aspekten einhergehenden Fragestellungen stellt gleichsam eine notwendige Voraussetzung zur Gewhrleistung eines mglichst reibungslosen Ablaufs des
Evaluationsprozesses dar. Hierfr bietet dieses Kapitel ein Gerst zur Konzeption der einzelnen Planungs- und Umsetzungsschritte.
Anhand eines realittsnahen Szenarios werden dabei in Kapitel 4.1 die
erforderlichen vorbereitenden Aufgaben zur Durchfhrung einer Evaluation
erlutert. In Analogie zur Entwicklung eines Forschungsplans wird hierfr am
konkreten Fallbeispiel exemplarisch eine untersuchungsleitende Fragestellung
vorgestellt und im Rahmen der Entwicklung des Datenerhebungsplans diskutiert.
Kapitel 4.2 richtet sich insbesondere an Auftragnehmer von Evaluationen,
denen mit Hilfe verschiedener Beispiele die wesentlichen Merkmale eines
Angebots zur Durchfhrung eines Evaluationsauftrags veranschaulicht werden.
Neben den charakteristischen Merkmalen einer Ausschreibung (Vergabekriterien, Terms of Reference etc.) sowie des Aufbaus und der Struktur eines
Angebots, wird in diesem Zusammenhang besondere Aufmerksamkeit der
Ausarbeitung eines fundierten Zeit- und Finanzplans gewidmet, dessen Nachvollziehbarkeit ein zentrales Kriterium bei der Wahl eines Evaluators darstellt.
In Kapitel 4.3, das gleichermaen fr Auftragnehmer wie Auftraggeber
wichtig ist, werden die im Evaluationsverlauf blicherweise zu erfllenden
Aufgaben und die jeweiligen Verantwortlichkeiten thematisiert. Entsprechend
der Chronologie derartiger Vorhaben gliedert sich die Darstellung der einzelnen Arbeitsschritte, in die Phase der Auftragsklrung und die Phase der eigentlichen Durchfhrung der Untersuchung. Zu den zentralen Elementen zhlen
dabei u.a. die Abstimmung des Analyserasters und der Erhebungsinstrumente
0CVkrBsNumKsBG/L9Nx48q3leZry7tPlx1Vfia1gDzUFuaaYZ/1GaKrl3lfi8TPs8Auaqx1mkPZ5WXKJuKFbx+ard/YVaZlKvjS5IWcj6ZUJUWE9znQXuw==
108
Urheberrechtlich geschtzt. Persnliche Kopie fr Matrikelnummer 8528713
Planung und Vorbereitung
zwischen Auftraggeber und Auftragnehmer sowie weitere organisatorische und

rechtliche Aspekte.
Ziel des Kapitels ist es, einen Orientierungsrahmen zu vermitteln, der es
sowohl Evaluierenden (Evaluatoren, Qualittsmanager etc.) als auch Evaluierten (Auftraggeber, Zielgruppen und alle sonstigen Stakeholder) gestattet, die
vielfltigen typischen Aufgaben- und Problemstellungen im Kontext einer
Evaluation zu verstehen und eigenstndig Lsungsstrategien zu entwickeln.
Um einerseits als Ausgangspunkt zur Realisierung eines Evaluationsvorhabens
zu dienen und andererseits dem Leser aufzuzeigen, welche Methoden und
Instrumente dabei zur Anwendung kommen, enthlt es sowohl Beispiele aus
der Evaluationspraxis als auch zahlreiche Verweise zu den Kapiteln fnf bis
zehn, in denen die hierfr notwendigen theoretischen und methodischen
Grundlagen eingehend behandelt werden.
4.1
Am Anfang jeder Evaluation stehen Fragen. Eine triviale Feststellung, wie die,
dass am Anfang jeder Forschung ein Erkenntnisinteresse steht, welches den
Forscher zum Untersuchungsgegenstand fhrt und aus dem die forschungsleitenden Fragestellungen abgeleitet werden. Der Unterschied zwischen Evaluation und Grundlagenforschung besteht, wie bereits in Kapitel zwei eingehend
erlutert, jedoch darin, dass Evaluation immer mit einem konkreten Nutzen, sei
es fr eine Organisation, fr die Betroffenen einer Manahme, fr einen Auftraggeber oder allgemeiner gefasst fr eine Gruppe von Stakeholdern, verbunden ist. Dennoch soll auch Evaluation, nach dem in diesem Buch vertretenen Verstndnis (vgl. Kapitel 1 bis 3), wissenschaftlichen Ansprchen
gengen, weshalb entsprechende Mastbe bei der Datenerhebung, -analyse
und -interpretation angelegt werden mssen. Dieses Spannungsfeld zwischen
Wissenschaftlichkeit und Anwendungsbezug erfordert im Vorfeld eines jeden
Evaluationsvorhabens die Klrung einer Reihe von Fragen, die unterschiedliche Bewertungs- und Designaspekte adressieren.
4.1.1 Konzeption einer Evaluation

An erster Stelle sind dabei Fragen hinsichtlich der Evaluationskonzeption zu
nennen, anhand derer bei allen Beteiligten ein gemeinsames Verstndnis fr
Sinn und Zweck des Vorhabens erzeugt werden soll. So ist zunchst zu klren,
mit Hilfe welcher Bewertungskriterien die Ergebnisse der Untersuchung beurteilt werden. Damit einhergehend stellt sich die Frage nach dem eigentlichen
Ziel der Evaluation. Wie ebenfalls in Kapitel zwei erlutert wurde, knnen
Evaluationsergebnisse fr sehr unterschiedliche Zwecke eingesetzt werden
(vgl. 2.1.3 Ziele der Evaluation). Im gleichen Zusammenhang steht die Frage
jMhwyHxeCGAEDeeBBZr+VWzcrcbsqMMVG4QgWPvK2KpOZ2iwE1GoUbIo7lBG55keLuU3lca92YpJsrgyqnGHwb6ot2dopVYbfxyAq/tDVIF7zEzkx58T1g==
109
nach den Aufgaben einer Evaluation. Also bspw. auf welche Programmphase
sich die Evaluation bezieht, welche Analyseperspektive (ex-ante, on-going
oder ex-post) sie einnimmt oder welches Erkenntnissinteresse dabei verfolgt
wird. Ebenso muss auch die Frage nach Adressaten und Stakeholdern der
Evaluation beantwortet werden. D.h. es muss nicht nur geklrt werden, wem
gegenber in welcher Form Bericht erstattet werden muss (vgl. hierzu auch
Kapitel 10), sondern darber hinaus, wer alles von den Evaluationsergebnissen
betroffen sein wird. Hiermit ist eine Vielzahl weiterer Fragen verknpft, wie
bspw. die nach der Vertraulichkeit der Daten und der Anonymitt der Informationsgeber (vgl. Kapitel 4.3) oder der Detailliertheit und des Anspruchsniveaus des Reportings (vgl. Kapitel 10). Schlielich ist zu klren wer die
Evaluation durchfhrt. Handelt es sich um eine interne Evaluation, die von
einer bestimmten Organisationseinheit (z.B. Qualittssicherung) durchgefhrt
wird oder von ausgewhlten Mitarbeitern aus verschiedenen Abteilungen, oder
entscheidet man sich fr die Umsetzung durch ein professionelles Evaluationsteam einer entsprechend qualifizierten Einrichtung oder eines Beratungsunternehmens. Je nachdem ob die vorhandene Expertise der eigenen Mitarbeiter oder der Rat eines hauptberuflichen Evaluators beansprucht wird,
ergeben sich eine Reihe von Konsequenzen fr den Untersuchungsablauf
sowie fr die zu erwartenden Ergebnisse.
Entsprechend muss auch ber das Wie entschieden werden. Welches
Evaluationsdesign (vgl. Kapitel 5) wird zugrunde gelegt und welche Methoden
werden bei der Erhebung der Daten angewandt (vgl. Kapitel 8). Vor dem
Hintergrund, dass das Evaluationsergebnis in entscheidendem Mae von den
dafr eingesetzten finanziellen und personellen Ressourcen abhngt, kann die
Entscheidung fr (oder gegen) eine bestimmte Vorgehensweise sehr folgenreich sein.
4.1.2 Der Datenerhebungsplan

Im Zuge der Klrung der Ziele, Aufgaben und Adressaten einer Evaluation
sowie hinsichtlich der Art und Weise ihrer Durchfhrung, muss ausgehend
vom Erkenntnisinteresse des Vorhabens ein Datenerhebungsplan entwickelt
werden, der wiederum der Beantwortung einer Reihe von methodischen
Fragen bedarf. Diese Fragen sind im Folgenden stichpunktartig zusammengefasst und werden anschlieend am praktischen Fallbeispiel der Evaluation
eines Weiterbildungsprogramms veranschaulicht. Hierbei wird, sehr stark vereinfacht, exemplarisch eine ausgewhlte Untersuchungsfrage diskutiert und
mgliche Wege der Datenerhebung aufgezeigt:35
35 Es ist offensichtlich, dass im Rahmen eines Praxishandbuchs keine ausfhrliche Darstellung
einer wissenschaftlich fundierten Evaluation erfolgen kann. Das folgende Beispiel dient
vielmehr dem Verstndnis der auf den vorherigen Seiten theoretisch dargestellten Planungsschritte unter Auslassung smtlicher blicherweise zu bercksichtigenden Details. So wird
CNK0IGd7OFUGUvWgmk6Clo9jZp1xiC3C+49CU9+1DWhbWMX3MnhbTR3RhoYjsj1UrSzSXaRTPTpc7wNhid1gzbzfBFz+ZUL5H9xicWtPrmOnXOiTkvwOQQ==
110
Zentrale Fragen zur Erstellung eines Datenerhebungsplans:

1. Welche Erkenntnisse sind von Interesse? Welches sind die untersuchungsleitenden Fragestellungen?
2. Welche Hypothesen knnen zu diesen Fragen formuliert werden? Gibt es
bereits Vermutungen oder Erwartungen bezglich einzelner (Wirkungs-)
Zusammenhnge?
3. Mit Hilfe welcher Indikatoren knnen empirische Daten zur berprfung
der aufgestellten Hypothesen erhoben werden? Welche Informationen
werden bentigt?
4. Liegen bereits Daten vor? Enthalten die Daten ausreichend Informationen
zur Beantwortung der jeweiligen Frage?
5. Wer oder was kann die zur berprfung der Hypothese erforderlichen
Informationen liefern?
6. Welche Datenerhebungsmethode(n) ist/sind hierbei am meisten Erfolg versprechend?
7. Ist eine Vollerhebung mglich oder muss eine Stichprobe gezogen werden?
Wie setzt sich ggf. diese Stichprobe zusammen (Zufallsauswahl, reprsentative Stichprobe etc.)?
8. Wer kann wann unter welchen Rahmenbedingungen welche Daten erheben?
9. Ist die Datenerhebung im Kosten- und Zeitrahmen der Evaluation durchfhrbar sinnvoll? Gibt es Alternativen?
Zur Veranschaulichung der o.g. Fragestellungen werden die damit verknpften
Arbeitsschritte bei der Planung einer Evaluation anhand des folgenden realittsnahen Szenarios erlutert:
Aufgabenbeschreibung: Ein Bildungstrger (in diesem Fall der Auftraggeber der
Evaluation) hat ein Programm zur beruflichen Weiterbildung arbeitsloser
Jugendlicher entwickelt, mit dem Ziel ihre Beschftigungssituation, gemessen an
ihrer Integration in den ersten Arbeitsmarkt, dauerhaft zu verbessern. Dieses
Programm soll nach dem ersten Manahmezyklus (zwischen-)evaluiert werden,
um Informationen ber die Wirksamkeit der Manahmen (Weiterbildungskurse)
zu gewinnen. Aus diesen Erkenntnissen sollen Handlungsempfehlungen zur
Steigerung der Wirksamkeit des Programms abgeleitet werden.
zugunsten der Anschaulichkeit beispielsweise auf eine Diskussion nicht intendierter

Wirkungen, intervenierender Variablen oder typischer Merkmale von Manahmen der
beruflichen Weiterbildung (z.B. dem Lock-In-Effekt) sowie deren Nachhaltigkeit verzichtet. Ebenso werden Fragen zur Effizienzmessung nicht bercksichtigt.
URVLy1LmhBi5Z+wV17zLzhsdQIqYa0Z9c9Zs/zwiKbMq+R7dYIyejDrjT8HZ1jWC5cUhap5G3vSfG/lSIifbsKGeF8m2gwaN0YfVmPVIu0Mq51ICG86hZw==
111
Rahmenbedingungen: Bis zum Erhebungszeitpunkt wurden vom Auftraggeber

keine monitoring- oder evaluationsrelevanten Daten erhoben. Jedoch wurde zur
Konzeption des Programms eine Voruntersuchung zur Zufriedenheit von Arbeitgebern mit ehemals arbeitslosen Jugendlichen (die noch nicht an diesem Programm teilgenommen haben) durchgefhrt, deren Ergebnisse verfgbar sind. Des
Weiteren liegen die Kontaktdaten der Programmteilnehmer vor und der Zugriff
auf Daten der amtlichen Arbeitsmarktstatistik ist prinzipiell gewhrleistet. Der
Manahmeabschluss liegt ein halbes Jahr zurck.
Aus der Aufgabenbeschreibung geht hervor, dass mit dem geplanten Evaluationsvorhaben die Wirksamkeit des Programms bzw. dessen Manahmen untersucht werden soll. Gem dem o.g. Datenerhebungsplan ist dabei zunchst
zu klren, welche Erkenntnisse eine Bewertung der Wirksamkeit erlauben. Es
ist daher erforderlich den Begriff der Wirksamkeit im Kontext der Programmmanahmen, also im Sinne der dauerhaften Verbesserung der Beschftigungssituation arbeitsloser Jugendlicher zu operationalisieren (vgl. Kapitel 7). Eine
untersuchungsleitende Fragestellung knnte somit bspw. folgendermaen
formuliert werden:
Welchen Effekt hat eine Programmteilnahme auf die Beschftigungssituation
eines arbeitslosen Jugendlichen?
Sicherlich gibt es eine Vielzahl weiterer relevanter Fragestellungen, wie bspw.

nach der Eignung der Programmanahmen fr die Zielerreichung, der Vereinbarkeit der erzielten Wirkungen mit den intendierten Programmzielen oder der
Frage nach Auswahleffekten und der gleichen mehr. Um jedoch die Anschaulichkeit des Fallbeispiels zu wahren, wird im Folgenden nur auf die o.g. Frage
weiter eingegangen.
Diese Frage kann in mehrere Hypothesen und Vorannahmen36 berfhrt
werden, die sich mit Blick auf die zu untersuchenden Wirkungszusammenhnge fr das obige Beispiel u.a. folgendermaen formulieren lassen:
a) Durch die Programmteilnahme verbessert sich die Beschftigungsperspektive
der arbeitslosen Jugendlichen.
b) Mit zunehmendem zeitlichen Abstand zur Programmteilnahme verringern sich
die Beschftigungseffekte.
36 Es wird von Hypothesen und Vorannahmen gesprochen, da im wissenschaftlichen Kontext der Hypothesenbegriff immer einen Zusammenhang von mindestens zwei Variablen
ausdrckt (wenn-dann-Beziehung bzw. je-desto-Beziehung; vgl. u.a. Bryman 2004:
540; Bortz, Dring 1995: 7; Schnell, Hill, Esser 1995: 51). Im Rahmen von Evaluationsvorhaben kann es aber auch sinnvoll sein empirisch oder theoretisch berprfbare Aussagen
zu formulieren, die nicht zwangslufig in einen Konditionalsatz berfhrt werden knnen
(z.B.: Die Manahmeinhalte wurden zielgruppengerecht vermittelt.. Vgl. hierzu auch
Kapitel 9.3).
lCNAlrtL4JSauQTUkHlNWyX6qIh3nRsTKBJAF0Ap15n0beSyP4WxAhmW5Gt5LzcuEEo71UFsdPg8vPZHg2kWlAp+d3ZMFxQMWuy6YreZnMsGF4ugirUl9w==
112
Im nchsten Schritt mssen nun die Indikatoren entwickelt werden, mit deren
Hilfe es mglich ist, empirische Daten zu erheben, die intersubjektiv berprfbare Aussagen hinsichtlich des Wahrheitsgehalts der dargestellten Hypothesen erlauben (vgl. Kapitel 7.2).
Im vorliegenden Musterfall knnten bspw. folgende Indikatoren herangezogen werden:
Zu a):
I Arbeitslosenquote bei den Programmteilnehmern drei Monate nach Abschluss
der Manahme im Vergleich zu den Nicht-Teilnehmern (Kontrollgruppe).
II Arbeitsentgelt der beschftigten Programmteilnehmer im Vergleich zu den
Nicht-Teilnehmern.
Zu b):
III Vernderung der Arbeitslosenquote bei den Programmteilnehmern in grer
werdendem Abstand zum Abschluss der Manahme (Messung: ein, drei und
sechs Monate nach Abschluss).
IV Vernderung der Zufriedenheit der Arbeitgeber mit Programmteilnehmern im
Vergleich zu ihrer Zufriedenheit mit Nicht-Teilnehmern (Messung: ein, drei
und sechs Monate nach Abschluss).37
Wurden geeignete Indikatoren, mglichst im Rahmen eines intensiven Kommunikationsprozesses mit (Fach-)Experten, konstruiert, so ist im nchsten
Schritt zu prfen, wie zu diesen Indikatoren empirische Daten erhoben werden
knnen. Hierbei ist zunchst ber die jeweilige Datenlage zu befinden. Stehen
bereits Daten zur Verfgung, muss geklrt werden, ob diese ausreichen, um
eine Aussage hinsichtlich der jeweils zugrunde gelegten Hypothesen zu treffen
oder ob neue bzw. zustzliche Daten erhoben werden mssen.
Sofern die vorliegenden Daten nicht ausreichend sind, muss als nchstes
entschieden werden, auf welche Datenquellen zurckgegriffen werden kann
und welche Erhebungsmethoden dabei zur Anwendung kommen knnen (vgl.
Kapitel 8.). Bei der Entscheidung fr oder gegen eine bestimmte Vorgehensweise sind eine Reihe von Faktoren zu beachten, die die Umsetzbarkeit der
jeweiligen Strategie determinieren. So sind u.a. die dabei entstehenden Kosten
zu bercksichtigen und der fr die Erhebung ntige personelle und zeitliche
Aufwand. Auch ist darber zu entscheiden, ob eine Vollerhebung sinnvoll und
realisierbar ist, oder ob eine Stichprobe gezogen werden muss. Ist letzteres der
Fall, muss darber hinaus berprft werden ob die Gre und Zusammensetzung dieser Stichprobe statistisch reprsentative Rckschlsse auf die
Grundgesamtheit erlaubt bzw. welche (systematischen) Verzerrungen zu erwarten sind.
37 Um das Beispiel einfach zu halten, wurde auf eine weitere Operationalisierung der einzelnen Indikatoren (Programmteilnahme, Arbeitslosenquote, Arbeitsentgelt und Zufriedenheit
der Arbeitgeber), die zweifelsohne in einem realen Vorhaben unabdingbar wre, verzichtet
(zum Prozess der Operationalisierung vgl. auch Kapitel 7.2).
dcSE24iyfbvmur5bzsSYwY+SCYil7RqH/N6jMFnqawpGYjnTRh4mk5B9tn89HqoLK+DrZk7Rgc+nK9VXekJbCo7+CzjOzCc1QZ3LjyMC5niljdY202SfMQ==
113
Hinsichtlich des bereits skizzierten Szenarios erscheint unter den gegebenen Rahmenbedingungen folgende Zuordnung der einzelnen Datenquellen
sowie Erhebungsmethoden zu den jeweiligen Indikatoren geeignet:
Abbildung 4.1: Zuordnung der Daten und Methoden zu den Indikatoren
Indikator Datenlage
I
keine Daten
vorhanden
II
III
IV
Ergebnisse
der Vorstudie
Datenquellen
Programmteilnehmer
und amtliche Statistik
Programmteilnehmer
und amtliche Statistik
Programmteilnehmer
Arbeitgeber der Teilnehmer
Erhebungsmethoden
Befragung der Teilnehmer und
statistische Analyse
Befragung der Teilnehmer und
statistische Analyse
Befragung der Teilnehmer
Befragung der Arbeitgeber,
Sekundranalyse der Vorstudie
Design angelehnt an Fitzpatrick (2004)
Nachdem geeignete Methoden und Auswahlverfahren zur Beantwortung der

untersuchungsleitenden Fragestellungen identifiziert wurden, sollte eruiert
werden, inwieweit die einzelnen Erhebungsschritte einerseits mit Hilfe der
vorhandenen finanziellen, personellen und technischen Mittel und andererseits
unter den gegebenen (kulturellen, politischen, gesellschaftlichen, geografischen etc.) ueren Rahmenbedingungen realisierbar sind. Dabei ist auch zu
klren, welche Instrumente (standardisierter Fragebogen, Dokumentenanalyse,
leitfadengesttzte Interviews etc.) eingesetzt werden knnen.
So muss im konkreten Fall abgeschtzt werden, welche Kosten durch eine
Befragung der Teilnehmer entstehen und welche Herangehensweise (schriftliche Online- bzw. postalische Befragung, Grad der Standardisierung etc.)
geeignet erscheint. Hierzu ist es erforderlich einen Personal-, Zeit- und
Finanzplan anzufertigen, in dem auch dargestellt wird, wer zu welchem Zeitpunkt die jeweiligen Erhebungsschritte vornehmen wird und welche Kosten
damit verbunden sind (vgl. Kapitel 4.2.2).
4.1.3 Anwendung des Evaluationsleitfadens

Nach dem (vorlufigen) Abschluss der Indikatorensammlung ist es ratsam anhand eines Evaluationsleitfadens die Vollstndigkeit der entwickelten Fragestellungen zur Untersuchung des Evaluationsgegenstandes zu berprfen. Ein
solcher Musterleitfaden wurde in Kapitel 2 dargestellt (vgl. insbesondere Abbildung 2.8). In jedem Fall sollte ein Evaluationsleitfaden alle relevanten
Untersuchungsdimensionen umfassen, um ein mglichst differenziertes und
vollstndiges Bild des Evaluationsgegenstands zu erhalten.
X3kKLwyHWH8jCjtSX0JQR47f4I3Q1Y4n39XQxPmkERfGawuCF9d479I+PVQIqDlUkrWhkK2IH29tBZjulIbJjKwXug/ui+LdLGtMD0RJQL85pvBZ5Sjj0Q==
114
Da es sich im konkreten Fallbeispiel um ein Weiterbildungsprogramm handelt, kann der in Kapitel 2 vorgestellte Evaluationsleitfaden zur Bewertung der
Qualitt von Programmen dienen:
Abbildung 4.2: Zuordnung der Indikatoren zu den jeweiligen Untersuchungsdimensionen am Fallbeispiel
Indikatoren
I, II, III
IV
I, III
-
Untersuchungsdimension
1. Programm und Umwelt
1.1
Programmbeschreibung
1.2
Umwelt-/Kontextbedingungen
2. Programmverlauf
2.1
Planung
2.2
Steuerung
2.3
Frderende
2.4
Nachbetreuung
3. Interne Wirkungsfelder
3.1
Ziele/Zielakzeptanz
3.2
Personal
3.3
Organisationsstruktur
3.4
Finanzielle Ressourcenverfgbarkeit
3.5
Technische Infrastruktur (insb. Ausstattung)
3.6
Organisationsprogramm/-konzeption
4. Externe Wirkungsfelder
4.1
Zielakzeptanz bei den Zielgruppen
4.2
Zielgruppenerreichung
4.3
Nutzen fr die Zielgruppen
4.4
Zielgruppenbergreifende Wirkungen
4.5
Wirkungen im Politikfeld des Programms
4.6
Politikfeldbergreifende Wirkungen
Wie aus Abbildung 4.2 zu ersehen ist, liefern die hier beispielhaft entwickelten
Indikatoren nur zu einem sehr kleinen Teil der Untersuchungsdimensionen
relevante Informationen, die zudem einige Aspekte nicht ausreichend beleuchten. So ermglicht die Bewertung der Beschftigungsperspektive zwar
Aussagen hinsichtlich des Nutzens des Programms fr die Teilnehmer. Bezglich der dafr eingesetzten Ressourcen (Geld, Personal etc.) oder der Programmsteuerung hingegen knnen keine Rckschlsse gezogen werden.
Aufgrund dieser Defizite ist es also nicht mglich anhand der dargestellten
Indikatoren das Programm umfassend zu bewerten. Im realen Fall wre daher
eine berarbeitung bzw. Ergnzung der untersuchungsleitenden Fragestellungen, der dazugehrigen Hypothesen sowie der Indikatoren erforderlich.
UuM1DJ9lQtqWGE/9CNTe1or1L8RgluH2K3LzL5Y3aV0/EAWyoxslgsb+vrF8pmMYFsmXawAlIfx32V2QMzX8ZG7+yljSCJfHAooZvoaRGDAwtQMXV7u5YQ==
115
Abbildung 4.3: Flussdiagramm der einzelnen Schritte zur Planung und

Vorbereitung einer Evaluation
Klrung der Ziele und Aufgaben der
Evaluation
Identifizierung der Stakeholder und
Adressaten
Entwicklung eines Datenerhebungsplans
Entwicklung der
untersuchungsleitenden
Fragestellungen (F1 Fn)
F1
F2
Hypothesengenerierung
(H1F1; HpF1 HpFn)
H1F1
H2F1
HpF1
HpFn
Indikatorenentwicklung
(I1H1F1; IqH1F1; IqHpF1
IqHpFn)
I1H1F1
I2H1F1
IqH1F1
IqHpF1
Fn
nein
Daten vorhanden?
Auswahl der Untersuchungsobjekte
ja
nein
Daten ausreichend?
ja
Auswahl der Erhebungsmethoden

Vollerhebung
Stichprobe
Entscheidung ber Vorgehensweise
realisierbar/
sinnvoll?
nein
IqHpFn
berarbeitung/ Ergnzung des Indikatorensets
F3
ja
berprfung der Vollstndigkeit des
Indikatorensets anhand des
Evaluationsleitfadens
nein
Vollstndig?
ja
Zur Datenanalyse
Zur Datenerhebung
2JtLH5V0RZtITGkUvZsAdeygOInw6uQiuvrLPlEKKO1yb4h4S9HyztCNyUjDAwrR6JtUFEvS4mpyiuRWVJ05JHMwhla1Q8Al78CIcJx623itvo/1gwJ5jg==
116
Bspw. wren weitere Fragen hinsichtlich der Organisationsstruktur des Programmtrgers zu stellen oder ob die intendierten Programmwirkungen berhaupt mit den Organisationszielen in Einklang stehen und so weiter.
Nach der Vervollstndigung des Datenerhebungsplans gilt es abschlieend
einen entsprechenden Plan zur Datenauswertung zu erarbeiten. Hierbei
mssen analog zum Erhebungsplan fr die einzelnen Indikatoren, die jeweiligen Analyseverfahren und -methoden definiert werden sowie die Kriterien, an
denen sich die Bewertung orientiert (vgl. Kapitel 7). Schlielich ist festzulegen, wem welche Untersuchungsergebnisse wann und in welcher Form
(Bericht, Prsentation etc.) bermittelt werden (vgl. Kapitel 10).
Zur Veranschaulichung der in Kapitel 4.1 erluterten Planungs- und Vorbereitungsschritte, ist der typische Ablauf einer Evaluationsplanung im folgenden
Flussdiagramm schematisch dargestellt (siehe Abbildung 4.3):
Zusammenfassung im berblick:
9
Vor Beginn einer Evaluation ist eine Evaluationskonzeption zu entwickeln, anhand derer bei allen Beteiligten ein gemeinsames Verstndnis ber den Sinn und Zweck des Vorhabens erzeugt werden
soll. Wesentliche Elemente dieser Konzeption sind:
o Festlegung der Bewertungskriterien
o Klrung der Aufgaben und Ziele der Evaluation
o Identifizierung der Adressaten und Stakeholder der Evaluation
o Benennung des Evaluationsteams
o Entscheidung ber die Vorgehensweise im Rahmen der Evaluation
9
Ausgehend vom Erkenntnisinteresse der Evaluation sollte zur Vorbereitung ein Datenerhebungsplan entwickelt werden, in dem folgende
Fragen geklrt werden:
o Welches sind die untersuchungsleitenden Fragestellungen?
o Welche Hypothesen knnen bezglich dieser Fragestellungen
gebildet werden?
o Welche Indikatoren dienen der berprfung der aufgestellten
Hypothesen?
o Wozu liegen bereits Daten vor?
o Wer oder was kann relevante Informationen liefern?
o Welche Datenerhebungsmethoden sind angemessen?
o Wie sollen die Daten erhoben werden?
9Anschlieend knnen die Indikatoren im Hinblick auf ihre
Vollstndigkeit anhand eines Evaluationsleitfadens berprft werden.
9Nach Abschluss des Datenerhebungsplans sollte ein entsprechender
Plan zur Datenauswertung entwickelt werden, in dem analog die jeweiligen Analyseverfahren und -methoden, die Kriterien der Bewertung sowie die einzelnen Wege der Ergebnisrckkoppelung festgelegt werden.
5/curPP9agj5YbCt3Npzxkz6V3H3mpg4A8VV+WkWmj2wLwxHZUcwyh0ibOxOkyABRHroQ0MAxmayFdtsFICJ9Hu1uVGghyq7/fgbsbEwciVr1Xf03LvdlQ==
117
4.2
Die Angebotserstellung
Im nchsten Abschnitt werden die wesentlichen Aspekte diskutiert, die im

Rahmen der Angebotserstellung zur Durchfhrung einer Evaluation relevant
sind. Ausgehend von der bei einer externen Evaluation blicherweise zugrunde
liegenden Ausschreibung und den darin enthaltenen Informationen und Vorgaben von Seiten des Auftraggebers, wird idealtypisch der Aufbau und die
Struktur des Angebots veranschaulicht. Besonderes Augenmerk wird in diesem
Zusammenhang auf die Gestaltung des fundierten Zeit-, Personal- und Finanzplans gelegt, der in vielen Fllen ein zentrales Element darstellt.
4.2.1 Die Ausschreibung

Eine Ausschreibung kann entweder ffentlich, also prinzipiell fr jeden
zugnglich, oder auf einen gewissen Bewerberkreis beschrnkt erfolgen. Bei
einer Einschrnkung werden meist gewisse Mindestanforderungen zugrunde
gelegt, die der Bewerber erfllen muss, bspw. hinsichtlich der finanziellen
Ausstattung (Grundfinanzierung etc.), der personellen Ressourcen (Anzahl der
Mitarbeiter, deren Qualifikation etc.) oder der fachspezifischen Reputation.
Derart beschrnkte Ausschreibungen dienen oft dem Ausschluss bestimmter
Bewerbergruppen, denen eine adquate Umsetzung des Evaluationsvorhabens
nicht zugetraut wird. Einerseits soll diese Vorgehensweise zur Schaffung einer
gesicherten Rechtslage dienen, falls der Auftragnehmer die vereinbarten Leistungen aufgrund eigenen Verschuldens (z.B. mangelnde Qualifikation, Krankheit, Insolvenz) nicht oder nur teilweise erbringen kann. Andererseits wird sie
insbesondere auch dann gewhlt, wenn im Voraus klar ist, dass die im Rahmen
der Evaluation zu leistenden Aufgaben so umfangreich sind, dass sie nur von
einem mehrkpfigen institutionell verankerten Evaluationsteam geleistet
werden knnen.
Ausschreibungen knnen ferner kommerzielle oder nicht-kommerzielle
Bieter ausschlieen oder sich auf eine Auswahl vorher festgelegter Institutionen, Organisationen bzw. Personen beziehen, mit denen im Vorfeld Rahmenvertrge geschlossen wurden oder die bereits in der Vergangenheit fr den
Auftraggeber Evaluationen durchgefhrt haben (oder eben noch keine).
ffentliche Auftraggeber (z.B. Ministerien, EU) sind im brigen dazu verpflichtet ihre Ausschreibungen bis zu einem Auftragswert von 200.000 Euro
nach den nationalen Richtlinien der Verdingungsordnung fr Leistungen
(VOL) zu verffentlichen. Bei hheren Auftragswerten gelten die europischen Richtlinien.38 Zwar kann eine ausfhrliche Diskussion der Vergabe38 Eine vollstndige Darstellung der vom Deutschen Verdingungsausschuss fr Leistungen
(DVAL) 2006 aktualisierten Vergabekriterien findet sich im Bundesanzeiger vom 30. Mai
2006, Nummer 100a; Teil A: Allgemeine Bestimmungen fr die Vergabe von Leistungen
(VOL/A).
TsBK1ZQ3tLoh+qqDwjMZBeZe60LZQZ3psP3qFdJdz1dcBk3X01EWz7q4r5KDheJSaIK+WiTYaOuahmZqO4F37UR4J6Udo6+URGxcjm503lf5VRvrQBIrnw==
118
kriterien der verschiedenen ffentlichen deutschen und europischen Auftraggeber an dieser Stelle nicht geleistet werden, jedoch gibt ein Auszug aus
Paragraf 21 der VOL/A zum Inhalt der Angebote eine ntzliche bersicht
zur formalen Angebotsgestaltung bis hin zu organisatorischen Bestimmungen,
die exemplarisch die blichen Anforderungen seitens eines Auftraggebers veranschaulichen:
1.(1) Die Angebote mssen die Preise sowie die geforderten Angaben und
Erklrungen enthalten. Soweit Erluterungen zur Beurteilung des Angebots
erforderlich erscheinen, kann der Bieter sie auf besonderer Anlage seinem
Angebot beifgen.
(2) Die Auftraggeber haben die Integritt der Daten und die Vertraulichkeit der
bermittelten Angebote auf geeignete Weise zu gewhrleisten. [...] Die Angebote
mssen unterschrieben sein, elektronisch bermittelte Angebote sind mit einer
fortgeschrittenen elektronischen Signatur nach dem Signaturgesetz und den
Anforderungen des Auftraggebers oder mit einer qualifizierten elektronischen
Signatur nach dem Signaturgesetz zu versehen.
(3) nderungen des Bieters an seinen Eintragungen im Angebot mssen
zweifelsfrei sein.
(4) nderungen und Ergnzungen an den Verdingungsunterlagen sind unzulssig.
(5) Muster und Proben des Bieters mssen als zum Angebot gehrig gekennzeichnet sein.
2. Etwaige Nebenangebote mssen auf besonderer Anlage gemacht und als solche
deutlich gekennzeichnet werden.
3. (1) Der Bieter hat auf Verlangen im Angebot anzugeben, ob fr den
Gegenstand des Angebots gewerbliche Schutzrechte bestehen oder von dem
Bieter oder anderen beantragt sind.
(2) Der Bieter hat stets anzugeben, wenn er erwgt, Angaben aus seinem Angebot
fr die Anmeldung eines gewerblichen Schutzrechtes zu verwerten.
4. Arbeitsgemeinschaften und andere gemeinschaftliche Bieter haben in den
Angeboten jeweils die Mitglieder zu benennen sowie eines ihrer Mitglieder als
bevollmchtigten Vertreter fr den Abschluss und die Durchfhrung des Vertrages zu bezeichnen. Fehlt eine dieser Bezeichnungen im Angebot, so ist sie vor
der Zuschlagserteilung beizubringen.
5. Der Bieter kann schon im Angebot die Rckgabe von Entwrfen, Ausarbeitungen, Mustern und Proben verlangen, falls das Angebot nicht bercksichtigt wird ( 27 Nr. 7).
Mittlerweile haben sich vor allem bei greren Auftragsvolumina und insbesondere bei Ausschreibungen der Europischen Union (z.B. in den Rahmenprogrammen) zwei- oder gar dreistufige Auswahlverfahren durchgesetzt. Bei
dieser Verfahrensregelung werden die Bewerber zunchst aufgefordert eine so
bPugegzprXkYoBxIXvrwDo/Xko/NnCdK17AvOUVGTdG7MjfnMUrYtHoty7J9AxVOBWtx/CGqq5l8tOuw/4yKVpjbb8PZ/Tx96NcB4F0LrFrr+Y7NLcD1NA==
119
genannte Interessensbekundung einzureichen, in der das Evaluationsvorhaben

nur grob skizziert wird, das jedoch bereits genaue Angaben zu den
Umsetzungskosten enthalten soll. Das eigentliche, nach der erfolgreichen Absolvierung des ersten Auswahlschritts, einzureichende Angebot erhlt dadurch
mehr oder weniger den Status eines sog. Inception Reports, in dem umfassend und detailreich die geplante Untersuchung, die dabei verwendeten
Methoden und Instrumente, Analyseverfahren etc., beschrieben sein mssen
(vgl. Kapitel 4.3.1 und Kapitel 10). Bei dreistufigen Verfahren muss im Anschluss daran das Vorhaben noch zustzlich im Rahmen einer Prsentation
vorgestellt und die geplante Vorgehensweise, ggf. unter Beteiligung der beteiligten Fachabteilungen, Referate etc., mit dem Auftraggeber diskutiert werden.
Ein wesentliches Element von Ausschreibungen sind die u.a. als Terms of
Reference bezeichneten genaueren Informationen zur konkreten Aufgabenstellung der Evaluation (abgekrzt: ToR). Sie beschreiben die Erwartungen
des Auftraggebers an die Evaluation und geben nicht selten eine Richtschnur
zur Gestaltung des Untersuchungsprozesses. Zwar gibt es keine formalen
Kriterien darber, was in den ToR enthalten sein muss, jedoch werden in den
meisten Fllen die Ziele, die Aufgaben und deren Verteilung, die wesentlichen
Fragestellungen sowie die Erwartungen hinsichtlich der Ergebnisrckkopplung
durch den Evaluator benannt. Die ToR stellen damit das auftraggeberseitige
Pendant zur Evaluationskonzeption dar, das im Idealfall alle in Kapitel 4.1.1
benannten Aspekte bei der Erstellung der ToR bercksichtigt hat. Meist geben
die ToR auch Aufschluss ber den Hintergrund der Ausschreibung und die
erwartete methodische Umsetzung. Gelegentlich enthalten sie sogar verbindliche Vorgaben zum Evaluationsdesign.
Bei intern durchgefhrten Evaluationen erfolgt in der Regel keine formalisierte Ausschreibung, da bereits im Vorhinein fest steht, welche Personen bzw.
welche Abteilung oder Einheit mit der Durchfhrung betraut werden soll.
Gleichwohl empfiehlt es sich auch bei solchen Vorhaben ein Konzeptpapier zu
entwickeln, in dem fr alle Beteiligten Vereinbarungen zu den wichtigsten
Punkten festgeschrieben werden. Insbesondere dann, wenn die Bewertung von
einer anderen Organisationseinheit umgesetzt werden soll, ist es ratsam sich
mit der zu evaluierenden Abteilung bzw. Einheit ber die Ziele und Aufgaben
der Evaluation zu verstndigen, um Missverstndnisse weitgehend auszuschlieen sowie dadurch u.U. entstehende intraorganisationale Konflikte zu
vermeiden. Soll die Arbeit (Effektivitt, Effizienz etc.) der gesamten Organisation evaluiert werden, so arbeitet in der Regel die Geschftsleitung selbst mit
den fr die Evaluation verantwortlichen Mitarbeitern das Konzept fr die Umsetzung des Vorhabens aus. Die Inhalte dieses Verstndigungsprozesses bzw.
Umsetzungskonzepts sind damit den o.g. Terms of Reference gleichzusetzen,
da sie die gleiche Zielsetzung verfolgen: die eindeutige Definition des Evaluationsauftrags.
enB12Z5nMnxG5yaQjRKIfZVio6Jr6xHIbOfEUdb2NSe6K86BlK9o20bT7drxtNCCBstbMyQVu1iRO1MutDruewQDTeAp3jrkePJwMwG02F82unzLI1mg6w==
120
4.2.2 Aufbau und Struktur des Angebots39

Die inhaltliche Gestaltung eines Angebots ist grundstzlich (im Gegensatz zur
Vertragsgestaltung) keinen eindeutigen Normen unterworfen. Gleichwohl gibt
es einige Aspekte, die bei der Angebotserstellung bercksichtigt werden
sollten, will man eine realistische Chance bei der Auftragsvergabe haben.
Auch verffentlichen Auftraggeber neben den vorangehend besprochenen ToR
immer fter mehr oder weniger verbindliche Leitlinien oder gar Formatierungsvorlagen zur Gliederung entsprechender Dokumente.
Das Ziel eines Angebots ist es, den Auftraggeber davon zu berzeugen, dass der
Bewerber der bestgeeignetste Kandidat zur Durchfhrung des ausgeschriebenen
Evaluationsvorhabens ist.
Ausgehend von dieser Zielsetzung knnen eine Reihe von Kriterien identifiziert werden, an denen sich der Aufbau und die Struktur des Angebots orientieren sollten. So ist es zweckmig, dem Angebot (neben Deckblatt und Inhaltsverzeichnis) eine Einleitung voranzustellen, in der die wesentlichen Aspekte
der Ausschreibung aufgegriffen und die Rahmendaten des Vorhabens wiederholt werden. Zu den wichtigsten Inhalten gehren dabei u.a.:
!Klarstellung, worauf sich das Angebot bezieht: Nennung des Auftraggebers, des Titels der Evaluation und des Durchfhrungszeitraums, ggf.
Verweis auf den genauen Ausschreibungstitel, die Nummer oder die ausschreibende Organisationseinheit etc., ggf. Erklrung, wieso der Bewerber
zur Einreichung des Angebots berechtigt ist (insb. bei beschrnkten Ausschreibungsverfahren, vgl. Kapitel 4.2.1).
!Wiedergabe der Zielsetzung des Vorhabens in eigenen Worten, sofern diese
in der Ausschreibung bzw. in den ToR explizit benannt werden, um deutlich zu machen, dass die Aufgabenstellung verstanden wurde
oder
!Definition der Zielsetzung anhand der selbst entwickelten Evaluationskonzeption, falls hierfr vom Auftraggeber keine verbindlichen Vorgaben
gemacht werden.
!Kurze Zusammenfassung des vorgesehenen Evaluationsdesigns mit entsprechender Begrndung.
!bersicht ber die folgenden Gliederungspunkte mit knappen Querverweisen zu den zentralen Inhalten der jeweiligen Kapitel.
39 Aus Platzgrnden musste in diesem Abschnitt auf die Darstellung praktischer Anwendungsbeispiele verzichtet werden, da ein Angebot mitunter die Seitenstrke des ganzen Kapitels
erreichen kann. Nichtsdestoweniger entspringen die Empfehlungen zum Aufbau der einzelnen Gliederungspunkte aus Erfahrungen aus der Praxis und werden dementsprechend begrndet.
qHoul08L90oLN5E52co9etisvJkjlbhgYekmNw4L168pOFux9OjxWWULQM5yegxYnk46W1fGBrz9hE5VtC4PbuU6kwudDCSEAS+i1zwWucNnUg9oW6jfLg==
121
!Falls die Evaluation in Zusammenarbeit mit anderen Organisationen durchgefhrt werden soll: Benennung der Kooperationspartner, ggf. mit namentlicher Erwhnung der jeweiligen Ansprechpartner; Begrndung der Auswahl und Erluterung der Aufgabenteilung.
!Ggf. Benennung der mit der Evaluation betrauten Personen und ihre
jeweiligen Aufgaben bzw. Funktionen (Durchfhrung, Backstopping,
Leitung), falls dies in der Ausschreibung gewnscht wird.
!Ggf. ergnzende Informationen zum Auftragnehmer, sofern hierfr nicht
ein gesondertes Kapitel vorgesehen ist.
Die Wiederholung der in den ersten beiden Gliederungspunkten genannten
Daten der Ausschreibung dient dabei nicht nur dem Verstndnis des Lesers
da nicht immer davon auszugehen ist, dass Verfasser und Entscheider der Ausschreibung identisch sind sondern auch der (rechtlichen) Absicherung und
zur Vermeidung von Missverstndnissen hinsichtlich des genauen Evaluationsauftrags. Die Darstellung des Evaluationsdesigns informiert den Leser
ber die vorgesehenen Methoden und Instrumente. Dabei sollte ersichtlich
werden, wieso genau diese Vorgehensweise dem potentiellen Auftragnehmer
am sinnvollsten erscheint. Eine bersicht ber die jeweiligen Inhalte der
folgenden Kapitel bietet sich insbesondere bei umfangreicheren Angeboten an,
um dem Auftraggeber das Finden der ihm wichtigsten Aspekte (z.B. Zeitplanung) zu erleichtern.
Bei der Gestaltung der Einleitung ist darauf zu achten, dass sie mglichst
kurz und przise formuliert ist, da dem darin vermittelten ersten Eindruck eine
besondere Bedeutung zukommt.
Als nchstes sollte die vorgesehene Evaluationskonzeption vorgestellt
werden. Dabei ist detailliert auf die ToR einzugehen, da sie gewissermaen das
inhaltliche Gerst der Evaluation bilden. Prinzipiell eignet sich hierfr die in
Kapitel 4.1.1 beschriebene Vorgehensweise, nach der zunchst die Bewertungskriterien festgelegt werden, um sodann die Aufgaben und Ziele des Vorhabens auszufhren. Ebenso sollten die Adressaten und Stakeholder benannt
sowie die Rollen der bei der Umsetzung der Evaluation involvierten Personen
geklrt werden, sofern dies nicht bereits in der Einleitung erfolgt ist.
Die Darstellung der genannten Aspekte mndet idealerweise in die
begrndete Entscheidung bezglich der Vorgehensweise, die wiederum den
Ausgangspunkt fr die im folgenden Angebotskapitel zu beschreibenden
Methoden und Instrumente bildet. Bei dieser Beschreibung ist es besonders
wichtig abzuwgen, ob bzw. welche Alternativen mit angeboten werden sollen.
Einerseits hinterlsst ein Bewerber sicherlich keinen sehr professionellen Eindruck, wenn eine einmal begrndete Methodenwahl im Nachgang als eine
unter vielen Mglichkeiten dargestellt wird (i.S.v. man kann es so machen,
aber eigentlich auch ganz anders). Andererseits kann es unklug erscheinen,
sich bereits im Vorfeld weiterer Optionen zu berauben, zumal dem Auftraggeber dadurch die methodische aber auch organisatorische Flexibilitt des
fiu8Yh5qfVPOeAYrIdDpC5a58aVFjh0dlXCeRxqrsQBmubm17VbvJbUPo2cfEsT27BtH1lXXcrQrL6JKHNPiRZaxgdY7mq2tsmRtMcnsgxzR9h8uHuumIg==
122
potentiellen Auftragnehmers signalisiert wird. Insbesondere dann, wenn aus

der Ausschreibung nicht eindeutig hervorgeht, welche Datengrundlage zur
Durchfhrung der Evaluation zur Verfgung steht, ist es von grter Bedeutung offen zu halten, welche Instrumente genau bei der Untersuchung eingesetzt werden sollen. Wenn beispielsweise sicher ist, dass eine standardisierte
schriftliche Befragung stattfinden soll, bietet es sich an, den Auftraggeber ber
die Vor- und Nachteile einer Online-Erhebung im Vergleich zu einer postalischen Befragung aufzuklren. Entsprechend muss dies auch mit Hilfe einer
Vergleichskalkulation im Rahmen der Darstellung des Kostenplans unterlegt
werden. Darber hinaus sollte auf mglicherweise erforderliche ergnzende
Manahmen hingewiesen werden (z.B. zweiter Durchlauf bei standardisierten
Erhebungen bei zu geringer Rcklaufquote), was ebenfalls im Zeitplan und
ggf. in der Kostenkalkulation bercksichtigt werden muss.
Die Grundlage zur Gestaltung dieser Angebotskomponente bildet wiederum der bereits in Kapitel 4.1.2 ausfhrlich erluterte Datenerhebungsplan, aus
dem hervorgehen sollte, welche Methoden und Instrumente bei der Datenerhebung verwendet werden sowie der Datenauswertungsplan, in dem die
Analyseverfahren definiert werden (vgl. Kapitel 8). Die konkrete Umsetzung
der Evaluation, deren Beschreibung im Grunde ebenfalls im Rahmen dieses
Auswertungsplans erfolgt, sollte jedoch in einem eigens dafr vorgesehenen
Kapitel dargestellt werden, um diesem Aspekt bei der Angebotsgestaltung ein
besonderes Gewicht zu verleihen. Es bietet sich an, diesen Abschnitt direkt
hinter dem Methodenteil zu platzieren.
Die Beschreibung der (vorgesehenen) Einzelleistungen im Rahmen der
Evaluation stellen fr den Auftraggeber einen sehr wichtigen (hin und wieder
auch den einzigen) Orientierungspunkt dar, anhand dessen er die Qualitt der
Angebote voneinander unterscheiden kann. Die Hauptaufgabe bei der Erstellung dieses Teils des Angebots besteht darin, die Evaluationskonzeption, die
erluterten Methoden und Instrumente sowie die anschlieend darzustellende
Zeit- und Kostenplanung nachvollziehbar miteinander in Beziehung zu setzen.
Ausgehend von den berlegungen zum Datenerhebungs- und -auswertungplan
mssen dabei die einzelnen Untersuchungsschritte gemeinsam mit den zu
erfllenden organisatorischen Arbeiten in eine zweckmige chronologische
Reihenfolge gebracht werden. Bei einer greren Anzahl von Arbeitsschritten
macht es Sinn, die einzelnen Leistungen den jeweiligen Phasen des Evaluationsvorhabens zuzuordnen. Folgende Abbildung zeigt eine Darstellung in
tabellarischer Form, in der beispielhaft einige mgliche Aufgaben (Workshops,
Berichte etc.) und Analyseverfahren (z.B. standardisierte Erhebung) aufgefhrt
sind:
LXStjXkZlzaXLtsarUKdGwaiCFU+FzlK776zqH5siI0/iBAmFJ7s2jCZKnZE12S4+6GFYhzvS2vhjeko/zDJE9L51dRtc+sdQA0CxMpR6GQkfzJbcuPFyg==
123
Abbildung 4.4: Exemplarische bersicht zu den Einzelleistungen im Rahmen eines

Evaluationsvorhabens:
Vorbereitungsphase
1.
2.
3.
Durchfhrung eines Abstimmungsworkshops (Kick-Off)

Entwicklung eines Analyserasters und der
Erhebungsinstrumente
Erstellung des Inception Reports
Datenerhebungsphase
4.
5.
6.
7.
8.
9.
Durchfhrung einer Dokumentenrecherche

Umsetzung einer standardisierten Erhebung
Erstellung des Zwischenberichts
Durchfhrung eines Zwischenworkshops
ggf. berarbeitung des Analyserasters
Durchfhrung leitfadengesttzter
Intensivinterviews
Abschlussphase
10. Erstellung des Endberichtsentwurfs

11. Durchfhrung des Abschlussworkshops
12. berarbeitung des Endberichtsentwurfs
Die in der Tabelle genannten Leistungen sollten anschlieend, ggf. unter Angabe einzuhaltender Deadlines, kurz im Hinblick auf die damit einhergehenden
Aufgaben fr Auftragnehmer und Auftraggeber erlutert werden. So sollten
beispielsweise bei der Beschreibung der Durchfhrung einer standardisierten
schriftlichen Erhebung nicht nur die Aufgaben des Auftragnehmers, wie die
Entwicklung eines Fragebogens oder die technische Umsetzung, beschrieben
werden, sondern ebenso die Pflichten, die dem Auftraggeber dabei zufallen.
Hierzu gehrt u.a. die fristgerechte und vollstndige Verfgbarmachung der
bentigten Kontaktdaten oder die Informierung der zu befragenden Personen
ber die Ziele des Vorhabens vor Beginn der Erhebung (vgl. Kapitel 4.3.3).
Wurden die Einzelleistungen benannt und erlutert, sollten abschlieend
die dabei entstehenden Kosten in einem Zeit- und Kostenplan dargestellt werden. Je nach den Anforderungen des Auftraggebers, mssen dabei einige
Aspekte bercksichtigt werden, die sich insbesondere auf den Detaillierungsgrad der Darstellungen beziehen. Da diesem Punkt eine besonders bedeutende
Funktion im Rahmen der Angebotserstellung zukommt, wird er in Kapitel
4.2.3 Ausarbeitung eines Zeit-, Personal- und Finanzplans ausfhrlicher
erlutert.
Neben den auf den vorherigen Seiten genannten Pflichtkomponenten (Einleitung, Vorstellung der Evaluationskonzeption, Darstellung der Methoden und
Instrumente sowie der Einzelleistungen und Kostenplan) gibt es zumindest
zwei weitere Bausteine, die u.U. zum Erfolg eines Angebots, also zur Auftragserteilung, dienlich sein knnen. Zum einen ist dies die Darstellung von
Referenzen und zum anderen das Hinzufgen eines Anhangs.
MNTpxBkG8CG+Eb5GcLqB8Ddq1/scgt5pNzWJytZw+NMrFDfSc1BQJUIEyxLVFnLDzsgS9hDAP420XwmolrkSuMAZD5AWhvNVzsY7igY1gW0jAmXW5SPbYw==
124
Das Auffhren von Referenzen dient bei einem Angebot in erster Linie der
Darstellung der fachlichen Expertise des Anbieters sowie dessen Erfahrungen
im jeweiligen Arbeitsgebiet, Politikfeld bzw. Evaluationskontext. Auch lnderspezifische Erfahrungen, beispielsweise bei transnationalen Evaluationsauftrgen oder die Einbindung in Netzwerke im Rahmen von Kooperationsauftrgen sollten hier aufgefhrt werden. Hierzu dient in erster Linie die Darstellung von bereits durchgefhrten Evaluationsauftrgen im betreffenden
Untersuchungsfeld, aber auch andere Leistungen, wie beispielsweise einschlgige Verffentlichungen der Mitarbeiter oder Hinweise auf die Mitwirkung in verschiedenen Gremien und Vereinigungen, die im Evaluationskontext von Bedeutung sind (z.B. DeGEval).
Fr die Ausarbeitung der Referenzen bietet sich der Aufbau eines Evaluationsbaukastens an, in dem die jeweils relevanten Projekte und sonstigen
Leistungen der Organisation gesammelt werden, um nicht bei jedem Angebot
von Neuem anfangen zu mssen.
Je nach Umfang eines Angebots bietet es sich an, einen Anhang anzufgen.
Darin sollte alle zugrunde liegende Literatur (und nur diese) aufgefhrt werden
sowie ggf. Quellenangaben von Abbildungen. Darber hinaus sind auch eventuell gewnschte Vertraulichkeitserklrungen oder sonstige Versicherungen
(z.B. hinsichtlich der finanziellen Situation) und Vereinbarungen anzuhngen.40
Vor dem Hintergrund der obigen Ausfhrungen setzt sich ein Angebot idealerweise aus folgenden Gliederungspunkten zusammen:
1. Einleitung
2. Evaluationskonzeption (wurde in Kapitel 4.1.1 dargestellt)
3. Methoden und Instrumente (wurde in Kapitel 4.1.2 dargestellt)
4. Einzelleistungen im Rahmen der Evaluation (wird in Kapitel 4.3 dargestellt)
5. Zeit- und Kostenplanung (wird in Kapitel 4.2.3 dargestellt)
Darber hinaus kann es sinnvoll sein einem Angebot folgende Abschnitte hinzuzufgen:
6. Referenzen
7. Anhang
40 Angebote, sofern sie nicht elektronisch eingereicht werden, sind ferner grundstzlich zu
unterschreiben. Meist erfolgt die Unterschrift unter der Kostenkalkulation oder am Ende des
Anhangs.
iAfFrJDSF8L/9eC39gUEb/CSQrtFymaM/ybeSow9qXSIAiDA9HAi2xHuF2j11IX0UK+n3bcoX/1pxdMfbRrGzkXqGfZW142W1nbXYkGeL8Aa1B4gGRC52w==
125
4.2.3 Ausarbeitung eines Zeit- und Kostenplans

Wie eingangs erwhnt, ist der Zeit- und Kostenplan ein zentraler Bestandteil
eines jeden Angebots. Unter dem Blickwinkel der Kosten-Nutzen-Relation
entscheiden sich Auftraggeber oftmals fr das gnstigste Angebot, ohne immer
dabei zu ersehen, welche Leistungen genau damit eingekauft wurden. Die
Verfasser von Angeboten sollten daher grten Wert darauf legen, dass die
veranschlagten Kosten plausibel den dargestellten Einzelleistungen zuordenbar
sind (im obigen Abschnitt im Angebot unter 4. erlutert).
Zur Darstellung des zeitlichen Verlaufs einer Evaluation bietet sich
blicherweise eine tabellarische Visualisierungsform an, in der die jeweiligen
Arbeitspakete auf Monatsbasis abgetragen werden. Grundstzlich ist aber auch
jeder andere zeitliche Detaillierungsgrad, beispielsweise in Quartale oder
Wochen, zulssig. Die Zeitangabe kann in allen Fllen entweder absolut
(Januar 2006), wenn der Evaluationsbeginn vordefiniert ist, oder relativ (1.
Monat, 2.), bei unklarem Startdatum, erfolgen.
Was den inhaltlichen Detaillierungsgrad anbetrifft, knnen grundstzlich
zwei Darstellungsarten unterschieden werden. Je nach Umfang des Vorhabens
ist es sinnvoll entweder einen vereinfachten Zeitplan zu erstellen, in dem die
Einzelleistungen in Form von Zeitblcken eingetragen werden (vgl. Abbildung
4.5), oder einen detaillierten Zeit- und Arbeitsplan, in dem die Einzelleistungen weiter untergliedert und die jeweils eingesetzten personellen Ressourcen aufgefhrt sind (vgl. Abbildung 4.6). Ggf. sind hier ebenfalls Meilensteine und Deadlines, beispielsweise fr die Workshoptermine und die
Berichtsabgabe einzutragen.
Folgende Abbildung zeigt einen vereinfachten Zeit- und Aufgabenplan fr
die Umsetzung eines Evaluationsvorhabens.
Abbildung 4.5: Beispiel eines vereinfachten Zeit- und Aufgabenplans
Monat
Aufgaben
1. Abstimmungsworkshops
2. Abstimmung des
Analyseleitfadens
3. Entwicklung der
4. Datenerhebung
5. Datenanalyse
6. Berichtserstellung
01/...
02/...
03/...
04/...
05/...
06/...
Diese vereinfachte Darstellungsform bietet sich vor allem bei kleineren, berschaubareren Vorhaben an oder wenn zum Zeitpunkt der Angebotslegung noch
nicht feststeht, wann welche Informationen zur Verfgung stehen, d.h., wenn
nbFKaVfWGGdXCUjvGy/kVmcirvobTE72eKS7+rXx3/tyKHNRo5sepNaiWpR6SpyT1YhbeYJvkoEooV/jlPM5UVlH1lLr++6FLm/iJB1PvJ4Oc77ErUfSMA==
126
beispielsweise noch nicht klar ist, wann die Interviewteilnehmer fr ein Gesprch bereitstehen oder wenn die bergabe der relevanten Untersuchungsmaterialien (Dokumente, etc.) seitens des Auftraggebers noch nicht terminiert
wurde. Auch bei zweistufigen Auswahlverfahren (vgl. 4.3.1) ist es oft sinnvoll
bei der ersten Interessensbekundung einen eher heuristischen Zeitplan einzureichen, in dem ggf. durch unterschiedliche Schraffierungen der variable Umfang einzelner Leistungen veranschaulicht wird.
Folgende Abbildung zeigt einen detaillierten Zeit- und Aufgabenplan fr
die Umsetzung eines Evaluationsvorhabens.
Abbildung 4.6: Beispiel eines detaillierten Zeit- und Aufgabenplans
Monat
Aufgaben
1. Abstimmungsworkshops
2. Abstimmung des
Analyseleitfadens
3. Entwicklung der
4. Datenerhebung
4.1 Dokumentenrecherche
01/...
03/...
2 AT
8 h*
04/...
05/...
2 AT
8 h*
06/...
2 AT
8 h*
8 AT
8 AT
2 AT
2 AT
8 h*
8 AT
16 h*
4.2 Standardisierte schriftliche

Befragung
4.3 Leitfadengesttzte
Intensivinterviews
5. Datenanalyse
5.1 Statistische Analyse
5.2 Qualitative Inhaltsanalyse
6. Berichtserstellung
6.1 Zwischenbericht
(Abgabetermin: 31.03.06)
6.2 Endberichtsentwurf
(31.05.06)
6.3 berarbeitung des
Endberichts (30.06.06)
Summe
02/...
4 AT
6 AT
4 AT**
4 AT
4 AT
4 AT
2 AT
8 AT
8 h*
2 AT
2 AT
4 AT
8 AT
16 h*
16 AT
16 h*
20 AT
20 AT
20 AT
20 AT
20 AT
8 AT
12 h*
10 AT
AT: Arbeitstage; *: Hilfskraftstunden; **: 2. Durchgang falls erforderlich
qjII6n9C8lbyckMzVpAvVwpDD5kLAEBco10P4ujlafRNoG5f0XUAtVSxUqiVjN6rdK3kRs/4jpYFJlbpLqEIF+ql+SmEXNoEhoovVEE7AwAZwisDL6p5KA==
127
Dieser detaillierte Zeit- und Arbeitsplan ist vor allem dann angebracht, wenn
bereits die ToR oder weitere Informationen ber den Evaluationsgegenstand
vorliegen, wie beispielsweise die Anzahl der zu befragenden Personen, der
Umfang der statistischen Analyse und der Gleichen. Zur vereinfachten bersicht sollten hierbei Spaltensummen gebildet werden, aus denen der Auftraggeber auf den ersten Blick den monatlichen Gesamtpersonaleinsatz ersehen
kann. Ggf. ist der Darstellung eine Legende anzufgen, in der nicht eingefhrte
bzw. dem Auftraggeber in der Regel unbekannte Abkrzungen erlutert
werden.
Auf der Grundlage des Zeit- und Arbeitsplans, der weiteren im Rahmen der
Evaluation entstehenden Kosten sowie der Kalkulation der allgemeinen
Betriebskosten ist im Folgenden der Kostenplan zu entwickeln, dessen Zusammensetzung im folgenden beschrieben wird:
Je nachdem, ob die Evaluation von einem (selbstndigen) Gutacher, einem privatwirtschaftlichen Unternehmen (z.B. Consulting), einer Forschungseinrichtung
oder einer anderen Non-Profit Organisation durchgefhrt wird oder eben von
einer bestimmten Einheit bzw. Abteilung der zu evaluierenden Organisation
selbst, gilt es eine Reihe von Kostenarten zu bercksichtigen, zu denen meist
1. die Personalkosten,
2. die so genannten laufenden Kosten fr Miete, Materialverbrauch etc.,
3. die Reisekosten und
4. der Overhead zhlen.
Hinzu kommen gegebenenfalls noch
5. Lizenzgebhren sowie
6. Kosten fr Fremdleistungen.
Zu (1.): Die Personalkosten stellen bei Evaluationsvorhaben blicherweise den

grten Kostenfaktor dar. Es ist daher ratsam, die Zusammensetzung der Personalkosten sowie deren Berechnungsgrundlage mglichst transparent und
detailliert wiederzugeben. So sollte zwischen den Mitarbeitern unterschieden
werden, die die Evaluation (operativ) durchfhren und denen die sie in leitender oder koordinierender (bzw. administrativer) Funktion begleiten. Werden
(wissenschaftliche) Hilfs- oder Nachwuchskrfte eingesetzt, die aufgrund ihrer
geringeren Berufserfahrung oder fachlichen Qualifikation nur untersttzend
ttig sind, so sollte dies ebenfalls gesondert ausgewiesen werden. Bei allen involvierten Mitarbeitern sind ferner die Vergtungsstze (Stunden-, Tages-,
Wochen-, Monats- oder Jahresstze bzw. -pauschalen) und die Anzahl der fr
die Durchfhrung der Evaluation notwendigen (Vergtungs-)Einheiten dazulegen. Unter Umstnden ist es auch sinnvoll Personalkosten fr die Erbringung technischer Leistungen (z.B. fr die Erstellung einer Projektwebsite
durch EDV-Fachkrfte) gesondert auszuweisen, da sie in der Regel anders
vergtet werden als die Evaluatoren selbst.
qCDmUsXhNhjtWP/iJWMU+dLygTXJNIrgjV4hrX+3OL29tMBAbUG7NubiY4ifanOPrBCDORZpkYyHY1GCJOEft4vZmyz9E3BXXpFF86qknV7bvX5fd3pRdg==
128
Kosten fr Mitarbeiter, die im Wesentlichen fr die zentralen Dienstleistungen verantwortlich sind, werden hingegen meist zum Overhead hinzugezhlt, da sie gewhnlich mit projektbergreifenden bzw. -unabhngigen
Aufgaben betraut sind, die nur anteilig dem Auftraggeber in Rechung gestellt
werden. Zu ihnen zhlen u.a. Verwaltungsmitarbeiter, Mitarbeiter des Finanz-,
Personal- und Rechnungswesens etc. sowie Sekretariatskrfte, die nicht ausschlielich mit projektbezogenen Aufgaben betraut sind.
Sollte die Evaluation auf einen Zeitraum von mehreren Jahren hin angelegt
sein, sind zudem entsprechende Vergtungsanpassungen kenntlich zu machen,
die sich entweder aus individuellen vertraglichen Vereinbarungen mit den
jeweiligen Mitarbeitern ergeben oder tariflich geregelt sind. Ebenso sind dann
entsprechende Urlaubsansprche zu vermerken.
Sofern in der Ausschreibung die Nennung bestimmter Ansprechpartner
bzw. Sachbearbeiter gefordert wird, ist es zweckmig diese auch namentlich
in der Personalkostenaufstellung zu erwhnen.
Zu (2.): Die Aufwendungen fr die so genannten laufenden Kosten setzen sich
mitunter aus einer sehr groen Anzahl von unterschiedlichen Einzelposten zusammen, deren ausfhrliche Diskussion den Rahmen dieses Handbuchs
sicherlich sprengen wrde, weshalb sie hier nur berblicksartig dargestellt
werden. All diesen Kostenarten ist gemein, dass sie weitgehend unabhngig
von den Aktivitten der Evaluatoren entstehen, also von der Durchfhrung der
Evaluation selbst kaum oder gar nicht beeinflusst werden. Je nach Organisationsart zhlen hierzu u.a. Miet- sowie Mietnebenkosten, Materialkosten fr
Bromaterialien, Fachliteratur etc., Lizenzgebhren fr Standardsoftware,
Abschreibungskosten von Broeinrichtungen und IT-Equipment, Nutzungsgebhren fr Telekommunikationseinrichtungen und der Vielen mehr.
Ist jedoch abzusehen, dass im Rahmen der Durchfhrung eines konkreten
Vorhabens eine oder mehrere dieser Ausgaben ber das bliche Ma hinaus
ansteigt, so sollte dies bei der Kostenkalkulation entsprechend bercksichtigt
werden. Die zustzlich entstehenden finanziellen Belastungen sind dann entweder anderen Kostenarten zuzuordnen (z.B. zu Fremdleistungen, wenn aufgrund einer greren Anzahl bentigter gedruckter Exemplare eines Berichts
eine Druckerei beauftragt wird) oder als eigenen Kostenpunkt dezidiert auszuweisen. So kann es bei transnationalen Vorhaben unter Umstnden sinnvoll
sein, die Kosten fr Telefon, Fax, Briefverkehr etc. gesondert als Kommunikationskosten darzustellen.
Zu (3.): Reisekosten entstehen vorwiegend im Rahmen der Feldphasen und bei
Arbeitstreffen mit dem Auftraggeber. Insbesondere bei Evaluationen im Ausland und beim Einsatz qualitativer Erhebungsinstrumente (Interviews etc.)
knnen diesbezgliche Aufwendungen, nach den Ausgaben fr das eingesetzte
Personal, den grten Kostenpunkt darstellen.
gw4QVr+eK8i6aleAnVekDNBQFeW7j/zcTcEbFmwC2+dUmg8HebhDAhGSdZmbLYRWZxAG1P/fDFRreN8pVbiCBMTBl+bU0HtjORUAA7lcfzcYIeYEOtJYWg==
129
Viele (vor allem ffentliche) Auftraggeber sind in den vergangenen Jahren

dazu bergegangen Reisekosten nur noch nach den allgemeinen Richtlinien
des Bundesreisekostengesetzes anzuerkennen bzw. danach abzurechnen. Dies
bedeutet beispielsweise bei der Berechnung der Fahrt- und Flugkosten, dass
nur die entstehenden Kosten fr die niedrigste Befrderungsklasse berechnet
werden drfen und Tages- sowie bernachtungsgelder pauschal abgerechnet
werden mssen.41 Gleichwohl kann es unter Umstnden angebracht sein, mit
dem Auftraggeber ber die Befrderungsart und -klasse zu verhandeln, zum
Beispiel wenn die Reisezeit zur Vorbereitung genutzt werden soll.
Zu (4.): Zum Overhead werden in der Regel alle Personalkosten und Aufwendungen fr organisationsinterne Dienstleistungen gezhlt, die nicht direkt
der Erfllung operativer Aufgaben (fr den Auftraggeber) dienen. Im Unterschied zu den o.g. laufenden Kosten sind diese jedoch in hohem Mae von den
(wirtschaftlichen) Aktivitten der jeweiligen Organisation abhngig. Hierzu
gehren u.a. die Ausgaben in den Bereichen Personal-, Rechts-, Finanz- und
Rechnungswesen oder fr das interne Qualitts- und Wissensmanagement.
Handelt es sich bei der evaluationsdurchfhrenden Organisation um ein profitorientiertes (privatwirtschaftliches) Unternehmen oder um ein Profit-Center
innerhalb eines solchen, so mssen gegebenenfalls Gewinne (bei Non-Profit
Organisationen Rcklagen) mit einkalkuliert werden. Hierbei ist im Vorfeld
zu klren, inwieweit der Auftraggeber bzw. der Evaluationsauftrag eine solche
Kalkulation zulsst. Der Overhead wird oftmals als prozentualer Anteil der
Gesamtkosten berechnet.
Zur vereinfachten Darstellung werden auch hin und wieder die laufenden
Kosten und der Overhead zu einem Kostenpunkt zusammengefasst. Hierbei
sollte offen gelegt werden, welche Leistungsarten sich dahinter verbergen bzw.
welche Richtlinien zu dessen Berechnung angelegt wurden.
Zu (5.) und (6.): Neben den o.g. blichen Kostenarten, gibt es eine Reihe
weiterer Ausgaben, die bei der Durchfhrung einer Evaluation entstehen
knnen. Zu den beiden hufigsten zhlen Lizenzkosten, beispielsweise fr die
Nutzung einer speziellen Datenbank oder einer Software zur Erstellung eines
Online-Fragebogens, und Aufwendungen fr so genannte Fremdleistungen.
Bei der Kalkulation der Lizenzkosten ist darauf zu achten, dass dem
Auftraggeber nur die zustzlichen, speziell fr den Evaluationsauftrag, entstehenden Ausgaben berechnet werden. Lizenzen fr Standardsoftware, z.B.
zur Textverarbeitung oder Tabellenkalkulation, sofern sie nicht ausschlielich
zur Durchfhrung der Evaluation angeschafft wurden, sind in der Regel durch
die laufenden Kosten abgegolten. Mittlerweile weisen auch viele Auftraggeber
in ihren AGBs explizit darauf hin, dass zur Auftragserteilung beim Auftrag41 vgl. BRKG 4 Fahrt- und Flugkostenerstattung, 5 Wegstreckenentschdigung, 6
Tagegeld mit Verweis auf 4 des Einkommenssteuergesetzes und 7 Wegstreckenentschdigung.
C6Lx3vL6Ej7npQzwvZr3msPXRkxZ1EK+4TLqPQzRbu0NA9pB1R2YbpgTzflpB8V72WibwQNwSwvY5aE3pSioMFM3VQhpqzR64Lljz5XjFNzMhmmnK+9f6A==
130
nehmer eine entsprechend adquate Infrastruktur zur Erbringung aller evaluationsrelevanten Leistungen vorhanden sein muss bzw. dafr keine Vergtung
geleistet wird.
Bei den Fremdleistungen ist zwischen Ausgaben fr Privatpersonen, beispielsweise externe Gutachter oder freie Mitarbeiter, und den entstehenden
Kosten durch die Vergabe von Unterauftrgen an andere Unternehmen zu
unterscheiden. Sofern der (Haupt-)Auftragnehmer Umsatzsteuer auf sein
Angebot erheben muss, sind hier die Nettosummen einzutragen.
Ebenso wie beim Zeitplan gibt es auch beim Kostenplan grundstzlich eine
einfache und eine detaillierte Visualisierungsform. Im Gegensatz zum Zeitplan
ist jedoch in der Regel immer eine detailliertere Darstellung notwendig, der
ggf. eine vereinfachte vorangestellt wird. Abbildung 4.7 a und b zeigt exemplarisch eine an den obigen Zeitplan angelehnte Kostenkalkulation.
Wie detailliert die jeweiligen Kostenpunkte aufgeschlsselt werden bleibt im
Endeffekt dem Auftragnehmer berlassen. Prinzipiell gilt, je grer ein
Kostenfaktor ist, desto wichtiger ist es dessen Zusammensetzung zu erlutern.
Manchmal fordern Auftraggeber auch eine genaue Abrechnung eines Teils
(z.B. fr Reisekosten oder der Ausgaben fr Fremdleistungen) oder aller tatschlich entstandenen Kosten. In diesem Fall kommt der im Angebot enthaltenen Kostenaufstellung eher der Status eines Kostenvoranschlags zu. Unabhngig davon, ob eine pauschale Gesamtvergtung oder Einzelabrechnungen
vereinbart werden, ist es wichtig, die Kosten mglichst przise abzuschtzen.
Einerseits besteht im Falle der Pauschalabrechnung fr den Auftragnehmer die
Gefahr Mehrkosten selbst tragen zu mssen. Wurde der Einzelabrechnungsmodus gewhlt, kann er andererseits dazu verpflichtet werden, einen Teil der
bereits erhaltenen Zahlungen zurck zu erstatten, sofern diese die tatschlichen
Kosten bersteigen.
Abbildung 4.7: Beispiel einer vereinfachten und einer detaillierten Kostenkalkulation
a) Vereinfachte Darstellung:
o/yV8WxNpvJBLWwTQmHm3Buj5TQ3O1Ra8LLLcdW7x76o1ACmAf1KsBQTxdUSq03DRenkGRWQixcBTMpa6nJWvkPrZ0PLMolCourDZ02MFZXR7PWJgtAM2Q==
Kostenart
1. Personalkosten
2. Laufende Kosten
3. Reisekosten
4. Lizenzgebhren
5. Kosten fr Fremdleistungen
6. Overhead (10% von 1. bis 5.)
Zwischensumme
(ggf. 19% Umsatzsteuer)
Gesamtsumme
EUR
38.000,00
7.800,00
1.800,00
2.200,00
5.000,00
5.480,00
60.280,00
11.453,20
71.733,20
131
b) Detaillierte Darstellung:
1. Personalkosten
Stelle und Qualifikation der

Zeitraum
BerechnungsGesamtkosten
vorgesehenen Mitarbeiter
(01.06 bis 06.06) grundlage
EUR
1. MitarbeiterIn (Herr/Frau )
110 AT 300,00 EUR / AT
33.000,00
2. wissenschaftliche Hilfskraft
100 h
20,00 EUR / h
2.000,00
3. Leitung/Backstopping ()
kontinuierlich
500,00 EUR / M
3.000,00
38.000,00
Gesamtsumme der Personalkosten
2. Laufende Kosten
Kostenart
1. Raumkosten (anteilig)
2. (Verbrauchs-)Materialkosten (pauschal)
3. IT-Pauschale (Hard- und Software, Telephonie
etc.)
Gesamtsumme der laufenden Kosten
3. Reisekosten
Reise
1. 3 Workshops in ...
Fahrtkosten:
2. X Interviews in ...
Flugkosten:
4 bernachtungen:
Tagesgeldsatz:
Gesamtsumme der Reisekosten
grundlage
EUR
1.000 EUR / M
6.000,00
200.00 EUR / M
1.200,00
100,00 EUR / M
600,00
7.800,00
Datum/
Zeitraum
grundlage
EUR
05.01., 30.03.
3 Bahntickets
und 29.06.2006
2. Klasse
600,00
03.04.
07.04.2006
Flugticket economy
75,00 EUR /
20,00 EUR / AT
800,00
300,00
100,00
1.800,00
4. Lizenzkosten
Lizenzart
Nutzungsdauer/
Zeitraum
grundlage
EUR
1. Datenbanknutzung
100 h
2,00 EUR / h
200,00
02. 04.2006
500 FB pauschal
2.000,00
2. Online-Erhebungssoftware
Gesamtsumme der Lizenzkosten
2.200,00
5. Kosten fr Fremdleistungen
Leistungsart
Telefonbefragung
Gesamtsumme der Kosten fr Fremdleistungen
6. Overhead
Berechnungsgrundlage: 10% der Gesamtkosten von 1. bis 5.
Zwischensumme:
(ggf. 19% Umsatzsteuer)
Angebotspreis:
YYVui3UMP0a+sWWjiQeSStC/s9ZMeEJ2ZgGu57J0h/OtLdh/eSWwF7vjJPy//1pzF1WaHXccwvf74VJNIIPLxMG2Qt9JgkieZTB3L7e3hO/mQzXhMZL8mQ==
132
Gesamtkosten
EUR
5.000,00
5.480,00
60.280,00
11.453,20
71.733,20
Experimentelle und Quasi-Experimentelle Designs
Abschlieend soll noch auf zwei formale Aspekte bei Kostenkalkulationen

hingewiesen werden: Zum einen sollten (Zwischen-)Zahlungstermine vertraglich geregelt werden, um eine kontinuierliche Leistungserbringung gewhrleisten zu knnen. Wenngleich bei greren Organisationen finanzielle Auslagen keine so groe Rolle spielen, kann ein selbstndiger Gutachter durch den
verzgerten Eingang einer Abschlagszahlung schnell an die Grenzen der
eigenen finanziellen Belastbarkeit gelangen. Zum anderen ist es ebenso
wichtig interne Vereinbarungen zum Budgetrahmen und entsprechende -verantwortlichkeiten zu treffen, damit u.U. vorliegende Fehlkalkulationen (z.B.
fr Fremdleistungen) unmittelbar festgestellt und ggf. korrigiert werden
knnen. Zwar sind Auftraggeber in der Regel nicht dazu bereit nachtrglich
Zuzahlungen vorzunehmen, jedoch knnen so zeitnah Alternativen (z.B. ein
anderer Anbieter) eruiert werden.
9
Ziel eines Angebots ist es, den Auftraggeber davon zu berzeugen, dass
der Bewerber der bestgeeignetste Kandidat zur Durchfhrung des
avisierten Evaluationsvorhabens ist.
9
Ein Angebot besteht in der Regel aus folgenden Gliederungspunkten:
o Einleitung
o Evaluationskonzeption
o Methoden und Instrumente
o Einzelleistungen im Rahmen der Evaluation
o Zeit- und Kostenplanung
o ggf. Referenzen
o ggf. Anhang
9
Bei der Darstellung der durch ein Evaluationsvorhaben entstehenden
Kosten wird in der Regel zwischen folgenden Kostenarten unterschieden:
o Personalkosten
o laufenden Kosten
o Reisekosten
o Kosten fr Overhead
o ggf. Lizenzgebhren und Kosten fr Fremdleistungen
m1jJTekVxTeu/LU2seb1ohVvXE0sqxrZZkNA3ouBeaD3R6N+1Z83kuWjgRoV5pQOtl96pUVmcfinO86jlJu/jkTvaa76UleOS/psf7FQiBNj5B0f8qokIw==
133
4.3
Praktische Umsetzung und Projektmanagement
Nachdem in 4.1 und 4.2 die Planungs- und Vorbereitungsschritte sowie die bei
der Angebotserstellung zu bercksichtigenden Aspekte besprochen wurden,
widmet sich der letzte Abschnitt des vierten Kapitels den zentralen Themen die
whrend der praktischen Umsetzung einer Evaluation zu bercksichtigen sind.
Hierzu gehren neben der Klrung der Verantwortlichkeiten hinsichtlich organisatorischer bzw. koordinatorischer Aufgaben von Auftraggeber und -nehmer
u.a. berlegungen zu rechtlichen Fragestellungen sowie der Umgang mit
unerwarteten Ereignissen whrend des Evaluationsprozesses. Die Darstellung
der einzelnen Themenfelder richtet sich dabei weitgehend nach dem chronologischen Ablauf von Evaluationen.
4.3.1 Die Auftragsklrung

Sobald die Durchfhrung eines Evaluationsvorhabens beschlossen wurde, gilt
es eine Reihe von Vorkehrungen zu treffen, die zu einem mglichst reibungslosen Ablauf beitragen. Hierzu gehrt in erster Linie, dass alle beteiligten
Akteure (Stakeholder) darber informiert werden, dass und wieso eine Evaluation durchgefhrt wird. Gleichzeitig ist es wichtig, all diesen Beteiligten frhzeitig ihre Mglichkeiten zur Partizipation an diesem Vorhaben aufzuzeigen
und die Rollen der verschiedenen Akteurs- bzw. Interessensgruppen festzulegen. Eine ausfhrlichere Darstellung dieser und weiterer Aspekte des Aufbaus und der Aufrechterhaltung effektiver Interaktions- und Kommunikationsstrukturen ist in Kapitel 6 zu finden.
In diesem Zusammenhang muss auch die Vorgehensweise im Rahmen der
Datenerhebung, -auswertung und -rckkoppelung geklrt werden, um bei den
Stakeholdern eine grtmgliche Akzeptanz gegenber der Evaluation hervorzurufen. Als Ausgangspunkt fr diesbezgliche berlegungen bieten sich u.a.
die von der Gesellschaft fr Evaluation (DeGEval) festgelegten Durchfhrbarkeitsstandards an, die sicherstellen sollen, dass eine Evaluation realistisch,
gut durchdacht, diplomatisch und kostenbewusst geplant und ausgefhrt wird
(DeGEval 2002: 26):
zwGEP10j8bm7dGByFOpZqsW+N1jhzLEQ1clYvmbRLcGZdeaLicl6ojJXaGyCAxoP/ei3Fn8atsPCQkMGVIVejehOsCSfFrp6T+WmSF/M5aZDGjZID+ab8g==
134
Abbildung 4.8: Durchfhrbarkeitsstandards der DeGEval (2002)

D1 Angemessene Verfahren
Evaluationsverfahren, einschlielich der Verfahren zur Beschaffung notwendiger
Informationen, sollen so gewhlt werden, dass Belastungen des Evaluationsgegenstandes bzw. der Beteiligten und Betroffenen in einem angemessenen Verhltnis zum erwarteten Nutzen der Evaluation stehen.
D2 Diplomatisches Vorgehen
Evaluationen sollen so geplant und durchgefhrt werden, dass eine mglichst
hohe Akzeptanz der verschiedenen Beteiligten und Betroffenen in Bezug auf
Vorgehen und Ergebnisse der Evaluation erreicht werden kann.
D3 Effizienz der Evaluation
Der Aufwand fr Evaluation soll in einem angemessenen Verhltnis zum Nutzen
der Evaluation stehen.
D1 verweist dabei auf das bereits in Kapitel 4.1.1 diskutierte Problem der Umsetzbarkeit wissenschaftlich idealer, also wnschenswerter Erhebungsverfahren im Hinblick auf die dadurch entstehenden Kosten sowie ethische Implikationen, beispielsweise bei der Durchfhrung von Interviews oder schriftlichen Befragungen.
Bei D2 wird auf den Stellenwert der ausgewogenen Bercksichtigung der
Interessen aller Beteiligten bzw. Betroffenen hingewiesen. Dies ist wichtig, da
einerseits die Nutzung der Evaluationsergebnisse in hohem Mae von der
Akzeptanz der verschiedenen Stakeholder(-gruppen) abhngt und andererseits
der Zugang zu den relevanten Informationen die kooperative Haltung dieser
Personen voraussetzt.
D3 deutet wiederum auf die Beachtung des Kosten-Nutzen-Verhltnisses
bei der Umsetzung von Evaluationen hin. Bei der Kalkulation der Kosten
kommt es darauf an, dass hierbei neben dem materiellen (finanziellen) Ressourcenverbrauch auch die immateriellen Investitionen bercksichtigt werden
(z.B. Zeit- und Personaleinsatz), die jedoch meist wieder in finanzielle Kosten
umgerechnet werden knnen. Ungleich schwieriger ist die Quantifizierung des
Nutzens, da es in der Regel nicht mglich ist, im Vorhinein konkrete Angaben
ber die zu erwartenden Ergebnisse zu machen. Aus einer Evaluation knnen
auch nicht-intendierte, d.h. unkalkulierbare Effekte hervorgehen.
Neben den Durchfhrbarkeitsstandards bieten ebenso die brigen
DeGEval-Standards bezglich Fairness, Ntzlichkeit (vgl. Kapitel 6) und
Genauigkeit (vgl. Kapitel 2 und 5) handlungsleitende Orientierungen bezglich
der Vorbereitung und praktischen Umsetzung von Evaluationsvorhaben. Abbildung 4.9 zeigt die in den jeweiligen Stadien wichtigsten Standards:
uWloL7zqftiyN2Wh/rC4ZcIRKsfelTCDB0YomI2a6JqoBGwdC37kaYnhJ+f3baQcDn7O4P3YAOC8h7iqhsYsYAWVXvuuT9RoqmhBx4bmjeywnPMFUph5Eg==
135
Abbildung 4.9: Wichtigste DeGEval-Standards im Rahmen der praktischen Umsetzung einer Evaluation
Wichtigste DeGEvalStandards bei
N1 Identifizierung der Beteiligten und
Betroffenen
N2 Klrung der Evaluationszwecke
N3 Glaubwrdigkeit und Kompetenz des
Evaluators
N4 Auswahl und Umfang der
Informationen
N5 Transparenz von Werten
N6 Vollstndigkeit und Klarheit der
Berichterstattung
N7 Rechtzeitigkeit der Evaluation
N8 Nutzung und Nutzen der Evaluation
D1 Angemessene Verfahren
D2 Diplomatisches Vorgehen
D3 Effizienz der Evaluation
F1 Formale Vereinbarungen
F2 Schutz individueller Rechte
F3 Vollstndige und faire berprfung
F4 Unparteiische Durchfhrung und
Berichterstattung
F5 Offenlegung der Ergebnisse
G1 Beschreibung des
Evaluationsgegenstandes
G2 Kontextanalyse
G3 Beschreibung von Zwecken und
Vorgehen
G4 Angabe von Informationsquellen
G5 Valide und reliable Informationen
G6 Systematische Fehlerprfung
G7 Analyse qualitativer und quantitativer
Informationen
G8 Begrndete Schlussfolgerungen
G9 Meta-Evaluation
Planung DatenDatenaus- Berichterhebung wertung erstattung

!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
Quelle: DeGEval (2002), zusammengefasste Darstellung
Vor dem Hintergrund der genannten Aspekte kommt dem Abstimmungsprozess

zwischen Auftraggeber und Auftragnehmer im gesamten Verlauf des Vorhabens eine zentrale Funktion zu. Dieser Prozess wird meist durch ein
Arbeitstreffen (Kick-Off-Workshop) eingeleitet, der gleichzeitig den Start-
cWvukDJuEq8crylbyj6GGBnzi22JzF4950p4yefkSnI5TisT/tKgQRqr+RgKQDP3CK941bF1+vO2DjbufRgby3+PpNARhID4lHKduJqWO9Yh7lyhGrSQlg==
136
punkt der eigentlichen Untersuchung markiert. Im Rahmen dieses Treffens

sollte mit allen Beteiligten die konkrete Vorgehensweise abgestimmt und die
jeweiligen Verantwortlichkeiten festgelegt werden. Aufgrund der daraus resultierenden unterschiedlichen Rollenanforderungen (s.o.) mssen dann mit den
einzelnen Akteuren verbindliche Vereinbarung getroffen und in geeigneter
Form protokolliert werden. So muss unter Beachtung der verfgbaren finanziellen, personellen und materiellen Mittel ein realistisches Mengengerst festgelegt werden, in dem beispielsweise die maximale Anzahl der auszuwertenden Fragebgen bzw. Interviews festgeschrieben werden. Auch ist es ratsam
(ggf. noch einmal) die konkreten Ziele und Fragen der Evaluation zu diskutieren und detailliert zu dokumentieren. Gegebenenfalls knnen zu diesem Zeitpunkt auch die bereits in 4.2.1 erluterten Terms of Reference (ToR) przisiert
werden.
Nach dem Arbeitstreffen sollten im Einzelnen u.a. folgende Fragen beantwortet sein:
Ist der Evaluationsgegenstand klar abgegrenzt und sind die Ziele des Vorhabens eindeutig definiert?
Welches Evaluationsdesign ist vorgesehen (vgl. Kapitel 5) und welche
Standards oder mglicherweise Evaluationsparadigmen (vgl. Kapitel 2)
welcher Organisationen bzw. Institutionen (DeGEval, Joint Committee
Program Evaluation Standards) werden zugrunde gelegt?
Welche Vernderungen wurden gegenber den Darstellungen in der Ausschreibung bzw. im Angebot vorgenommen? Inwieweit wirken sich diese
Vernderungen auf die weitere Vorgehensweise bzw. das Evaluationsdesign aus? Welche Abweichungen ergeben sich dadurch im Zeit- und
Kostenplan?
Wer ist wem gegenber berichtspflichtig? Sind alle Evaluatoren und
Auftraggeber namentlich benannt und wer verfgt ber welche Entscheidungsbefugnisse?
Welche weiteren Ansprechpartner stehen zur Verfgung? Z.B. seitens des
Auftragnehmers: Vertretungen, Ansprechpartner fr nicht-fachliche Anfragen, wie z.B. Vertragsangelegenheiten.
Welche Kommunikationswege werden genutzt und liegen alle dafr notwendigen Kontaktdaten vor?
Wurden alle vertraglichen bzw. rechtlichen Fragen beantwortet, bzw. was
muss noch bis wann im Nachhinein geklrt werden? Z.B. Zahlungstermine
bzw. -fristen, Hhe der Abschlagszahlungen, Vereinbarungen bezglich der
Verwertungsrechte.
Wer wird wann welche Informationen in welcher Form (z.B. elektronisch
oder mndlich als Interviewpartner) zur Verfgung stellen? Wann findet
die Datenerhebungsphase statt? Werden dabei ggf. Arbeitszeit- und
Urlaubsregelungen bercksichtigt?
XJ54kGAL4jwrBweQg/F+WEeD69hc7LEmCzp9BR/odgH7nodYWzMuXoCHGLx79FjJRmyEJqKrDiRL9JOX1UxNoCcK8OwjZIcxrpdUTCgNQjqh3NfS4JdCkQ==
137
Sind die Datenerhebungs- und -auswertungsverfahren allen Beteiligten

bekannt? Bis wann mssen mit wem die hierfr notwendigen Instrumente
abgestimmt werden (Interviewleitfden, Fragebgen etc.)?
Welche (neben den zu befragenden Personen) weiteren Ressource-Personen ermglichen den Zugang zu Informationen?
Welche Widerstnde sind absehbar und welche Strategien zu deren Vermeidung bzw. Reduktion knnen angewendet werden?
Auf welche Datenquellen kann wann, von wo aus zugegriffen werden (z.B.
interne Datenbanken mit sensiblen Daten)?
Welche sonstigen Aufgaben und Pflichten hat der Auftraggeber im Rahmen
der Evaluation (z.B. personelle Untersttzung oder local support bei Feldphasen im Ausland)?
Welche Vereinbarungen bestehen hinsichtlich der Vertraulichkeit der
Daten und der Anonymitt ihrer Geber (vgl. Kapitel 4.3.2)?
Wann mssen die einzelnen Umsetzungsphasen abgeschlossen und
Berichte abgegeben sein (Milestones und Deadlines)? Ggf.: Welche Sanktionen sind bei Nichteinhaltung der Termine vorgesehen?
Auf welche Art und Weise mssen die Ergebnisse prsentiert werden? Wer
sind die Zielgruppen der Prsentationen?
Sind alle Fragen bezglich der Berichtslegung und -abnahme (Aufbau, Umfang etc.) sowie des weiteren Verwertungszusammenhangs (z.B. Buchverffentlichung) geklrt?
Und schlielich: Unter welchen Bedingungen wird das Evaluationsvorhaben abgebrochen?
In der Regel bernimmt der Auftragnehmer die Protokollierung des
Workshops und schickt einen Entwurf des Protokolls an den Auftraggeber mit
der Bitte um eine zeitnahe Besttigung oder Ergnzung der Inhalte. Dementsprechend sollten sich Auftraggeber und Auftragnehmer ber den Rechtsstatus dieses Dokuments verstndigen.
Sofern der Auftraggeber dies wnscht, ist vor Beginn der eigentlichen
Datenerhebung noch ein so genannter Inception Report zu erstellen, in dem der
aktuelle Stand der Vorbereitungen sowie die Methodologie bzw. das Design
der Evaluation erlutert werden. Eine ausfhrliche Darstellung der Struktur
und des Inhalts eines Inception Reports findet sich in Kapitel 10.2.
CMs5o4cOvuukuWvQ/FvXl1v+GtDd2FHTm9Pv1MY8dFBkhEljuLsr6TL6FXq/fmoeS8w2TSlHZFCVO6h65hXlJvRGqcn5z2/tfjI96Z1Wb9Wx653VNeGTMA==
138
4.3.2 Durchfhrung der Untersuchung

Nachdem der Auftragsinhalt geklrt und die einzelnen Umsetzungsschritte abgestimmt wurden, gilt es im weiteren Verlauf des Evaluationsprozesses eine
Reihe organisatorischer Aspekte zu bercksichtigen. Hierzu gehren u.a.:
1. Vertraulichkeit und Anonymitt der Daten
2. Umgang mit unerwarteten Ereignissen
3. Stellenwert der abgeleiteten Empfehlungen
4. Gestaltung des Reportings (wird in Kapitel 10 ausfhrlich erlutert)
Zu (1.): Aufgrund der zu wahrenden Anonymitt der Informationsgeber und
des daraus resultierenden Postulats der Vertraulichkeit der Daten, mssen auch
bei der Ergebnisrckkopplung gewisse Regeln eingehalten werden, um einen
vertrauensvollen Evaluationsprozess zu gewhrleisten. Abgesehen davon, dass
der Evaluator seinen Informanten (d.h. Interviewpartner, Teilnehmer schriftlicher Befragungen etc.) gegenber eine moralische Verpflichtung eingegangen ist, ihre Kooperationsbereitschaft nicht zu missbrauchen, bestehen
eine Reihe gesetzlicher Bestimmungen, deren Missachtung nicht nur zu einer
drastischen Beeintrchtigung der Untersuchung, bis hin zu ihrem Abbruch,
fhren kann, sondern auch mit rechtlichen Konsequenzen, sowohl fr Auftraggeber als auch Auftragnehmer verbunden ist (vgl. Kapitel 6).
Entscheidungsgrundlage fr die Handhabung smtlicher prinzipiell nicht
ffentlicher Daten bildet in allen Fllen, so auch bei der Umsetzung von
Evaluationen, das Bundesdatenschutzgesetz. Von besonderer Relevanz ist
hierbei in erster Linie Paragraph 11 des ersten Abschnitts zur Verarbeitung
und Nutzung personenbezogener Daten im Auftrag:
(1) Werden personenbezogene Daten im Auftrag durch andere Stellen verarbeitet
oder genutzt, ist der Auftraggeber fr die Einhaltung der Vorschriften dieses
Gesetzes und anderer Vorschriften ber den Datenschutz verantwortlich. Die in
den 6 bis 8 genannten Rechte sind ihm gegenber geltend zu machen. [42]
(2) Der Auftragnehmer ist unter besonderer Bercksichtigung der Eignung der von
ihm getroffenen technischen und organisatorischen Manahmen sorgfltig auszuwhlen. Der Auftrag ist schriftlich zu erteilen, wobei die Datenverarbeitung
oder -nutzung, die technischen und organisatorischen Manahmen und etwaige
Unterauftragsverhltnisse festzulegen sind. Er kann bei ffentlichen Stellen auch
durch die Fachaufsichtsbehrde erteilt werden.
(3) Der Auftragnehmer darf die Daten nur im Rahmen der Weisungen des
Auftraggebers verarbeiten oder nutzen. Ist er der Ansicht, dass eine Weisung des
Auftraggebers gegen dieses Gesetz oder andere Vorschriften ber den Datenschutz verstt, hat er den Auftraggeber unverzglich darauf hinzuweisen.
(4) []
42 Paragraphen 6 bis 8 beziehen sich dabei auf die Rechte der Betroffenen sowie die ihnen
zustehenden Schadensersatzansprche bei Missachtung durch Dritte. Hinzuzufgen ist, dass
die Beweislast dabei immer bei dem potentiellen Verursacher, also in der Regel beim
Evaluator, liegt.
/P63JS8R5uCV9++2uo30lZUnybtvKhv14X84z02Ytr7cEd/YODAoFWm1i9uHTtBrCHlzl8a/xeCB2yaGZXREi05B0v9NJCRsoTVeqyobutous5u9hI/H1Q==
139
Bei Evaluationen in Unternehmen ist zudem darauf zu achten, dass auch die im
Betriebsverfassungsgesetz verankerten Mitbestimmungsrechte des Betriebsrates bei der Erhebung personenbezogener Daten bercksichtigt werden
mssen.
Neben den rechtlichen Rahmenbedingungen, die auer den genannten
Gesetzen nicht zuletzt auch die im Grundgesetz fixierten Persnlichkeitsrechte
umfassen, gibt es eine Vielzahl von Standards und Empfehlungen, wie genau
mit vertraulichen Daten im Rahmen von empirischen Untersuchungen umgegangen werden soll. Abgesehen von den Fairnessstandards der DeGEval (vgl.
Kapitel 6) knnen auch die von der European Science Foundation in regelmigen Abstnden verffentlichten entsprechenden Grundstze und Richtlinien43 hierfr als Orientierungsrahmen dienen.
Zu (2.): Auch bei einer noch so gut geplanten und organisierten Evaluation
knnen, beispielsweise auftraggeber- oder zielgruppeninduzierte, unvorhersehbare Ereignisse eintreten, die sich oftmals nur negativ auf die Zeitplanung
des Vorhabens auswirken, jedoch in seltenen Fllen gar zu dessen Abbruch
fhren knnen. Zu den hufigsten Unwgbarkeiten, die bei der Durchfhrung
antizipiert werden mssen, gehren u.a. die Verweigerung der Informationsgeber (Interviewverweigerung etc.) oder das Auftreten negativer nicht intendierter Effekte bei der Datenerhebung (z.B. ein sich rapide verschlechterndes
Betriebsklima, da die Befragten durch den Auftraggeber ber die Durchfhrung einer Evaluation nicht ausreichend informiert wurden). In allen Fllen
ist es dabei ratsam das Gesprch mit den Betroffenen zu suchen und gegebenenfalls ein Treffen zu vereinbaren, in dem allen Beteiligten die Gelegenheit gegeben wird, ihren Standpunkt darzustellen und gemeinsam probate
Lsungswege (z.B. alternative Befragungsinstrumente, Fragebogen statt Interview etc.) erarbeitet werden. Hierbei ist von grter Bedeutung, dass der
Auftragnehmer seine Unabhngigkeit und Neutralitt glaubhaft vermitteln
kann und dafr auch vom Auftraggeber entsprechende Zusicherungen erhlt.
Weitere, nicht selten vorkommende Probleme entstehen u.a. durch die Vernderung der Evaluationsziele whrend des Evaluationsverlaufs oder personelle Vernderungen, beispielsweise durch Krankheit oder Kndigung.
Grundstzlich gilt auch bei solchen Ereignissen, bei denen ad hoc Entscheidungen getroffen werden mssen, dass eine unmittelbare Rcksprache mit dem
Auftraggeber oftmals zu einer fr alle Beteiligten am meisten zufrieden
stellenden Lsung fhrt.
Zu (3.): Ein anderer immer wieder sehr kontrovers diskutierter Aspekt, ist die
Frage nach dem Umfang und Stellenwert der aus den Evaluationsergebnissen
abgeleiteten Empfehlungen bzw. danach, ob diese berhaupt mit dazugehren.
43 Aufgrund ihres Umfangs knnen diese Grundstze hier nicht zitiert werden. Sie werden
jedoch von der ESF im Internet unter http://www.esf.org/sciencepolicy/170/ESPB10.pdf
zum Download bereitgestellt.
BEWvB4rNDonv53gUJvemegtrWaWaozXwa4r8z7MLEy/y+DpIZMGzJJ8xvChT1kzjj4yrZm+N52RfS4v6RSPA50TBCysk5bCsKz70CHVf3MHqy5JUrgzEOA==
140
Sofern man sich im Rahmen der Auftragsklrung dafr entscheidet

Empfehlungen auszusprechen, gilt es den Auftraggeber darber in Kenntnis zu
setzen, dass es sich dabei, im Gegensatz zu den zentralen Ergebnissen und
Bewertungen (Mayor Findings), eher um Orientierungshilfen (im Gegensatz
zu den oftmals geforderten Macro Recommendations) handelt. Es muss also
klargestellt werden, was die Evaluation leisten kann und was nicht, um unangemessene Erwartungen zu vermeiden. Die Entwicklung der Empfehlungen
kann u.U. auch gemeinsam mit den inhaltlichen Experten, evtl. im Rahmen
eines Workshops, erfolgen. In jedem Fall ist dabei erforderlich, dem Auftraggeber unmissverstndlich darzulegen, was im Evaluationsbericht die (empirisch gesicherten und damit intersubjektiv berprfbaren) Evaluationsergebnisse sind und welche Textpassagen sich mit den Schlussfolgerungen und
Empfehlungen befassen.
Darber hinaus ist es erforderlich so frhzeitig wie mglich zu vermitteln,
was genau (d.h. welche Daten bzw. Indikatoren) mit Hilfe der eingesetzten
Instrumente bzw. im Rahmen der finanziellen Ausstattung des Vorhabens
erhoben und interpretiert werden kann und welche Schlussfolgerungen die
dadurch gewonnenen Ergebnisse erlauben. Sollen zuknftige Entscheidungen
auf Grundlage von Evaluationsergebnissen getroffen werden (z.B. bei einer
Programmzwischenevaluation), mssen ebenso die Entwicklungen im jeweiligen Untersuchungs- bzw. Politikfeld bercksichtigt werden.
So knnen sich verndernde Rahmenbedingungen dazu fhren, dass einmal
abgeleitete Empfehlungen nur in einem sehr begrenzten Zeitraum Gltigkeit
haben. Ein relativ aktuelles Beispiel hierfr sind die Entwicklungen im Bereich
der Informations- und Telekommunikationstechnologie. Htte man noch vor
wenigen Jahren beispielsweise die Chancen von Blended-learning-Konzepten
im Bereich der Entwicklungszusammenarbeit, aufgrund fehlender IT-Strukturen in den Ziellndern, eher gering bewertet, so wrde die Einschtzung
heute, vor dem Hintergrund der zunehmenden globalen Vernetzung, deutlich
positiver ausfallen.
Zu (4.): Je nachdem wem Bericht erstattet wird, bieten sich sehr unterschiedliche Wege der Ergebnisprsentation bzw. -rckkopplung an. Da diesem
Aspekt im Evaluationsverlauf eine zentrale Funktion zukommt, wird ihm
eigens ein Kapitel (Kapitel 10) gewidmet, in dem die gngigsten Formen
dieser Reportingmethoden, ihre Adressaten sowie ihre Umsetzung im
Evaluationsprozess ausfhrlich erlutert werden.
TZYstU5X4XBSXY+ju9S+qcLjej2FQNjzzxwTQHGfhMabd6ErHN7Q88f/ktQtheK2b0igPQCIGLg0pSeJlURQcE3UwSd5h3tdxnoLTgl/42wsFeLCKHbSdQ==
141
9
Die frhzeitige partizipative Einbindung aller Stakeholder erleichtert
einen mglichst reibungslosen Evaluationsablauf.
9
Im Rahmen der Auftragsklrung mssen Gegenstand und Ziele der
Evaluation mit dem Auftraggeber abgestimmt werden. Dies geschieht
meist im Rahmen eines Arbeitstreffens zu Beginn des Evaluationsvorhabens.
9
Bei der Umsetzung einer Evaluation sollten im Vorhinein einheitliche
Standards (z.B. der DeGEval) festgelegt werden, anhand derer die
Qualitt der einzelnen Umsetzungsschritte gemessen wird.
9Bei der Durchfhrung der Untersuchung gibt es eine Reihe organisatorischer Fragestellungen zu bercksichtigen, die den Erfolg der
Evaluation mageblich beeinflussen. Hierzu gehren u.a. die Klrung
der Vertraulichkeit und Anonymitt der Daten, der Umgang mit unerwarteten Ereignissen, der Stellenwert der aus den Evaluationsergebnissen abgeleiteten Empfehlungen sowie die Gestaltung des Reportings.
67fRZwrphUFeUOVfc2O8ce1gUMji4RBbW0trsNVq4VrbvHYwpyUBqwaSpHYpmcx55+09FS3pmkmFDm+sT5f9w6TBbhl56XwJ4TO1PwJrUaI6Dpt3xpRVcw==
142

Silvestrini (2007) - Organisatorischer Ablauf Von Evaluationen

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Silvestrini (2007) - Organisatorischer Ablauf Von Evaluationen

Uploaded by

Copyright:

Available Formats

Organisatorischer Ablauf von Evaluationen

4. Organisatorischer Ablauf von Evaluationen

Planung und Vorbereitung

zwischen Auftraggeber und Auftragnehmer sowie weitere organisatorische und

Planung und Vorbereitung

4.1.1 Konzeption einer Evaluation

Organisatorischer Ablauf von Evaluationen

4.1.2 Der Datenerhebungsplan

Planung und Vorbereitung

Zentrale Fragen zur Erstellung eines Datenerhebungsplans:

zugunsten der Anschaulichkeit beispielsweise auf eine Diskussion nicht intendierter

Organisatorischer Ablauf von Evaluationen

Rahmenbedingungen: Bis zum Erhebungszeitpunkt wurden vom Auftraggeber

Sicherlich gibt es eine Vielzahl weiterer relevanter Fragestellungen, wie bspw.

Planung und Vorbereitung

Organisatorischer Ablauf von Evaluationen

Design angelehnt an Fitzpatrick (2004)

Nachdem geeignete Methoden und Auswahlverfahren zur Beantwortung der

4.1.3 Anwendung des Evaluationsleitfadens

Planung und Vorbereitung

Organisatorischer Ablauf von Evaluationen

Abbildung 4.3: Flussdiagramm der einzelnen Schritte zur Planung und

Auswahl der Erhebungsmethoden

Entscheidung ber Vorgehensweise

berarbeitung/ Ergnzung des Indikatorensets

Planung und Vorbereitung

Organisatorischer Ablauf von Evaluationen

Im nchsten Abschnitt werden die wesentlichen Aspekte diskutiert, die im

4.2.1 Die Ausschreibung

Organisatorischer Ablauf von Evaluationen

genannte Interessensbekundung einzureichen, in der das Evaluationsvorhaben

4.2.2 Aufbau und Struktur des Angebots39

Organisatorischer Ablauf von Evaluationen

potentiellen Auftragnehmers signalisiert wird. Insbesondere dann, wenn aus

Organisatorischer Ablauf von Evaluationen

Abbildung 4.4: Exemplarische bersicht zu den Einzelleistungen im Rahmen eines

Durchfhrung eines Abstimmungsworkshops (Kick-Off)

Durchfhrung einer Dokumentenrecherche

10. Erstellung des Endberichtsentwurfs

Organisatorischer Ablauf von Evaluationen

4.2.3 Ausarbeitung eines Zeit- und Kostenplans

4.2 Standardisierte schriftliche

AT: Arbeitstage; *: Hilfskraftstunden; **: 2. Durchgang falls erforderlich

Organisatorischer Ablauf von Evaluationen

Zu (1.): Die Personalkosten stellen bei Evaluationsvorhaben blicherweise den

Organisatorischer Ablauf von Evaluationen

Viele (vor allem ffentliche) Auftraggeber sind in den vergangenen Jahren

Organisatorischer Ablauf von Evaluationen

Stelle und Qualifikation der

Experimentelle und Quasi-Experimentelle Designs

Abschlieend soll noch auf zwei formale Aspekte bei Kostenkalkulationen

Organisatorischer Ablauf von Evaluationen

Praktische Umsetzung und Projektmanagement

4.3.1 Die Auftragsklrung

Praktische Umsetzung und Projektmanagement

Abbildung 4.8: Durchfhrbarkeitsstandards der DeGEval (2002)

Organisatorischer Ablauf von Evaluationen

Planung DatenDatenaus- Berichterhebung wertung erstattung

Quelle: DeGEval (2002), zusammengefasste Darstellung

Vor dem Hintergrund der genannten Aspekte kommt dem Abstimmungsprozess

Praktische Umsetzung und Projektmanagement

punkt der eigentlichen Untersuchung markiert. Im Rahmen dieses Treffens

Organisatorischer Ablauf von Evaluationen