Feedback-informierte Therapie im psychiatrisch-psychotherapeutischen Alltag
Kurzfeedback durch Patienten im psychiatrisch-psychotherapeutischen Alltag

Feedback-informierte Therapie im psychiatrisch-psychotherapeutischen Alltag

Review Article
Issue
2017/03
DOI:
https://doi.org/10.4414/sanp.2017.00479
Swiss Arch Neurol Psychiatr Psychother. 2017;168(03):0

Affiliations
Klinik Sonnenhalde AG, Riehen, Switzerland

Published on 29.03.2017

Fallbeispiel
Herr M. hat schon mehrere Therapien bei verschiedenen ­Psych­iatern abgebrochen. Nach ­einem stationären Aufenthalt in einer psychiatrischen Klinik wurde ihm aufgrund der weiterhin ­bestehenden depressiven Symptomatik und der Konflikte am ­Arbeitsplatz die ambulante Weiterbehandlung empfohlen. Herr M. ist skeptisch, aber er nimmt einige ­ambulante Gespräche bei Herrn Dr. N. wahr. Dr. N. nutzt bewusst bei diesem ­Patienten kurze Feedback-­Instrumente zu Beginn und am Ende jeder Sitzung, um dem Patienten Rückmeldungen zur Sitzung zu erleichtern und dessen Befinden im Verlauf sichtbar machen zu können. In den ersten Sitzungen geben die Rückmeldungen des Patienten wenig Anlass zum Nachfragen. In der fünften ­Sitzung ist Dr. N. jedoch überrascht, dass die Rückmeldung zur Therapiesitzung deutlich kritischer ausfällt als zuvor. Herr Dr. N. erkundigt sich beim Patienten nach seinen Beweggründen. Daraufhin gibt der Patient an, dass das aktive Fragenstellen des Therapeuten in den vorherigen Sitzungen ihm das Sprechen über seine Beschwerden erleichtert habe. In der ver­gan­genen Sitzung habe der Therapeut jedoch kaum ­aktiv nach­ge­fragt, was den ­Patienten verunsicherte. Herr M. habe bereits darüber nach­gedacht, die Therapie abzubrechen. Dr. N.bekräftigt, dass er froh sei, dass der Patient wieder zur Sitzung ­erschienen ist, und er nun weitere Anhaltspunkte ­gewonnen habe, wie er mit Herrn M. therapeutisch gut zusammenarbeiten könne.

Einleitung

Die Wirksamkeit von Psychotherapien bei einer Vielzahl psychischer Störungen ist gut belegt [1, 2]. Bei der Mehrheit der Patienten zeigt sich am Ende einer Psy­chotherapie eine stabile und klinisch bedeutsame Verbesserung ihrer Symptomatik. Ein Teil der Patienten profitiert jedoch nicht optimal von Psychotherapie; ­einer Minderheit von ca. 5–10% der Patienten geht es am Ende einer Therapie sogar schlechter als zuvor [3]. Eine Herausforderung können auch vorzeitige Therapieabbrüche darstellen. Die Abbruchraten betragen ­gemäss einer Metaanalyse von 669 Studien etwa 20%, wobei sie je nach Studie zwischen 0 und 70% variieren [4]. Wie jede effektive Therapie­methode können auch Psychotherapien Risiken und Nebenwirkungen haben [5].
Verschlechterungen während einer Therapie werden durch Therapeuten häufig nicht erkannt, wenn sich diese ausschliesslich auf ihre klinische Einschätzung und informelle Befragungen verlassen [6]. Dies zeigte sich beispielsweise in einer Studie mit 48 Therapeuten und über 300 Patienten, wobei es rund 8% der Patienten (n = 26) zu Therapieende schlechter ging als zu ­Beginn. Diese Verschlechterung konnte auf Basis des klinischen Urteils von Therapeuten lediglich für einen einzigen Patienten (0,04%) zutreffend vorhergesagt werden – während eine ergänzende standardisierte Outcome-Erhebung eine korrekte Vorhersage für 20 der 26 Patienten (77%) traf [7].
Damit eine psychotherapeutische Behandlung hin­gegen hilfreich ist, sind der Aufbau und die Pflege ­einer tragfähigen therapeutischen Beziehung wesentlich: Erfolgreiche Therapeuten verfügen über beson­ders ausgeprägte interpersonelle Fähigkeiten und es gelingt ihnen so besser, bei einer Bandbreite von Patienten mit unterschiedlichen Störungsbildern eine gute Arbeitsbeziehung («therapeutische Allianz») herzustellen [8].
Wir interessierten uns vor diesem Hintergrund für die Frage, welche Hilfsmittel einen raschen Überblick ­erlauben, wie der Patient die Therapiesitzungen, die therapeutische Beziehung sowie sein Befinden im ­Therapieverlauf einschätzt – und welche Hindernisse gegenüber der Nutzung solcher Hilfsmittel im Alltag bestehen können. Hierzu sichteten wir Literatur in Pubmed und Google zu den Stichworten «Feedback» und «Psychotherapy» und sammelten eigene Er­fahrungen mit Feedback-Instrumenten im klinischen Alltag einer psychiatrischen Klinik bzw. eines Ambu­latoriums.

Kontinuierliches Patientenfeedback

Die Durchsicht der Literatur zeigte, dass erste Ansätze zur systematischen Nutzung eines kontinuierlichen Patientenfeedbacks bereits vor 20 Jahren entwickelt wurden [9]. Diese Entwicklung geht damit einher, dass sich der Blick auch in der Psychotherapie­forschung in den letzten Jahren verstärkt auf die Frage richtete: «Ist diese Behandlung durch diesen Thera­peuten für diesen Patienten zu diesem Zeitpunkt hilfreich?» [9]. Die Betonung liegt also auf der Verbes­serung des Outcome bei individuellen Patienten, weniger auf dem Vergleich zwischen Therapieschulen oder Theorien [10]. Inzwischen wurden verschiedene Feedbacksysteme entwickelt und empirisch überprüft [2, 11].
Zwei Instrumente sollen beispielhaft herausgegriffen und näher vorgestellt werden: Die Outcome Rating Scale (ORS) und die Session Rating Scale (SRS) von Scott D. Miller [12, 13], die als kürzere Alternative u.a. zum längeren Outcome Questionnaire OQ-45 von Lambert entwickelt wurden [14]. Die ORS erhebt das ­Befinden des Patienten (Outcome) und die SRS dient der Rückmeldung zur jeweiligen Therapiesitzung.
Zu Beginn einer Sitzung beantwortet der Patient die ORS, bei der die Frage gestellt wird: «Wenn Sie über die letzte Woche einschliesslich heute zurückblicken, wie haben Sie sich gefühlt?». Hier kann der Patient je einen Strich auf vier verschiedenen Linien (visuellen Analogskalen) anbringen, die sein Befinden im (1) persön­lichen Bereich, (2) in Beziehungen / Familie, (3) in Arbeit / Ausbildung sowie (4) insgesamt widerspiegeln.
Bei der SRS markiert der Patient am Ende jeder Sitzung ebenfalls auf vier Linien, wie er unterschied­liche Aspekte des therapeutischen Bündnisses in der aktuellen Sitzung erlebt hat:
1. die therapeutische Beziehung;
2. die Ziele / Themen, über die gesprochen wurde;
3. die Passung der Vorgehensweise / Methode;
4. die Sitzung insgesamt.
Die Beantwortung ­jeder der beiden Skalen ORS und SRS benötigt nur ca. 1 Minute seitens des Patienten.
Im Falle der Verwendung der Papierversion besteht die Auswertung darin, die Entfernung (in Millimetern) vom linken Anfang jeder Linie bis zum Kreuzchen des Patienten zu bestimmen und dann die vier Zahlen ­zusammenzuzählen, um die Gesamtpunktzahl zu ­erhalten [13]; bei elektronischer Erhebung erfolgt die Auswertung automatisch. Die Instrumente stehen in verschiedenen Sprachen zur Verfügung und sind für Einzelnutzer kostenfrei. Institutionen bezahlen eine Lizenzgebühr je nach Anzahl an Nutzern [15].
Auch wenn bei sehr kurzen Instrumenten natur­gemäss Informationen verloren gehen, sind die psychometrischen Gütekriterien der ORS und SRS aus­reichend (Überblick der Studien zur Validität und Reliabilität der ORS / SRS in [11]). Die Verknüpfung von Feedbacksystemen mit klinischen Unterstützungs-Tools (z.B. in Form von Videos und Übungen für The­rapeuten) oder mit Warnfunktionen, die z.B. auto­matisch auf Patienten mit erhöhtem Drop-out-Risiko aufmerksam machen, ist zusätzlich möglich (zusammengefasst in [16]).
«Feedback-informierte Therapie» stellt kein neues Verfahren dar [17], sondern lediglich die Ergänzung des vertrauten Vorgehens um das Element der kon­tinuier­lichen Patientenrückmeldung, das mit den verschiedensten Therapieformen prinzipiell kompatibel ist. Dessen Autor, Scott D. Miller, hebt hervor, dass erfolgreiche Psychotherapie mehr von der Person des Psychotherapeuten (z.B. dessen Bereitschaft, sich kritisch hinterfragen zu lassen sowie fortlaufend ziel­gerichtet hinzuzulernen), weniger von dessen Therapieschule abhänge und dass so Therapeuten jeglicher therapeutischer Orientierung von Patientenfeedback profitieren können [18].

Vorteile eines kontinuierlichen, ­zeitnahen Feedbacks

Ein kontinuierliches Feedback ermöglicht es, Verän­derungen in der therapeutischen Beziehung und dem Befinden des Patienten über die Zeit sichtbar machen. Zudem bietet es Therapeuten die Chance, die Gründe für Veränderungen im Befinden des Patienten (ORS) oder des Sitzungsfeedbacks (SRS) zu erfragen und zu verstehen, den Therapieprozess mit dem Patienten ­unmittelbar anzupassen und so bessere Therapie­ergebnisse zu erzielen [18].
Über die ORS werden neben der aktuellen Belastung auch Ressourcen des Patienten (z.B. Unterstützung ­seitens der Familie) erkennbar und können im anschliessenden Gespräch fokussiert aufgegriffen werden [17]. Das Sitzungsfeedback über die SRS stellt eine subjektive Rückmeldung des Patienten dar: Sie lässt sich im Gesamtkontext interpretieren, lädt zum ­Nachfragen ein und lässt sich therapeutisch nutzen. Die mündliche Ausformulierung der eigenen Wahrnehmung seitens des Patienten bleibt also zentral; dies kann durch Feedback-Instrumente – aber selbstverständlich auch durch reines Erfragen durch den Therapeuten ohne Instrument – im besten Fall erleichtert werden («Jedes Hilfsmittel ist nur so gut wie der ­The­rapeut, der es verwendet» [18]).
Wichtig ist also, dass die Feedbackinstrumente als ­therapeutische «Werkzeuge» verstanden werden, die den Einstieg ins Gespräch, die Fokussierung auf das für den Patienten Wesentliche, das Erkennen von ­Ressourcen, aber auch von ungünstigen Therapieverläufen erleichtern können [17]. Sie bieten Therapeuten zugleich Möglichkeiten zur eigenen professionellen Weiterentwicklung, wenn sie als Anstoss zum gezielten und reflektierten Üben («deliberate practice») ­eigener therapeutischer Fertigkeiten verstanden werden [18].
Seit über 10 Jahren werden verschiedene Feedback­systeme in verschiedensten Settings mit verschie­densten Patientengruppen und Störungsbildern beforscht, was breit untermauert, dass Feedback effektiv ist [10]. Zahlreiche systematische Reviews und ­Metanalysen weisen inzwischen darauf hin, dass sich durch kontinuierliches Patientenfeedback (a) die Effektstärke von Therapien und die Rate an Patienten mit ­reliabler, klinisch relevanter Verbesserung stark erhöhen, (b) Drop-out-Raten sowie das Risiko von Ver­schlechterungen reduzieren lassen, (c) sich die Länge von Therapien verkürzen kann sowie (d) Gesundheitskosten reduziert werden [zusammengefasst in 2, 10, 16, 18–20]. Der Nutzen ist bei Patienten besonders aus­geprägt, bei denen Therapeuten so frühzeitig Hinweise auf einen stagnierenden oder negativen Therapie­verlauf erhalten («not-on-track»-Patienten): Ohne Feedback ist bei diesen Patienten das Risiko erhöht, dass sie letztlich nicht von der Therapie profitieren [10, 20]. Nach sorgfältiger Prüfung wurden daher die Feedbackskalen ins «National Registry of Evidence-based Programs and Practices» aufgenommen, das wissenschaftlich geprüfte Gesundheitsinterven­tionen auflistet [21].
Trotz dieser Belege werden Skalen wie die ORS bzw. SRS im deutschsprachigen Raum im psychiatrisch-­psychotherapeutischen Alltag noch kaum verwendet. Dies lässt sich möglicherweise damit begründen, dass der Nutzung von Feedback-Hilfsmitteln neben «prak­tischen» Barrieren (wie Zeitmangel, Fluktuation von Mitarbeitern) auch «philosophische» Hindernisse (wie Angst, Misstrauen der Therapeuten) entgegenstehen können [22].

Überlegungen und Erfahrungen 
bei Einführung der Instrumente

Wir waren interessiert, eigene Erfahrungen zu sammeln, ob und wie sich die Feedback-Instrumente (ORS / SRS) in den verschiedenen Behandlungssettings einer psychiatrischen Klinik integrieren lassen und welche «praktischen» und «philosophischen» Hindernisse im Alltag auftreten.
Nach Sichtung der Literatur haben wir ein freiwilliges Angebot entwickelt, d.h. interessierte Fallverantwortliche sollten die Möglichkeit erhalten, die Feedback­instrumente kennenzulernen und ohne Verpflichtungscharakter aus eigener Motivation heraus auszuprobieren. Die Frage, bei welchen Patienten die Feedback-Ins­trumente eingesetzt werden, sowie die Frequenz der Patientenbefragungen überliessen wir der Expertise der Therapeuten. Wir wollten so einen spielerischen Zugang und grösstmögliche Autonomie der Therapeuten unterstützen und ungewollten Druck aufgrund der ungewohnten Feedbackinstrumente minimieren. Da die Förderung einer «Feedback-Atmosphäre» innerhalb der Klinik die Voraussetzung dafür ist, dass Therapeuten und Patienten ihre Erfahrungen offen und ohne Angst vor negativen Folgen mitteilen und mit­einander besprechen [13, 17], stehen die Ergebnisse der ORS und SRS ausschliesslich dem jeweiligen Thera­peuten und Patienten zur Verfügung. Zentral ist auch, dass Therapeuten ihren Patienten bei der Erklärung der Instrumente glaubhaft verdeutlichen, dass diese Hilfsmittel allein der gemeinsamen Behandlungs­planung dienen und der Therapeut aufgrund des ­Feedbacks nicht persönlich verletzt reagieren wird, sondern diesem neugierig und offen entgegensieht [13].
Um diesen Hintergrund zu erläutern, luden wir zunächst interessierte Ärzte und Psychologen zu einer klinikinternen Fortbildung ein. Mit einem minimalen finanziellen Budget erwarben wir 10 gebrauchte ­Tablet-PCs zur elektronischen Darstellung der Bögen und stellten diese interessierten Ärzten und Psycho­logen zur Verfügung [23, 24]. Deren Handhabung ­sowie die Patienteninstruktion konnten bei Interesse in zwei Workshops vertieft werden (mit 10 Teilnehmern aus ca. 30 Ärzten / Psychologen, die in der ­Klinik Fallverantwortung tragen). Um daraus lernen zu können, befragten wir die Workshop-Teilnehmer zu ihren Bedenken und Erwartungen in Hinblick auf die Nutzung von Feedbackinstrumenten sowie nach einigen Wochen zu ihren im tatsächlichen Patientenkontakt gemachten Erfahrungen (inhaltlich-reduktive Zusammenfassung der Aussagen).
Tabelle 1: Antizipierte Vor- und Nachteile in Bezug auf Feedback-informierte Therapie.
Antizipierte Nachteile Antizipierte Vorteile
Patienten könnten sich sorgen, was mit den Befragungs­daten geschieht; bleiben sie wirklich anonym?  Ich kann meinen eigenen Eindruck überprüfen; Verläufe über 
die Zeit werden sichtbar.
Das Ganze wirkt technisch; für ältere Patienten ist es ­unvertraut. Die Handhabung des Feedback-Instruments ist intuitiv und ­einfach.
Man kann noch nicht abschätzen, wie viel Zeit es braucht, 
wie hoch der Aufwand ist.  Patienten (z.B. schüchternen Patienten) wird es erleichtert, 
auch kritisches Feedback zu geben.
Es gibt schon zu viele Ratings (z.B. bei Amazon usw.). Therapieabbrüche könnten reduziert werden.
Was tun, wenn man nicht gleich reagieren kann 
(z.B. bei kritischem Feedback am Sitzungsende)? Ich erhalte frühzeitiger Hinweise auf schwierige Therapie­verläufe oder Verschlechterungen.
Bei bestimmten (Persönlichkeits-) Störungen ist das ­Befragungsergebnis schwierig interpretierbar. Erleichtert die Reflektion über die therapeutische Allianz 
und den therapeutischen Prozess.
Therapeuten könnten sich unter Druck fühlen, positive ­Bewertungen zu erhalten. Der Nutzen ist in längerdauernden Therapien wahrscheinlich ­besonders gross.

Hürden und Herausforderungen

Die Tabelle 1 fasst die Bedenken und Erwartungen in Bezug auf Feedback-informierte Therapie zusammen, die von Workshop-Teilnehmern genannt wurden und mit den von Boswell beschrie­benen «praktischen» und «philosophischen» Hindernissen korrespondieren [22].
Das Angebot kann also auch unangenehme Assozia­tionen bei Therapeuten wecken (z.B. «wirkt technisch, Aufwand nicht abschätzbar, kann Druck auf Thera­peuten ausüben»). Ein fortlaufendes Super-/Intervi­sionsangebot könnte hier hilfreich sein, um die Fragen im fachlichen Austausch therapiebegleitend zu beantworten (z.B. «Wie lassen sich die Rückmeldungen von Patienten mit Persönlichkeitsstörungen therapeutisch gut nutzen?»). Genügend Zeit zur Planung von Therapiesitzungen und zur Reflektion sind essentielle Rahmenbedingungen, um aus dem erhaltenen Feedback einen Nutzen für die Therapie zu ziehen [22].
Jene Ärzte, welche die Feedbackinstrumente seit längerer Zeit im stationären oder ambulanten Bereich nutzen, berichteten, dass sich die Instrumente aufgrund ihrer Kürze und elektronischen Darbietung gut in den Alltag integrieren lassen, Patienten positiv darauf reagieren, Therapieverläufe unaufwändig abgebildet werden können und das durch die Befragungen ­angestossene Feedback für die Therapieplanung und -anpassung zumeist hilfreich ist: Besonders hilfreich wurde es erlebt, wenn das Patientenfeedback über­raschend oder kritisch ausfiel, wie in obigem realem Fallbeispiel. Weniger hilfreich wurde es beschrieben, wenn die Patienten in der SRS ausschliesslich positive Rückmeldungen zur Therapiestunde gaben, so dass wenig neue Erkenntnisse resultierten. In solchen ­Fällen entschieden sich Mitarbeiter nach einem ersten Versuch gegen den fortlaufenden Einsatz der Feedback-Instrumente. Andere setzten die Feedback-Ins­trumente bewusst und gezielt bei jenen Patienten ein, bei denen sich die therapeutische Beziehung als schwierig erwies, um hier leichter ins Gespräch über die therapeutische Allianz und das Befinden des Patienten zu kommen. Diese Erfahrungen korrespondieren mit Studienergebnissen, die darauf hinweisen, dass bestimmte Faktoren wie z.B. die Motivation des Therapeuten, Feedback zu nutzen, oder die Zufriedenheit von Therapeuten mit einem Feedbacksystem das Ausmass des Nutzens von Feedback für die Therapie moderieren (zusammengefasst in [16]).

Schlussfolgerungen, Ausblick

Der vorliegende Bericht stellt die Feedback-Instrumente «Outcome Rating Scale» und «Session Rating Scale» vor und beschreibt eigene Erfahrungen. Selbstverständlich ist die Dar­stellung der Literatur in diesem Rahmen nicht erschöpfend. Es lässt sich jedoch zusammenfassen, dass der Nutzen kontinuier­licher Patientenrückmeldungen empirisch gut belegt ist (z.B. ­höherer Anteil an erfolgreichen Therapien, weniger Drop-out; zusammengefasst in [2, 9, 16, 18–20]). Trotzdem sind diese ­Ansätze im deutschsprachigen Raum wenig bekannt und werden hier noch kaum in Kliniken eingesetzt. Unsere Erfahrungen sind insoweit ermutigend, als dass sich «praktische Hürden» gut bewältigen lassen: Ein kontinuierliches Feedback zum Befinden des Patienten sowie zum Therapieprozess ist mit sehr einfachen, ­unaufwändigen Instrumenten und minimalem Budget im Behandlungsalltag machbar. Ein kontinuierliches Feedback ist jedoch zunächst unvertraut, kann technisch wirken und Thera­peuten subjektiv unter Druck setzen. Nicht bei allen Thera­peuten und allen Patienten führt Feedback zu ver­besserten Ergebnissen, und so besteht weiterer Forschungsbedarf zur Frage, welche ­Therapeuten bei welchen Patienten den grössten Benefit aus dem kon­tinuierlichen Patientenfeedback ziehen können [10]. Die Nutzung von Feedback setzt günstige Rahmen­bedingungen voraus (z.B. begleitende Super- / Inter­visionsangebote, Vertraulichkeit der Rückmeldungen, Feedbackkultur). Wir schlussfolgern ­daher aus unserer Erfahrung, dass Feedback-Instrumente ein wertvolles Angebot für interessierte Fallverantwortliche darstellen – jedoch stets basierend auf der freiwilligen Entscheidung von Therapeuten, die neugierig sind, eigene Erfahrungen mit kontinuierlichem Patientenfeedback im psychiatrisch-psychotherapeutischen Alltag zu sammeln.
Wir danken allen am Workshop und Pilotprojekt teilnehmenden ­Ärzten und Psychologen für ihre Aufgeschlossenheit, sich mit der Idee des kontinuierlichen Patientenfeedbacks auseinanderzusetzen und Erfahrungen damit zu sammeln. Herzlichen Dank auch an Frau Svetlana Ponti, Psychologin, für die Mitwirkung bei der Erstellung von Schulungsvideos. Dem Institut für Allgemeinmedizin der Universitätsmedizin Göttingen, Herrn Prof. Dr. Wolfgang Himmel, danken wir für die Überlassung der Tablet-PCs sowie Herrn Dr. med. Jörg Sigle (http://ql-recorder.com/) für die Unterstützung bei deren technischer Einrichtung. Wir möchten uns auch herzlich für die ­Gelegenheit bedanken, das Projekt in Form eines Posters im Rahmen der Bewerbung um den Swiss Quality Award 2016 vorstellen zu dürfen (www.fmh.ch/files/pdf17/Poster_Machbarkeit_Feedback-orientierte_Therapie_Psychiatrie_.pdf).
No financial support and no other potential conflict of interest ­relevant to this article was reported.
Anja Rogausch, Ph.D.
Klinik Sonnenhalde AG
Psychiatrie und Psycho­therapie
Gänshaldenweg 28
CH-4125 Riehen
 1 Smith ML. What research says about the effectiveness of psychotherapy. Hosp Community Psychiatry. 1982;33(6):457–61.
 2 Lambert MJ. Outcome in psychotherapy: the past and important advances. Psychotherapy (Chic). 2013;50(1):42–51.
 3 Hansen NB, Lambert MJ, Forman EM. The psychotherapy dose-­response effect and its implications for treatment delivery ­services. Clin Psychology. 2002;9 (3):329–43.
 4 Swift JK, Greenberg RP. Premature discontinuation in adult ­psychotherapy: a meta-analysis. J Consult Clin Psychol. 2012;80(4):
547–59.
 5 Linden M, Strauss B. Risiken und Nebenwirkungen von Psycho­therapie. 1. ed. Berlin: Medizinisch Wissenschaftliche Verlags­gesellschaft; 2013.
 6 Hatfield D, McCullough L, Frantz SHB, Krieger K. Do we know when our clients get worse? an investigation of therapists’ ability to ­detect negative client change. Clin Psychol Psychother. 2010;17 (1):
25–32.
 7 Hannan C, Lambert MJ, Harmon C, Nielsen SL, Smart DW, Shimokawa K, Sutton SW et al. A lab test and an algorithm for ­identifying patients at risk for treatment failure. J Clin Psychology. 2005;61: 155–63.
 8 Anderson T, Ogles BM, Patterson CL, Lambert MJ, Vermeersch DA. Therapist effects: facilitative interpersonal skills as a predictor of therapist success. J Clin Psychol. 2009;65(7):755–68.
 9 Howard KI, Moras K, Brill PL, Martinovich Z, Lutz W. Evaluation of psychotherapy. Efficacy, effectiveness, and patient progress. Am Psychol. 1996;51(10):1059–64.
10 Lutz W, De Jong K, Rubel J. Patient-focused and feedback research in psychotherapy: Where are we and where do we want to go? ­Psychother Res. 2015;25(6):625–32.
11 Duncan BL, Reese RJ. The Partners for Change Outcome Management System (PCOMS) revisiting the client’s frame of reference. Psychotherapy (Chic). 2015;52(4):391–401.
12 Miller SD, Duncan BL. The Outcome and Session Rating Scales: ­Administration and Scoring Manual. Chicago, IL: ISTC; 2004.
13 Bargmann S, Miller SD. Feedback Informed Treatment – FIT:
Das Feedback des Klienten als Ressource nutzen. In: Schaller J, Schemmel H, editors. Ressourcen. Ein Hand- und Lesebuch zur psychotherapeutischen Arbeit. Tübingen: DGVT; 2013. p. 261–83.
14 Lambert MJ, Morton JJ, Hatfield D, Harmon C, Hamilton S, Reid RC et al. The Outcome Questionnaire-45. [cited 2016 Dec 10]. Available from: http://www.oqmeasures.com/measures/adult-measures/.
15 Licenses for the ORS and SRS [Internet]. International Center for Clinical Excellence; Miller SD [cited 2016 May 19]. Available from: http://scott-d-miller-ph-d.myshopify.com/collections/performance-metrics/products/performance-metrics-licenses-for-the-ors-and-srs.
16 Rubel J, Ehrlich T, Lutz W. Feedback-Ansätze in der Psychotherapie. Ein Beitrag zur Reduktion des Misserfolgsrisikos. PiD. 2015;16(4): 30–4.
17 Linsenhoff A. Therapeutisches Arbeiten mit einem einfachen Feedback-System. PiD. 2012;13 (3):97–102.
18 Miller SD, Hubble MA, Chow D, Seidel J. Beyond measures and ­monitoring: Realizing the potential of feedback-informed treatment. Psychotherapy (Chic). 2015;52(4):449–57.
19 Shimokawa K, Lambert MJ, Smart DW. Enhancing treatment ­outcome of patients at risk of treatment failure: meta-analytic and mega-analytic review of a psychotherapy quality assurance system. J Consult Clin Psychol. 2010;78(3):298–311.
20 Lambert MJ, Shimokawa K. Collecting client feedback. Psycho­therapy (Chic). 2011;48(1):72–9.
21 National Registry of Evidence-based programs and Practices Intervention of SAMSHA [Internet]. Summary zu “Partners for Change Outcome Management System (PCOMS): International Center for Clinical Excellence”. [cited 2016 Dec 13]. Available from:
http://legacy.nreppadmin.net/ViewIntervention.aspx?id=249.
22 Boswell JF, Kraus DR, Miller SD, Lambert MJ. Implementing routine outcome monitoring in clinical practice: Benefits, challenges, and solutions. Psychother Res. 2015, 25(1):6–19.
23 Lebensqualitäts-Recorder mit AnyQuest for Windows [Internet]. [cited 2016 May 19]. Available from: http://www.ql-recorder.com/libsoft/indexd.htm.
24 Sigle JM, Porzsolt F. Practical aspects of quality-of-life measurement: design and feasibility study of the quality-of-life recorder and the standardized measurement of quality of life in an out-­patient clinic. Cancer Treat Rev. 1996;22 (supplement A): 75–89.