6. Operantes Konditionieren

6. Operantes Konditionieren

1. (Bsp.)

2. Allg.

   • Situation (S) - Reaktion (R) - Konsequenzen (C)
     • Konsequenzen: pos. oder neg.
       • = Verstärkung bzw. Bestrafung
   • operant = instrumentell

3. Edward Lee Thorndike

   • Exp. Problemkäfig
   • Gesetz des Effekts
     • Aus einer Menge zunächst zufälliger Handlungen werden solche mit höherer Wahrscheinlichkeit wiederholt, die zu positiven Konsequenzen führen.
   • Analogie zu 'Prinzip der natürlichen Selektion' (Darwin)

4. Vergleich

   • CC
     • Respondentes Verhalten
       • Ereignisse werden nicht durch eigenes Verhalten beeinflusst, sondern Verhalten ist Reaktion auf Reize (US‐UR bzw. CS‐CR)
   • OC
     • Operantes Verhalten
       • Verhalten bewirkt bestimmte Konsequenzen

5. Skinner

   • Allg.
   • Skinner-Box

6. Phasen der OC

   • Basisrate
   • Trainingsphase
     • Verstärkung
   • Extinktion
     • keine weitere Verstärkung
   • Spontanerholung
     • Abgeschwächte Reaktion tritt nach einiger Zeit ohne Verstärkung erneut auf

7. Grundlegende Phänomene

   • (wie bei CC)
   • Graduelle Akquisition
     • s. Lernkurve
   • Anzahl an Lerndurchgängen
   • Extinktion
   • Spontanerholung
   • Zeitliche Kontiguität
     • wenn Belohnung zu spät kommt, schwierig dass operante Konditionierung erfolgt
   • Kontingenz
   • Blocking
   • Generalisierung & Diskrimination

8. Grundbegriffe

   • Dreifachkontingenz
     • S -> R -> C
   • Diskriminationslernen
     • ° Licht an + Hebeldruck -> Futter ° Licht aus + Hebeldruck -> kein Futter
   • Stimuluskontrolle
     • Stimuli, die Verhalten  vorausgehen, kontrollieren Auftreten des Verhaltens -> bewusste Kontrolle

9. Spezielle Phänomene

   • Assozationen
     • Exp. Colwill & Rescorla
       • ° zwei Aktionen führen zu Zuckerlösung bzw. Futter; Devaluation der Zuckerlösung (Gift) ° Vermeidung des entsprechenden Verhaltens -> R-C-Lernen
     • Exp. Colwil & Delamater
       • ° Paarung von 2 Aktionen mit Ton/ Licht; diese führen zu Zuckerlösung bzw. Futter ° Sättigung an Zucker ° Vermeidung desentsprechenden Verhaltens-> S-R-C-Lernen
   • Rolle der Kontingenz
     • Abergläubisches Verhalten
       • = zufällige Verstärkung von Verhaltensweisen
       • Exp. Skinner: Tauben alle 15 Sek Belohnung
       • Mensch
         • => Abergläubisches Verhalten tritt insbesondere in Situationen auf, in denen Lebewesen nur unzureichend Kontrolle über die Ereignisse haben (z.B. Sportler, Spieler, Verhalten beim Einwurf einer Münze)
   • Stufenweise Annäherung (Shaping)
     • Methode
       • 1. Abwarten, bis das Lebewesen ein Verhalten zeigt, das in die gewünschte Richtung geht oder einen Teil des gewünschten Verhaltens beinhaltet ->Verstärkung 2. Bewegung tritt häufiger auf 3. Nur noch Verhalten verstärken, das dem Gewünschten etwas näher kommt 4. Verhalten zunehmend selektiver verstärken, bis exakt das gewünschte Verhalten gezeigt wird
     • Anwendung
       • beim Menschen
         • Exp. reduzierter Kokainkonsum
         • Exp. Schulverweigerer
       • ad hoc Entscheidungen

10. Verstärkung & Verhaltenskontrolle

    • Verstärker
      • = jeder Reiz, der die Auftretenswahrscheinlichkeit eines Verhaltens erhöht
      • Arten von Verstärkern
        • Positive Verstärkung
        • Negative Verstärkung
        • Löschungstraining
        • Bestrafung 1. Art
        • Bestrafung 2. Art
      • Primäre Verstärker
        • ohne vorherige Lernerfahrung verstärkend
      • Sekudäre Verstärker
        • Zunächst neutrale Reize, die durch Paarung mit primären Verstärkern selbst zu Verstärkern werden (z.B. Geld)
    • Verstärkungspläne
      • siehe Schema Kap. 6, F. 32
      • continuous reinforcement (CRF)
        • im Alltag
      • Fester Quotenplan (FR)
        • Nachverstärkungspause
          • -> Verstärker‐Distanz‐Hypothese
      • Variabler Quotenplan (VR)
        • Bsp: Glücksspiel, Sport
      • Fester Intervallplan (FI)
        • Bsp. Studienverhalten in Psychologiekurs
      • Variabler Intervallplan (VI)
        • Bsp. auf Post warten
      • Löschungsresistenz
        • Vgl. der Verstärkerpläne
          • CRF am wenigsten löschungsresistent
          • Exp. Tauben nach Verstärkerplänen konditionieren
        • Partieller Verstärkungseffekt
          • Die Extinktion nach einer CRF‐Konditionierung erfolgt schneller als bei intermittierenden Verstärkungsplänen
        • Humphreys Paradox
          • Diskriminationshypothese
            • Veränderungen in den Verstärkungskontingenzen werden erkannt
          • Generalisierungsabnahme‐Hypothese
            • abnehmende Reaktionsgeschwindigkeit, wenn Testreize dem Trainingsreiz immer weniger gleichen
        • Thomas Browns Häufigkeitsprinzip
          • „Je häufiger zwei Stimuli kombiniert werden, desto stärker wird das betreffende Individuum sie assoziieren“
        • ZwischenFAZIT
          • ° CRF führt zu schnellem Verhaltensaufbau, aber mit geringer Löschungsresistenz ° Methode der Wahl: CRF zu Beginn, dann allmählich Übergang zu variablem Quotenplan ° Vorsicht! Verstärkung kann die Motivation ruinieren… -> Überrechtfertigungseffekt (Overjustification, Tang & Hall,1995)
          • Mischung
            • => CRF zu Beginn, dann allmählich Übergang zu variablem Quotenplan
          • Überrechtfertigungseffekt
      • kontinuierlich
        • Verhaltensaufbau
          • kontinuierliche Verstärkung: CRF
      • intermittierend
        • Verhaltensstabilisierung
          • Intervallplan: konstant <-> variabel Quotenplan: konstant <-> variabel
      • kontingente Verstärkung
        • Verstärkung hängt ab von und folgt dem gewünschten Verhalten
      • nicht-kontingente Verstärkung
        • zufällige Verstärkung, unabhängig von eigenem Verhalten; kann zu ‚abergläubischem‘ Verhalten führen
      • Faktoren die Performanz von Verstärkungsplänen beeinflussen
        • Merkmale des Verstärkers
          • Qualtität
          • Häufigkeit
          • Verzögerung
          • Exp. Neef: Variation der Testbedingungen
        • Verhaltensimpuls
          • Je stärker der Verhaltensimpuls, desto löschungsresistenter das Verhalten
          • Exp. Nevin: verschieden oft Verstärkung des Pickens von Tauben
          • Exp. Nevin & Grace: Drogensucht innerhalb & außerhalb der Klinik
        • Kontingenzgeleitetes vs. regelbestimmtes Verhalten
          • FR‐Plan: kontingenzgeleitetes Verhalten -> Stop & Go Aber: menschliches Verhalten auch regelbestimmt!
        • Verstärkungsgeschichte
          • Exp. Weiner: Menschen: zwei versch. V'pläne werden nach einiger Zeit auf gleichen umgestellt

11. Biologische Randbedingungen

    • Instinktneigung
      • konditioniertes Verhalten weicht instinktivem Verhalten
    • Autoshaping
      • Exp. Brown & Jenkins: Pickverhalten von Tauben
        • Ratten picken auf Futtertaste, obwohl Futter unabhängig der Taste gegeben wird

12. ZwischenFAZIT

    • Lernverhalten in der OK hängt ab von °  Verstärkungsplänen ° Größe und Qualität von Verstärkern ° Art der operanten Reaktion (Anstrengung) ° Motivationsgrad / Verhaltensimpuls ° Verfügbarkeit alternativer Verhaltensweisen ° Beim Menschen zusätzlich die Lerninstruktion, Regelanwendung ° Verstärkungsgeschichte

13. Anwendung der OP

    • Bsp.
    • Sprachtraining mit autistischen KIndern
      • Kardinalsymptome
        • ° extremer sozialer Rückzug ° keine Kommunikation (Kanner‐Autismus) ° keine „normale Sprache” (Asperger‐Autismus) ° völlig stumm oder Echolalie (direkte Wiederholung des gehörten Wortes) ° einfache, repetitive Verhaltensweisen – Stereotypien (Hin- und Herschaukeln, Drehen von Gegenständen, Fingertippen usw.) ° Bedürfnis nach Gleicherhaltung der Umwelt
      • Lovaas-Technik
        • Promt & Fading
        • Erfolgsfaktoren
          • -> intensive Verhaltenstherapie nötig -> früher Beginn
    • Token Economies
      • "Ersatzökonomie"
      • Bsp. Psychiatrische Klinik, Schule
      • Exp. Uni Kansas, Studentenwohnheim
        • Unterschied: mit & ohne Verhaltenssteuerungsprogramm
    • Verhaltensmanagement in Organisationen
      • Exp. Wallin & Johnson
    • FAZIT
      • ° Kritik: Belohnung und Bestrafung sind nichts Neues °  ABER: Forschung zur O.K. hilft, die Mechanismen von Belohnung und Bestrafung besser zu verstehen: ° Was fungiert alles als Verstärker (z.B. Zuwendung, Aufmerksamkeit)? ° Welche Auswirkungen hat intermittierende Verstärkung? ° Wie beeinflussen die antizipierten Konsequenzen unser Verhalten?

14. Bestrafung

    • = Bestrafung ist gekennzeichnet durch die Präsentation eines Reizes als Konsequenz eines (unerwünschten Verhaltens), und einer daraufhin einsetzenden Verringerung der Verhaltensrate. = diskriminativer Hinweisreiz
    • Kontingente Bestrafung
      • Kontinuierliche Bestrafung
      • Intermittierende Bestrafung
    • Nicht-kontingente Bestrafung
    • Faktoren der Wirksamkeit
      • Intensität
        • Exp. Holz & Hake: Schock von konstanter/ anfangs geringer Stärke
      • Unmittelbarkeit
      • Bestrafungsplan
        • kontinuierliche Bestrafung erfolgreicher
      • Verhaltensmotivation
        • Exp. Azrin & Holz: hungrige Tauben & Elektroschocks
      • Verfügbarkeit alternativen Verhaltens
        • Exp. Azrin & Holz: Tauben; Bestrafung für Picken mit & ohne Alternative
    • Bsp.
    • Nachteile
      • Emotionale Nebenwirkungen
        • Angst, Wut, Hilflosigkeit
      • Interferenz
        • Studenten machten mehr Fehler in einer Gedächtnisaufgabe, wenn jeder Fehler geschockt, als wenn jeder Fehler per Ton gemeldet wird
      • allg. Verhaltenshemmung
        • Wenn nicht klar ist, welches Verhalten genau bestraft wird, dann kann es zu einer allgemeinen Verringerung von Verhalten kommen
      • Schwierigkeit des Überwachens des Verhaltens
      • Umgehung
        • Exp. Azron & Holu: Elektroschocks; Ratte auf Rücken legen
      • Aggression
        • Exp. Ulrich & Azrin: Tiere in Miteinander nach Elektroschocks
    • FAZIT
      • ° Bestrafung hat viele Nachteile. Immer wenn Verstärkung gleichermaßen möglich ist, sollte Bestrafung daher vermieden werden. ° Aber Bestrafung kommt vor!
    • 4-Felder Schema

15. Nicht-Kontingente Bestrafung

    • Erlernte Hilflosigkeit
      • Erfahrung, dass Bestrafung nicht durch eigenes Verhalten beeinflusst werden kann, erschwert den Erwerb und/oder die Ausführung instrumenteller Reaktionen. Tiere lernen, dass eigenes Verhalten keinen Effekt hat
      • Exp. Overmier & Seligman, (Maier)
        • Tiere Schock entweder entkommen oder nicht
      • beim Menschen
        • Exp. Hiroto
          • Licht + laute Geräusche vermeidbar oder nicht
        • Effekte erlernter Hilflosigkeit
          • motivationales Defizit
            • keine Anstrengung zu fliehen
          • kognitives Defizit
            • verzögertes Lernen
          • emotionales Defizit
            • Apathie, „Depression“
      • Generalisierung
        • Exp. Seligman & Hiroto
          • lösbare & unlösbare kogn. Diskriminationsaufgaben
      • Vermeidung
        • Vortrainings
          • trainieren von: -Selbstwirksamkeit -Kontrolle

16. Verhaltensreduktion in der VT

    • Def./ Ziel
      • Ziel: Verlangsamung, Verringerung oder Beseitigung eines unerwünschten Verhaltens.
    • Reduktion kontrollierbaren Verhaltens
      • Bsp: Schimpfen
    • Reduktion automatischen Verhaltens
      • Bsp: Bruxismus
    • Verhaltenskosten in Token-Economies
    • Time-Out (Auszeit)
    • Überkorrektur
      • Strafarbeit
    • Verstärkung von Alternativverhalten
    • Sättigung
      • Bsp: Horten von Handtüchern bei Schitzophrenie-Patientin
    • Kontroverse
      • ° wirksam! ° ethische Probleme (Zustimmung des Patienten notwendig, Recht auf Verweigerung, gerichtliche Anordnung)
    • Extinktion
      • Verstärker des negativen Verhaltens eliminieren

17. Rolle des Verstärkers

    • Rolle der Reaktion
      • Exp. Thorndike
        • Ratte durch Labyrinth 'fahren'
    • Exp. Latentes Lernen
      • Ratte durch Labyrinth; mit/ ohne/ verzögerte Belohnung
      • Kompetenz
      • Performanz
      • Latentes Lernen
        • Verstärkung ist für das Lernen (Kompetenzerwerb) nicht nötig!!
    • Erwartungen bzgl. des Verstärkers
      • ° Befunde: Tiere bilden Erwartung darüber welche Konsequenzen ihr Verhalten hat ° Es werden S‐R‐C Assoziationen gelernt!! ° Tiere sind zu zielgerichteten Handlungen fähig: Repräsentationen über Ursache‐Wirkungsbeziehungen ° Beurteilung der Fairness des erhaltenen Verstärkers
    • Viszerale Reaktionen
      • Exp. elektr. Stimulation des Gehirns von Ratten -> Shaping
    • Biofeedback
      • Jedes Verfahren, das darauf ausgerichtet ist, die Person mit einem intensivierten Feedback zu einem körperlichen Prozess zu versorgen
      • Bsp: Spannungskopfschmerz
    • Vorhersagefaktoren
      • Zirkelschluss
        • Erhöhung der Auftrtenswahrscheinlichkeit des Verhaltens
      • Bedürfnisreduktion
        • biologisches Bedürfnis -> Clark Hull (1946): Alle Stimuli, die ein biologisches Bedürfnis reduzieren (z.B. Nahrung, Wasser, Wärme) wirken als Verstärker -> Problem: auch andere nicht-biologische Bedürfnisse erfüllende Verstärker; biologische Bedürfnisse, die nicht als Verstärker umgesetzt werden
      • Triebreduktion
        • Jede starke Stimulation ist für einen Organismus ein aversiver Reiz -> Jeder Reiz, der diese Stimulation reduziert, ist ein Verstärker
      • Transsituationalität
        • Ein Verstärker, der für ein Individuum in einer Situation als Verstärker fungiert, sollte das auch in anderen Situationen tun
      • Premack'sches Prinzip
        • Def.
          • Jedes Verhalten, dass spontan häufiger gezeigt wird als ein anderes, kann als Verstärker dienen
          • Relativität der Verstärkung
            • Jedes Verhalten, das wahrscheinlicher ist als ein anderes, kann dieses verstärken
        • Exp. Kapuzineräffchen
          • 3 Aktivitäten unterschiedlicher Wahrscheinlichkeit -> nicht jede verstärkt tatsächlich jede
        • Verhaltenstherapie
          • Exp. Allison: Theorie der Reaktionsdeprivation
            • Bewegung & Soziale Interaktion als ggs. Verstärker
            • Behandlungsvertrag
            • künstliche Verknappung
              • des weniger wahrscheinlichen Verhaltens
          • Vorteile
            • ° hohe praktische Relevanz ° Verhaltenshierarchien von Individuen aufdecken -> Verstärker identifizieren ° Häufig günstiger als Token‐Prinzip ° weniger Sättigung ° kann auch zur Bestrafung angewendet werden (Verhalten mit geringer  Auftretenswahrscheinlichkeit dient als Bestrafung für Verhalten mit höherer Wahrscheinlichkeit)
    • Funktionsanalyse von Verhalten & Verstärkern
      • "Wodurch wird ein unerwünschtes Verhalten aufrechterhalten?"
      • Exp. 10-jähriger mit SIB

18. Verhaltensökonomie

    • operante Konditonierung vs. Mikroökonomie
      • ° Beide untersuchen individuelles Verhalten (individuelle Spezies vs. individuelle Konsumenten) ° Beide untersuchen den Umgang mit begrenzten Ressourcen (Verstärker vs. Geld) ° Beide versuchen Vorhersagen darüber zu treffen, wie Individuen sich verhalten, um knappe Güter zu erhalten
    • Optimierung als Grundannahme der Mikroökonomie
      • Optimierungstheorie
        • So, dass der maximale subjektive Nutzen für den Konsumenten resultiert
        • Vorhersagen der Optimierungstheorie
          • Der Wert eines Gutes sinkt mit seiner Verfügbarkeit
          • Exp. Wertfunktionen von Büchern
    • Optimierung & Verhaltensökologie
      • Bsp: Jagen von Beute
    • Nachfrage
      • Elastizität
      • Unelastizität
      • Exp. Tierversuch
    • Verhaltensökonomie & Drogenmissbrauch
    • FAZIT
      • ° Problematische Verhaltensweisen sind keine unheilbaren Krankheiten sondern u.U. ökonomische Verhaltensweisen ° Die Verhaltensweisen können durch angemessene Veränderung der Umwelt des Individuums verändert werden ° Terminologie der Verhaltensökonomie: Angebot, Nachfrage, Elastizität ° Terminologie der Lerntheorie: Verstärkung, Bestrafung, Stimuluskontrolle