④ 학습 : ppt 내용과 족보 정리

이건... 절대... 꿀강이... 아니다... 

심리학개론이라고 하면 내가 평소에 사람들로부터 들은 것이 있어 Aristotle의 심리적 연합 법칙 중 빈도 법칙에 의해 꿀강이라는 인식을 가지기 마련이었는데, 이것(심리학개론, CS)이 US(시험 공부와 관련된 부정적인 자극)과 이어져서 UR(부정적인 정서 반응)을 유도하는 과정에서 조건 정서반응에 의해 CS가 CR*을 촉발하는 것 같다. 

또한 중간고사와 기말고사를 보는 것이다 보니까 고정간격계획(FI)에 의해 벼락치기를 하게 되는데... 또 내용도 완전히 납득되는 것이 아니라서 일련의 문제-답 세트만 가지고 효과의 법칙(law of effect)에 의한 무차별적 강화학습만을 하는 것만 같은 느낌이 든다. 

물론 그것도 넓은 의미에서의 학습이라고 할 수 있다. 

근황 보고

 

 

 

---

4. 학습

 

학습

- 새로운 행동의 획득, 기존 행동의 증가와 감소, 기존 행동의 제거

- 움직임(movement) -> 운동(motion) -> 행동(behavior) -> 행위(action) -> 품행(conduct)로 갈수록 고차원적. 이것들은 모두 경험(반복되는 자극, 입력정보)을 통해 바뀐다. 

-- 행동은 고차원적인 운동. 행위는 의도를 가진 행동. 품행은 규법, 규율, 윤리, 도덕 등등의 고차원적인 행위. 

 

습관화(habituation)

- 자극에 반복 노출되면 반응경향성이 감소한다. 생존에 필수적인 반응을 위한 자극범위를 축소시키기 위함이다. 

- 유기체가 환경에 맞서 행동을 조율하는 방식의 기초. 

- 단기 습관화와 장기 습관화. 

계속 노출되는 자극에는 반응경향성이 감소하는데, 이것을 습관화라고 한다. 인지도는 Tolman의 동물인지학습 이론에서 잠재학습 현상을 설명하는 이론으로 학습에 관여하는 내적 표상을 의미한다. 감각 사전조건 형성은 고전적 조건형성을 결정하는 요인 중 하나로, US를 동반하지 않는 CS가 사전제시될 경우 나중에 US를 동반하는 CS로 조건형성을 시도하더라도 성공하지 못하는 잠재적 억제 현상을 의미한다. 지각적 재구성은 Köhler의 침팬지 Sultan이 도구를 만드는 등 개체발생적인 통찰행동을 설명하는 개념이다. 2.

 

조건형성

- 조건형성(=조건화, 연합학습) : 동물이 특정 행동을 하도록 조건지우는 것. 

- Aristotle의 심리적 연합 법칙 : 유사성 법칙(돼지와 소가 같이 연상), 대비 법칙(흑과 백이 같이 연상), 빈도 법칙(엄마와 잔소리가 같이 연상), 근접성 법칙

- 근접되어 나타나는 자극들은 함께 기억될 뿐만 아니라 연결된 행동도 유도한다. 

 

---

 

고전적 조건형성(classical conditioning)

- 파블로프(Pavlov) : 침 흘리는 반사를 생리적인 것에서 심리적인 것으로 확장.

- C(conditional), U(unconditional), S(stimulus), R(response)

-- 고기가루(US) -> 침분비(UR)은 무조건 반사 고리이다. 

-- 소리자극(CS)로 정향 반사(중성 자극, CR)가 발생하는 것은 조건 반사 고리이다. 

-- 고차 조건 형성(고순위 조건 형성, higher-order conditioning) : CR과 US가 동시에 묶이게 되면 CS가 CS*가 된다. 이것은 침분비(CR*)를 형성한다. 

- 무의미 철자 단어 실험(Staats 부부) : 긍정적인 단어(US)와 함께 무의미 철자 단어(CS)를 보여주면 CS가 CS*가 되어 CR*(긍정적 감정)이 형성된다. 

쓰기는 귀찮은데, 나중에 찬찬히 다시 생각해보자. 

잠재학습은 Tolman의 인지학습 이론에서 보상 없이도 학습이 이루어진다는 점을 이야기한다. 특정 대상(CS)에 왠지 모르게 좋거나 나쁜 감정을 느끼는 이유는 자신도 모르는 사이에 그런 감정을 조성하는 US에 동시에 노출되어 고차 조건 형성이 이루어졌기 때문인데, 이것은 고전적 조건형성 이론에 기반한다. 무의미 철자에 대한 편견 또는 감정이 있는 것과 비슷한 원리이다. a.

 

---

 

조건 정서반응(CER, conditioned emotional response, Watson) : 쥐를 무서워하지 않는 아이의 조건형성을 통해 공포학습

- 흰 쥐(CS)를 보여준 이후 큰 소리(US)를 내면 아이에게 공포반응(UR)이 발생하는데, 이것이 조건 정서반응(CR*)으로 바뀐다. 

- 이후 형성된 흰 쥐에 대한 공포반응은 흰색 털이 난 물체로 일반화되어 흰 수염을 무서워하게 된다. 

 

- 체계적 둔감화(systematic desensitization, Wolpe) : 공포를 버리는 방법론

-- 역-조건 형성(counter-conditioning) : CS(공포자극)에 CER(조건공포)를 발생하는 경우, US(크래커 등 즐거운 자극)를 CS와 같이 점진적으로 제공해나가면 CS가 US로 이어져 UR(긍정적 반응)으로 이어질 수 있다. 

-- 가상현실 노출치료(virtual reality) : 현실 치료에 준하는 효과를 얻을 수 있다. 

조건 정서반응을 이용하여 역조건형성을 노리는 것이 체계적 둔감화를 이용한 치료이다. 가상현실 노출치료가 그 사례이다. d.

---

조작적 조건형성

- 조작적 조건형성(=도구적 조건형성, Thorndike) : 행동(도구)는 세계의 변화를 초래한다. 그리고 그 세계의 변화는 행동의 발생을 조율한다. 고양이를 통 안에 넣고 탈출할 수 있는지 실험

-- 효과의 법칙(law of effect) : 시행을 반복할수록 잘 빠져나오는 편이다. 효과를 일으키는 행동을 강화하기 때문이다. 

 

- Skinner의 조작적 학습(Operant learning) : 유기체는 자극에 반응을 보이는 수동적 존재(S->R)가 아니라 행동을 통해 환경을 변화시키는 능동적 존재(R->S). 

- 행동공학, 행동치료 : 새로운 행동 만들어내기. 

-- Skinner box(operant chamber) : 누가반응 기록기를 통해 반응률과 반응률 변화를 살핀다. (보상과 처벌)

-- 행동 조성(shaping) 과정 : 계기적 근사 행동의 강화이다. 처음에는 몸을 돌리면 먹이를 주고 나중에는 레버를 눌러야 먹이를 준다. cf) Agnes 행동조성 실험

행동조성을 학습하기 위해서, 특정 행동이 특정 결과로 이끌어진다는 것을 꼭 보장할 수 있도록 해야 한다. d.

---

Skinner의 강화계획

- 부분강화효과(cf. Thorndike의 효과의 법칙에 위배) : 강화(보상)이 부분적으로만 제시된다. 

- 전체강화는 일정 시행 이상 보상이 끊기면 반응률이 현저히 감소한다. 강화물(먹이, 칭찬)의 제시 방식에 따라 행동패턴이 달라지는 방식. 

- 비율계획(R) : 행동 횟수에 따라 강화물 제시. 유기체 행동에 따른다. 

- 간격계획(I) : 일정 간격이 지나고 나서 행동할 때 강화물 제시. 환경적 제약에 따른다. 

- 고정계획(F) : 비율과 간격이 고정적이다

- 변화계획(V) : 비율과 간격이 임의적임

 

- 고정비율계획(FR) : 뿌린 만큼 거둔다. 외국어 공부 등. 

- 변화비율계획(VR) : 많이 하면 거둘 확률이 높아진다. 세일즈맨의 업무, 도박, 가챠. 

- 고정간격계획(FI) : 일정 시간이 지나갈때쯤 하면 거둔다. 시험 벼락치기, 농사. 

- 변화간격계획(VI) : 평소에 꾸준히 하면 거둘 확률이 높아진다. 아무 때나 보는 수행평가. 

변화비율계획이 중독과 관련있다. 4.

Thorndike의 효과의 법칙에 위배되는 것은 부분강화이다. 행동조성은 전체강화 중심이다. 그리고 나서 부분강화로 바꾸는게 맞지 않나 싶다. 강화물이 더이상 제공되지 않을 때 전체강화 조건에서는 행동이 급하게 감소한다. Skinner의 강화계획은 기본적으로 부분강화효과를 기반으로 하고 있다. 1번은 무슨 말인지 모르겠다. 4.

할당된 업무량을 수행하는 것은 고정비율계획이며, 일정 간격으로 도착하는 지하철을 기다리는 경우 간격이 고정이다. 세일즈맨의 노력은 변화비율계획에 의한 것이고, 꾸준한 노력은 변화간격계획과 관련있다. b.

꾸준한 것은 변화간격계획이다.

Skinner의 강화계획 이론은 부분강화를 기반으로 한다. 환경적 제약에 따른 것은 간격계획이고 행동패턴에 따른 것은 비율계획이다. 부적 강화는 나쁜 것을 지칭하는 것이 아니고, 특정 행동을 통해 어떤 결과를 끊을 수 있다는 것을 학습한다는 뜻이다. 다른 말로 부정적인 결과가 사라지는 것이 강화물로 제기되는 강화를 의미한다. 한편 이 이론은 처벌의 효과에 대해 이야기하지 않는다. d.

꾸준히 공부하는 학생은 기다리는 존재이다. 이 경우 변화간격계획이 작용하는 것으로 볼 수 있다. 작업과 휴식시간을 번갈아 가지는 행동계획의 경우 고정간격계획이 작용한다고 볼 수 있다. 세일즈맨의 업무의 경우 많이 일하면 많이 얻기 때문에 그만큼 노력을 쏟는 변화비율계획이 작용한 것이다. 쿠키가 구워지는 것은 시간이 걸리는 것이므로 간격계획으로 보아야 하는데, 고정간격계획으로 보는 것이 적당하다. 1.

선지 뒷부분 잘림. / 도박이나 보험회사 우수직원 등은 일에 투자를 많이 할 수록 성과를 거둘 확률이 높아지는 것으로 변화비율계획이 적용된다. 4.

Skinner의 강화계획은 기본적으로 전체강화가 아닌 부분적인 강화물을 제공한다는 전제를 하고 있다. 학습된 무기력은 수동적 도피학습의 경우에 조건형성 대신에 얻게 되는 것으로 우울증과 관련있다. 습관하는 유기체가 환경에 맞서 행동을 조율하는 방식의 단위이다. b.

 

 

 

그냥 수업 내용이라기보단 가볍게 말하고 넘어간 내용인데, Walden Two의 내용은 저자 Thoreau가 이상사회를 만들어가는 내용이다. 부인에게 주는 책으로 썼다고 들은 기억이 있는데, a의 진술과는 다르게 성공적인 이상사회를 그린 모양이다. 강화학습에 기반했다는 이야기도 들었다. 아마 정치학적 이상사회를 심리학 이론을 따라 만들어나가는 이야기가 주축을 이루는게 아닐까? a.

 

---

도피학습(escape learning)과 회피학습(avoidance learning)

- 부저 소리가 난 후 10초 후에 방 A에 전기 쇼크가 온다. 

-- 도피행동 = 아파서 도망가는 것. 회피행동 = 아프기 전에 미리 도망가는 것.

-- 능동적 도피학습 : 처벌을 직접 차단할 수 있다. 

-- 수동적 도피학습 : 처벌을 직접 차단할 수 없다. -> 학습된 무기력(Seligman), 우울증. 

- 부적 강화(negative reinforcement) : 힘든 상황에서도 직접 행동하여 처벌자극의 원천을 끊을 수 있다는 것을 알려주는 과정에서 무기력을 깰 수 있다. 부정적인 강화라는 뜻이 아니라, 특정 기작을 소멸하도록 하는 강화라는 뜻이다. 

도피행동을 할 수 없을 때, 혹은 고통자극을 스스로 통제할 수 없을 때 학습된 무기력이 나타난다. 4.

고통자극을 통제하는 도피행동이 실패할 때 학습된 무기력이 나타난다. a. 

이완된 경험에 따른 보상이 반복되는 것은 역조건형성을 통한 체계적 둔감화와 관련있는 개념이다. 학습된 무기력은 도피학습이 실패하였을 경우 고통자극을 회피하지 않으려는 무기력을 의미하는데, CS와는 관련이 적고, US를 스스로 통제할 수 있는 능력이 있는지의 여부가 중요하다. 수반성과도 관련이 적다. d.

도피학습은 고전적 조건형성이 아닌, 행동을 통해 환경을 변화시키는 조작적 조건형성 이론에 해당하는 학습 개념 중 하나이다. b.

 

---

조건형성의 영향 요인

- CS-US 근접성 : 흔적(trace), 지연(delayed)절차는 CS로서 잘 기능한다. 

-- CS보다 US가 선행하는 동시(simultaneous), 역향(backward)절차는 조건 형성을 할 수 없어 의미가 없다. 

- CS-US 시간간격 : 소리(CS)-공기분사(US)-눈깜박임(UR->CR) 반사는 0.4초대에서 효율적이다.

-- 맛 혐오학습 : 사카린물(US)-방사선(CS)-복통(UR->CR)반사는 시간이 24시간 지연되어도 효과가 있다. 딱 한번만 겪어도 효과가 있다. cf) 어린아이가 채소를 피하는 이유?

- CS-US 수반성(Rescorla, 1968) : P(US|~CS)가 0에 가까운 일관적인 상황에서 조건형성이 잘 된다. 

-- 지시가 분명한 상사가 있을 때 조직 분위기가 좋아진다. CS 없이 뜬금없는 US를 제공하는 경우 조건형성이 이루어지지 않는다. 

맛 혐오학습은 단 한번의 경험만으로, 오랜 시간의 CS-US 지연이 있어도 발생할 수 있는 고전적 조건형성 중 하나이다. 잠재학습과 관련없다. d.

Rescorla는 CS의 여부에 따른 US의 조건부확률을 분석하였다. 조작적 조건형성의 강화계획을 구분한 것은 Skinner이다. 도구적 조건형성에서 효과에 따라 행동이 변화한다는 효과의 법칙을 제시한 것은 Thorndike이다. d.

문제 : 학습에서 Rescorla의 수반성 실험은? / 조건형성의 영향요인을 따질 때는 고전적 조건형성에 대한 재해석을 논의영역으로 한다. 조작적 조건형성 이론에서 부분강화를 기반으로 강화계획 패턴을 구분한 것은 Skinner이다. 도구적 조건형성과 조작적 조건형성은 같은 대상을 지칭한다. 4.

CS가 있든 말든 똑같이 US가 발생한다면 CS는 아무 효과를 발휘하지 못한다. 모든 중성자극(예비 CS)가 조건형성될 수 없다는 사실을 잘 지지한다.  벨소리의 부재(P)가 고기(Q)로 이어지는 것은 조건이 부재속성일 뿐이고 일반 경우와 똑같이 수반성(부적 수반성)이 작용한다. 이와 같이 Pavlov의 개가 조건형성을 할 수 있던 이유는 CS가 UR로 이끌어진다는 점을 추리(과학자의 활동과 유사)하였기 때문이라고 생각해볼 수 있다. b.

맛 혐오학습은 CS가 US에 상당히 긴 시간 선행해도 학습이 이루어지는데, 파블로프식 고전적 조건형성으로 설명할 수 있다. 단 한번의 경험만 있어도 학습이 이루어진다. 어린아이가 특정 음식을 먹고 탈이 났을 때 그것을 피하는 기작과 비슷하다. 자발적 회복현상이 무엇인지는 모르겠다. b. 

Rescolar는 조건자극이 없을 때 무조건자극이 따르는 비일관적인 상황이 적은 상황에서 조건형성이 잘 된다고 하였다. b.

 

---

복합자극의 반응

- 뒤덮기(음영화, overshadowing) : CS1(강)&CS2(약) 이후 CR이 주어지는 경우, CS2에 비해 CS1의 조건형성이 더 잘된다. 

- 잠재적 억제 : CS에 대한 사전 노출(US가 없는)에 노출될 경우 조건형성이 잘 안된다. 

-- 술 마시고 별 탈이 없던 경험이 많은 사람은 술을 많이 마시고 큰일이 생겨도 조건형성이 되지 않는다. 

- 차폐(blocking) : CS1 이후 US로 조건형성이 이루어져있을 때, CS1&CS2로 조건형성을 시도해도 CS2는 조건형성이 되지 않는다. 

- 전이효과(감각 사전조건형성) : CS1&CS2 이후 US로 조건형성이 이루어져 있을 때, CSi만 주어져도 CR이 촉발된다. 

전이효과는 감각사전조건형성의 전제조건인 것은 맞다. 다만 조건형성의 요인과는 관련없고, 복합자극에 대한 반응과 관련있다. 한편 수반성 요인은 CS의 여부에 따른 US의 확률과 관련있다. 1.

조건자극의 강도차이로 인한 경쟁과 관련있는 것은 뒤덮기이다. 1.

수반성 요인은 CS의 여부에 따라 US가 발생하는 정도가 얼마나 일관적인지를 의미한다. 감각 사전 조건형성(사전 노출과 다르다!!!)은 전이효과와 관련있는데, 복합자극으로 인해 조건형성이 될 경우 그 중 한 자극만 주어져도 전이되는 것을 의미한다. 잠재적 억제는 사전 노출과 관련된 것이지, Tolman 동물인지이론의 잠재학습과는 무관하다. 근접성은 눈 깜빡임 학습에는 1초 미만이 효과적이지만 맛 혐오학습 등은 24시간이 지난 후에 조건형성이 되기도 한다. c.

조건자극의 강도차이에 의해 조건형성 정도가 달라지는 것을 뒤덮기라고 한다. b.

뒤덮기는 조건자극끼리의 경쟁과 관련된 것이다. 잠재적 억제와는 관련없고, 차폐와 다르다. 4. 

체하는 경험(US)를 동반하지 않는 음식의 섭취(CS) 경험이 사전에 많이 제시되었으므로 혐오를 학습하는 조건형성이 잘 발생하지 않는다. 2.

차폐와 뒤덮기는 다르다. 차폐는 CS1로 학습했을 때 나중에 CS1&CS2로 조건형성을 시도해도 CS1의 영향에 차폐되어 CS2가 조건형성을 일으키지 못하는 현상을 말한다. 뒤덮기는 강도가 다른 조건자극에 의해 특정 조건자극이 조건형성을 더 잘 하는 경우를 의미한다. 따라서 무조건 자극과는 관련없다. 한편 잠재적 억제는 UR로 이어지지 않는 CS를 여러번 사전노출할 경우 학습을 시도해도 CR로 전환되지 않는 것을 이야기한다. d.

 

---

Tolman의 인지학습 

- 쥐를 케이블카에 태워 T자형 미로의 일부 공간만의 성격을 학습시키면, 나중에 미로에 풀어놓아도 조건형성이 됨. 

- 이것은 자극에 기계적인 반응을 보이는 것이 아니라 일종의 내적 표상이 존재하기 때문이다. 따라서 행동(움직임)은 학습에 필수적이지 않다. 

- 잠재 학습(latent learning, Tolman) : 보상이 항상 주어지는 경우에 비해 무보상으로 학습을 하는 경우, 갑자기 보상이 주어지게 되면 과제를 더 잘 수행한다. 이것은 보상 없이도 학습이 잘 이루어진다는 것을 의미한다. 

-- 인지도(인지圖, cognitive map) : 자극과 반응 사이를 매개하는 일종의 내적 표상. 잠재 학습을 설명하는 개념.

잠재학습은 보상이 없어도 학습이 이루어질 수 있다는 점을 이야기한다. 2.

Tolman은 잠재 학습 이론을 통해 보상을 통한 강화학습이 학습에 필수적이지 않다는 점을 보였다. b.

Tolman의 이론에서 쥐의 수행이 보상이 주어진 후 급격히 개선된 문제는 쥐가 이미 미로 공간에서 내적 표상인 인지도를 만들어나갔기 때문이라고 생각하였다. 문제표상 재구성은 인간의 사고(=문제해결 과정)에서 문제 해결 방법으로 제시된 것이고 Tolman의 실험과 관련이 적다. 

---

 

통찰행동

- Köhler의 침팬지 실험(Aha experience), Sultan의 도구 제작

- Thorndike의 고양이 상자는 강화학습을 시사하고, Köhler의 침팬지는 지각적 재구성을 지지한다. 

- 비둘기 탁구 학습(Robert Epstein) : 고전적 조건형성을 통한 강화학습이 전제되어야 한다. 

- 개체 발생(ontogenesis) : 학습은 Sultan이 도구를 제작한 것과 같이 강화학습을 통한 개인적인 측면이 있다. 

- 계통 발생(phylogenesis) : 학습은 진화에 걸쳐 종-특유적으로 받은 결과이기도 하다. 

Epstein은 비둘기를 기본 운동 단위를 강화학습하는 방법으로 탁구를 훈련시켰다. Köhler가 제시한 Aha experience는 지각적 재구성에 따른 통찰행동이다. Tolman의 잠재학습 연구는 인지도 개념에 의해 설명되었다. 한편 그의 연구에 따르면 미로학습에서는 지속적인 강화학습이 학습에 필요하지 않으며, 오히려 강화물이 없는 상황에서도 잠재학습이 진행된다는 점을 시사하였다. b.

Kohler의 원숭이가 도구를 만든 통찰력은 개체발생적인 것으로 보는 것이 타당하다. 한편 Russel은 지각적 재구성에 비해 강화학습을 더 중요하게 생각하였는데, 시행착오를 통한 강화학습이 새로운 행동의 학습에 중요하다고 본 것이다. Epstein의 비둘기 탁구 학습 실험에서는 비둘기를 훈련시키기 위해 개별적으로 강화학습을 하는 방법을 선택하였다. 4.

Thorndike는 고양이 상자 실험을 통해 조작적 조건형성에서 효과의 법칙을 제시하였다. Tolman의 T자형 미로 연구를 통한 잠재학습 이론은 동물에게 내적 표상인 인지도가 존재한다는 점을 시사한다. 한편 a, b, d에서 동물이 지능이 없다는듯한 이야기를 하고 있는데 왠지 모르겠지만 이런건 거르자. c.