진정한 실험설계와 준실험설계의 차이

진정한 실험설계(true experimental design)과 준 실험설계(quasi experimental design)를 구분하는 제일 중요한 기준은 무선 할당을 처치 조건에서 사용하느냐? 사용하지 않느냐이다. 무선할당을 통해서 내적 타당도를 확립할 수 있다는 기대가 있다는 것이고, 그렇지 않다는 것이다. 연구의 내적 타당도를 확보해야 한다면, 각 처치 조건의 피험자를 무선할당을 한다는 것이다. 무선표집(random sampling)과 무선할당(random assignment)가 바로 외적 타당도와 내적 타당도를 확보하는 길이다.

 

조사설계는 실험변수의 노출시기, 대상의 통제정도, 실험 결과의 측정시기 그리고 실험 대상의 선정 방법에 따라 진정한 실험설계(true experimental design), 준(유사) 실험설계(quasi experimental design), 전 실험 설계(pre experimental design), 비실험 설계(non experimental design)의 네 가지로 구분된다.

 

(1) 진정한 실험설계(true experimental design)의 기본 요건

실험설계는 독립변수와 종속변수가 공동으로 변화하는 것을 입증하기 위한 비교, 시간적으로 독립변수가 우선함을 입증하기 위한 실험 변수의 조작, 두 변수의 관계가 허위적 관계가 아닌 것을 입증하기 위한 즉, 외부의 다른 변수에 의해 종속변수의 변화가 설명되지 않음을 입증하기 위한 통제의 세 가지 요소로 구성되어 있다. 이 세 가지 조건이 얼마나 충족되었는가에 따라 실험 설계의 수준에 차이를 가지게 된다.

1) 비교

연구자가 일정한 처치 혹은 개입을 실시한 실험집단과 아무런 처치 혹은 개입을 실시하지 않은 통제 집단 간 비교를 통해 독립변수가 종속변수에 영향을 미쳤는지를 알아보게 된다.

2) 조작

시간적으로 독립변수가 먼저 발생하고 이에 뒤따라 종속변수가 발생함을 입증하기 위해, 임의로 독립변수를 의도적인 시기에 발생하도록 하고 이에 뒤따른 종속변수의 변화를 측정하도록 시간적 순서를 조작함을 의미한다.

3) 통제

인과관계를 확인하기 위한 기본 조건으로서, 독립변수가 종속변수의 변화에 영향을 미쳐야 하며 동시에 독립변수 이외의 다른 변수가 종속변수에 영향을 미치지 않아야 한다. 이를 위해서 독립변수를 제외한 종속변수에 영향을 미칠 수 있는 여러 변수들이 종속변수에 영향을 미치지 못하도록 상황을 의도적으로 통제할 필요가 있다.

통제의 방법에는 외적인 요인들을 통제하는 방법과 내적인 요인들을 통제하는 방법이 있다. 외적인 요인들은 비교를 위한 두 집단, 즉 실험집단과 통제집단이 서로 다른 특징을 가진 경우 발생할 수 있으며, 내적인 요인들은 주로 실험 도중의 사건들에 의해 나타날 수 있다.

 

󰁮� 실험 설계의 유형

1) 통제집단 전후비교설계 (The Pretest-Posttest Control Group Design)

- 기호 표시 : R O1 X O2

- 기호 표시 : R O3 X O4

이 형태의 실험설계는 인과 관계의 추정을 위한 가장 전형적인 설계이다. 이 설계는 실험집단과 통제집단을 무작위로 배정하고, 실험 처치 전에 양 집단을 사전 검사하고 실험집단에만 자극을 준 후에 양 집단을 다시 사후 검사하여 전후 검사에서의 점수 차이를 비교하는 방법이다. 즉, 실험집단의 전후 비교 점수 차이와 통제집단의 전후비교 점수 차가 통계적으로 유의한가를 판단하는 것이다.

이러한 실험설계 유형은 외생변수의 통제가 용이한 반면 검사나 도구의 효과가 개입되어 특정한 개입의 효과를 측정하는 데 어려움을 줄 수 있다는 한계를 가진다. 예를 들어, 실험 대상자들이 실험의 목적을 알고 있거나 혹은 동일한 도구로 실험 전후를 측정할 경우 점수가 더 높아지는 경향이 있어 아무런 개입이나 처치를 하지 않은 통제 집단에서도 점수의 자연적 증가가 발견될 수 있다는 한계를 가진다는 것이다.

 

2) 통제집단 후 비교설계 (The Posttest-Only Control Group Design)

- 기호 표시 : R X O1

- 기호 표시 : R X O2

이 설계형태는 조사대상으로 선정된 표본을 무작위에 의하여 실험집단과 통제집단에 배정한 후 사전 조사없이 실험집단에 대해서는 실험처치를 하고 통제집단에 대해서는 실험처치를 하지 않고서 양 집단의 종속변수에 있어서의 특성을 조사하여 비교하는 것이다. 실제 현장에서는 사전 측정이 불가능한 경우가 많고 부작위 배정을 할 경우 실험집단과 통제집단을 사전에 동질화시킬 수 있는 가장 적절한 방법이므로 사실상 무작위만 잘 이루어지면 사전 검사 없이도양 집단의 동질성을 확보할 수 있다는 점과 사전 검사를 하지 않기 때문에 테스트 효과를 차단할 수 있다는 점에서 널리 활용되고 있는 실험설계이다.

 

3) 솔로몬식 4개 집단 비교 설계 (The Solomon Four-Group Design)

- 기호 표시 : R O1 X O2

- 기호 표시 : R O3 X O4

- 기호 표시 : R O1 X O5

- 기호 표시 : R O1 X O6

이 유형의 실험 설계는 연구자가 설정한 독립변수 이외에, 종속변수에 영향을 미칠 수 있는 모든 외생변수를 통제하기 위한 방법으로 네 집단을 무작위로 선정하고, 두 개 집단에는 사전 검사를 실시하며 나머지 두 개 집단에는 사전검사를 실시하지 않는다. 동시에 사전 검사를 실시한 집단 중 하나와 사전 검사를 실시하지 않은 집단 중 하나에 대해서는 개입을 하고 나머지는 하지 않는다. 솔로몬식 4개 집단 비교설계는 각 외생 변수별로 효과의 분리가 가능하고 외생변수의 통제가 편리하다는 점에서 매우 이상적이지만, 실제로 4개 집단을 무작위로 선정하기가 어렵고, 실제 적용이 복잡하고, 시간과 비용이 많이 든다는 점에서 현실적으로 적용하기가 쉽지 않다.

 

(2) 준(유사) 실험설계(quasi experimental design)

순수한 실험설계는 인과관계를 명확히 규명할 수 있으며, 내적 타당도가 높다는 장점에도 불구하고 실제 활용이 매우 어렵다. 그 이유는 연구 상황에 대한 인위적 통제가 어렵고 조사대상이 사람일 경우 발생하는 윤리적인 문제 등에 대한 명확한 해답을 가질 수 없기 때문이다. 이에 따라 비록 실험 설계에 미치지는 못하지만, 그 대안적인 방법을 통해 실험 설계에서와 유사한 효과를 얻을 수 있는 조사설계가 많이 활용되는데, 이것이 바로 유사 실험설계이다. 유사 실험설계는 시계열 설계(time-series design)와 비동일 통제집단 설계(nonequivalent control group design)가 대표적이다.

1) 시계열 설계(time-series design)

비교집단을 설정하기 곤란한 경우에 한 집단을 선택해서 독립변수의 조작이나 독립변수에의 노출 전에 3번 이상씩을 관찰(검사)하고 독립변수 도입 후에 3번 이상씩을 관찰하여 전후의 점수 또는 경향을 비교하는 것이다. 다시 말해, 독립변수 도입의 전후상태를 비교함으로써 변화의 차이가 있다면 이는 독립변수의 영향으로 보는 것이다. 이러한 시계열디자인은 내적 타당도를 저해하는 대부분의 요인들을 통제할 수 있지만, 외적 요인에 대한 통제는 어렵다. 따라서, 인과관계를 추정하는 데 상당한 위험이 있을 수 있다. 이를 개선하기 위해서는 같은 조사를 여러 집단에 되풀이하여 실시한 후 같은 결과를 얻을 수 있는지 확인하는 것이 필요하다.

 

단일 O1 O2 O3 O4 X O5 O6 O7 O8

집단 -------------------------------------------------> 시간

 

2) 비동일 통제집단 설계 (nonequivalent control group design)

비동일 통제집단 설계는 실험설계의 통제집단 전후비교와 유사하지만 비교 집단을 무작위로 선정하지 않는다는 차이가 있다. 비동일 통제집단 설계는 무작위배치 이외의 방법(매칭, 기존집단의 선정 등)으로 실험 및 통제집단을 선정하고, 양 집단에 대해서 사전검사를 실시하고, 실험집단에 개입을 한 후 양 집단을 사후검사를 실시하여 그 결과를 비교하는 것이다.

 

(3) 전실험 설계 (pre-experimental design)

전실험 설계는 무작위에 의하여 조사대상자가 선정되지 않고, 비교집단이 선정되지 않거나 비교집단이 선정되어도 집단 간의 동질성이 확보되지 않고, 또한 독립변수의 조작에 의한 변화의 관찰이 한 두 번 정도로 제한되어 있어 내적 및 외적 타당도 저해 요인이 거의 통제되지 못하는 한계를 가진다. 따라서 대체로 전실험 설계를 적용하는 연구들은 가설의 검증보다는 문제의 도출을 위하여 순수 실험설계를 하기 전에 시험적으로 탐색적 조사의 성격을 가진 경우가 많다.

1) 1회 사례연구 (one-shot case study)

기호 표시 : X -------------> O

1회 사례 연구는 실험 변수에 노출된 하나의 집단에 대해서 사후적으로 결과변수를 측정하는 방법으로 조작이나 집단의 무작위화가 이루어지지 않으며 연구자가 임의로 실험대상을 선정하는 방법이다. 이러한 설계 방법은 역사, 성장, 선택의 편견, 피험자의 상실 등의 요인들이 작용하여 내적 타당도가 낮고, 선택의 편견과 실험처치와의 상호작용으로 외적 타당도가 낮아질 수 있다는 한계를 가진다. 따라서 개입이 효과가 있는지 여부는 연구자의 직관에 의해 판단될 수 밖에 없다.

2) 단일집단 전후비교 설계 (one-group pretest-posttest design)

기호 표시 : O1 ---------------------> X ------------------------> O2

단일집단 전후비교 설계는 조사대상에 대해서 사전검사를 실시하고 독립변수를 조작 또는 독립변수를 노출시킨 후에 사후 검사를 실시하여 사전검사와 사후검사의 점수 차이를 비교하여 변수간의 관계를 추정하려는 것이다. 이 방법은 외생 변수의 통제가 불가능하기 때문에 추정된 인과관계의 신뢰도가 낮아지고 일반화의 가능성도 낮다는 한계를 가진다.

 

3) 고정집단 비교 설계 (static-group comparison design)

기호 표시 : X ________________ O1 실험집단

O2 통제집단

개입 사후검사

고정집단 비교설계는 실험대상을 두 개의 집단으로 나누어 실험을 가하는 집단과 실험을 하지 않는 집단으로 구분한다. 이 때 실험을 가하는 집단이 실험집단, 그리고 실험을 가하지 않는 집단이 통제 집단이 되며, 양 집단의 사후 검사 결과를 비교하는 방식을 취한다. 고정집단 비교 설계는 대상을 두 집단으로 나누어 측정하기 때무에 외적 사건이나 검사, 도구 효과등을 제거할 수 있지만, 반면 대상을 무작위로 선정하지 않기 때문에 집단간 동질성을 확보하지 못하는 한계를 가진다. 즉, 두 집단 간 기본적인 차이를 알지 못하기 때문에 독립변수의 영향을 정확히 측정할 수 없다는 한계를 가진다.

 

(4) 비실험 설계 (non-experimental design)

연구대상과 상황에 대한 독립변수의 조작이 가능하지만 그러나 집단을 선정할 때 무작위화가 불가능하고 독립적인 관찰이 불가능할 경우 실험설계를 적용하기가 곤란해진다. 예를 들어, 변수가 될 요인들이 이미 발생하여 조작이 불가능한 경우도 있고(교육수준, 연령, 프로그램 참여 등), 이미 결정되어 있는 변수(성별이나 인종 등)도 있다. 이러한 변수에 대해서는 실험적 개입을 통한 통제나 조작이 불가능한데 많은 연구에서 이들을 변수로 다루고 있다. 예를 들어, 성별에 따른 비행행위 참여 수준을 연구한다면, 성별은 독립변수이며 비행행위 참여수준은 종속변수가 된다. 이 때 성별을 독립변수로서 통제하거나 조작한다는 것은 불가능하다. 이 때 적용되는 조사설계가 비실험 설계이다. 대체로 비실험 설계는 시간적 우선성을 조작할 수 없으므로 횡단적 조사설계를 통해 어느 한 시점에 독립변수와 종속변수 모두를 측정한다. 이렇게 측정된 자료는 성별, 연령, 교육수준에 따른 구간별 차이를 살펴보는 연구나 상관관계를 살펴보는 연구의 형태로 적용된다.

비실험 설계는 독립변수를 조작할 수 없고, 연구대상을 무작위화 할 수 없으며 부적절한 해석을 하게 될 위험을 가지고 있다. 그러나, 실제 연구 현장에서는 이러한 위험에도 불구하고 연구나 관심의 대상이 되는 현상이나 변수들의 통제가 불가능한 경우가 많거나 실제 통제가 어려운 경우가 많다는 현실적 한계를 극복하기 위해 비실험 설계를 적용하지 않을 수 없는 경우가 많다.