민족지학적 연구의 신뢰성과 타당성을 확보할 수 있는 방법에 대해 예를 들어 상술하라고 전해라

양적 연구를 옹호하는 사람들은 민족지학적 연구의 신뢰성과 타당성을 의심한다. 이는 민족지학적 연구가 특정한 맥락, 상황에 대한 세부적인 기술과 분석에 기반을 두고 있기 때문에 생겨나기도 한다. 보통 민족지학적 연구의 자료는 방대해서 ① 연구 결과에 포함시킬 수도 없고, ② 분석하기도 어려우며(내적 타당도의 확보 문제) ③ 재현하기 또한 어렵다(외적 타당도 확보의 문제).

하지만 연구자가 변인간의 인과 관계를 찾으려고 하지 않는 경우에는 내적 타당성은 덜 문제가 된다. 외적 타당성의 문제는 일반화의 문제인데, 연구자가 일반화에 관심이 없다면 이 문제는 덜 중요하다.

신뢰성의 경우 신뢰성을 연구의 재연 가능성으로 보았을 때, 어떤 특정한 사회적 환경을 재연하는 것은 거의 불가능하다. 이를 해결하기 위해서 유사한 피험자를 구할 수 있다. 내적 신뢰성이 있다고 말할 수 있으려면 일차 자료를 분석하는 다른 독립적인 연구자도 같은 결론에 도달해야 한다. 즉, 원래 자료를 다시 분석할 수 있을 때 같은 결론이 나와야 한다는 것이다. 하지만, 이런 재분석이 더 복잡해 질 수 있기 때문에 다섯 가지의 전략을 제시한다.

 

내적 신뢰성을 지키기 위한 방법

1) 낮은 추론 기술자

다른 관찰자가 쉽게 동의할 수 있는 행동을 기술한다. 예를 들면, 교사가 학습자에게 질문을 던지고, 학습자는 반응을 하고 그러한 횟수를 다른 관찰자도 쉽게 동의하면서 누가 관찰하든 비슷한 결론이 나온다면 그래도 내적 신뢰성이 확보되는 것이라 볼 수 있다. 하지만, 여기서도 문제되는 것은 높은 추론의 경우에는 같은 결과를 도출하기가 어렵다는 것이다. 대상자의 행동이 만일 ‘수업이 재미없고, 지루해 한다’라고 하였을 때, 왜 그런지에 대해서는 높은 추론이 필요하다. 이 부분이 흥미로운 부분이지만, 이런 추론에 대해 일관적인 동일한 결론을 얻기는 쉽지 않다.

 

2) 다수 연구자 참여

내적 신뢰성의 위협을 막기 위해 많은 연구자가 참여하는 것도 괜찮은 방법이다. 하지만, 그렇게 되면 여러 비용이 많이 들게 돼서 많은 수의 연구자가 참여하기가 불가능한 연구도 많이 있다. 이에 대한 대안으로 피험자들의 도움을 얻어 민족지학적 연구자들의 해석이 정당한지를 확인하는 방법도 있다. 예를 들어, 한국어 수업에 참여했던 대상자에게 아까 수업 시간에 손을 들고 질문하고 열심히 적었던 행동에 대한 연구자들의 해석이 맞는지 대상자에게 확인을 받을 수도 있다.

 

3) 동료 상호 간 검토

유사한 환경에서 작업하는 다른 연구자들에 의해 확인받는 것도 포함되는데, 여기에는 세 가지 방법이 있다. ① 연구자들이 현지 조사를 하는 다른 연구자들이 찾아내고 발견한 것을 자신들의 보고서에 이용할 수도 있다. ② 동시에 수행된 여러 연구의 결과를 보고서에 통합시킬 수 있다. 그러면 여러 장소에서 서로의 결과를 확인할 수 있다. ③ 충분한 양이 일차 자료가 출판될 보고서에 포함될 수 있다면 연구자의 동료들은 다시 분석하기 위해 이 자료를 이용할 수 있다.

 

4) 자료의 기계적인 기록

음성이나 비디오를 활용하여 기록된 자료를 그대로 보존하는 것이다. 하지만, 연구자가 보존하기로 결정한 자료만 보존해야 한다.

 

외적 신뢰성을 지키기 위한 방법

1) 연구자의 역할이 명시되었는가?

2) 연구자는 피험자들을 자세하게 기술하는가?

3) 연구자는 연구가 수행된 배경과 조건을 상세하게 기술하는가?

4) 구인과 전제를 명시적으로 정의하는가?

5) 자료 수집과 분석 방법을 상세하게 제시하였는가?

 

내적 타당성: 어떤 연구가 이 연구에서 측정하고자 하는 바를 정말로 측정하고 있는가?

외적 타당성: 연구 결과를 어느 정도까지 다른 집단에 적용할 수 있는가?(일반화의 문제)

 

내적 타당도

1) 연구 과정 중에 진행되는 성숙이 결과에 영향을 미칠 가능성이 있는가?

2)　피험자의 선택에 치우침이 있는가?

3) 장기간에 걸친 제보자들의 성숙이나 쇠퇴가 결과에 영향을 미칠까?

4)　그 현상에 대한 다른 설명을 철저하게 검토하고 제외시켰는가?

 

외적 타당도

1) 혹시 그 현상이 어느 집단이나 장소에 고유하기 때문에 비교가 불가능한 것인가?

2) 이 결과는 연구자가 그곳에 있었기 때문에 생긴 것인가?

3) 어느 집단이 독특한 역사적 경험을 했기 때문에 집단 간의 비교가 무의미한 것인가?

4) 추상적인 용어와 구인을 서로 다른 집단들이 서로 다른 장소에서 어디까지 공유하는가?