이전 글에서 Thematic Analysis (TA)를 실제로 수행 하는 방법에 대해서 정리 했었다. 이 글에서는 동일한 책인 Virginia Braun, Victoria Clarke의 Thematic Analysis: A Practical Guide 의 후반부에서 나와 있는 TA 이론적 배경에 대해서 이야기를 한다. 그렇기 때문에 TA 자체에 대해서 이야기 하기 보다는 TA의 학문적 컨텍스트에 대해서 주로 이야기를 한다. 구체적으로는 챕터 6 (Conceptually Locating Reflexive Thematic Analysis)와 챕터 8 (Understanding Similarities and Differences Between Reflexive Thematic Analysis and Its Methodological Siblings and Cousins)를 정리한다.
정성 연구의 다양성
정성 연구는 크게 두 가지 관점으로 나눌 수 있다. 하나는 실험적인 관점 (Experimental Orientation) 이다. 실험적 관점은 대상을 이해하는 연구라고 볼 수 있다. 의미, 경험, 기분, 생각 등에 초점을 맞추는 연구이다. 다른 하나는 비판적인 관점 (Critical Orientation) 이다. 주로 패턴을 찾고 효과와 기능에 집중한다. 실험적 관점은 ‘공감의 해석학 (hermeneutics of empathy)’에, 비판적 관점은 ‘의심의 해석학 (hermeneutics of suspicion)’ 에 근거한다. 공감의 해석학은 실제 데이터들을 해석하고 그 속에서 의미를 만들어내는 접근이라면 의심의 해석학은 데이터를 분석하고 조사해서 데이터가 담고 있는 진실을 찾아내는 접근이다.
언어의 세가지 이론
실험적 관점과 비판적 관점의 차이는 서로 다른 언어의 정의에 기인한다. 실험적 관점을 가진 연구자들은 언어를 경험을 직접적으로 소통하게 해주는 도구라고 생각 한다. 사람의 기억이 왜곡되거나 사실을 망각하더라도 언어를 통해서 사람의 생각과 기분을 있는 그대로 전달할 수 있다는 관점이다. 반면에 비판적인 관점을 가진 연구자들은 언어 자체가 의미를 생성한다고 생각한다. 언어를 통해서 언어 넘어의 무언가를 해석하는 것이 아니라 언어 자체를 해석 해야 한다는 것이다. Stuart Hall에 의하면 언어의 기능에 대해 세 가지 이론이 존재한다.
- 투영적 (Reflective) : 언어는 자연의 진실을 마치 거울처럼 그대로 투영한다. 언어는 발화자의 의식과 독립적인 진실을 담는다.
- 의도적 (Intentional) : 언어는 발화자가 인식하는 세상을 보여준다. 즉, 진실 그대로가 아니라 발화자의 관점을 의미한다. 언어는 발화자의 의식에 의존적인 진실을 담는다.
- 건설적 (Constructionist) : 언어는 사회적인 것이며 의미는 시대와 상황에 따라 변할 수 있는 유연한 것이다. 의미는 언어와 무관하게 존재하는 것이 아니라 언어가 의미를 만들어낸다.
언어에 대한 서로 다른 세 가지 관점은 진실과 언어의 관계가 정성 연구에서 왜 중요한지 그 자체로 설명한다. 정성 연구에서 연구자가 수집하는 것은 언어로 된 데이터이기 때문이다. 과연 연구자는 언어를 통해서 진실에 접근할 수 있는것일까? 이 질문은 존재론과 인식론에 대한 논의로 이어진다.
존재론과 인식론
존재론 (ontology)과 인식론 (epistemology)는 ‘연구’를 떠받치고 있는 중요한 개념들이다. 존재론은 실재에 대한 이론이고 인식론은 우리가 어떻게 무언가를 안다고 이야기 할 수 있는가에 대한 이론이다.
존재론
인간의 인식과 무관하게 무언가가 존재한다는 것, 즉 현실의 존재를 바라보는 서로 다른 관점이 있다. 크게는 사실주의 (realism), 비판적 사실주의 (critical realism), 상대주의 (relativism)가 있다. 각각을 연구의 관점에서 단순하게 이야기 하면 다음과 같다. “연구 방법과 무관하게 진실이라는 것은 존재하는가?”라는 질문에 세 관점은 각각 다음과 같이 답한다.
- 사실주의: 연구 방법과 관계없이 진실은 존재한다.
- 상대주의: 진실은 존재하지 않는다. 관점만이 존재할 뿐이다.
- 비판적 사실주의: 그렇기도 하고 아니기도 하다.
각 관점에 대해서 자세히 살펴보자.
사실주의 (Realism)
사실주의 관점에서는 진실은 어떤 도구를 사용하던지 무관하게 존재한다는 것이다. 예를 들어서 우리가 어떤 질문을 하거나 연구 방법론을 사용하더라도 진실은 변함이 없고 도구는 진실을 얼마나 잘 캐내는지를 결정할 뿐이라는 관점이다. 이 책의 저자들은 이 관점에는 동의하지 않는다.
비판적 사실주의 (Critical Realism)
비판적 사실주의는 사실주의의 관점을 인정 하면서 인간이 현실을 경험하고 이해하는 것은 경험과 문화를 통해서 가능하다는 것이다. 즉, 같은 현실도 다른 언어와 문화를 가진 사람이 본다면 다르게 인식 한다는 것이다. 다만 비판적 사실주의자들은 여러개의 진실이 존재한다고 생각하지는 않는다. 진실은 하나이지만 그것을 관찰하는 도구 (언어와 문화)에 따라서 다르게 인식할 수 있다는 것이다.
상대주의 (Relativism)
상대주의는 한 발 더 나아가서 현실은 하나가 아니라 개인마다 다르게 존재한다는 관점이다. 철학적으로 이 관점은 도덕과 물질의 관점에서 비판을 받았다. 상대주의에 따르면 물질 세계는 존재하지 않는다고 볼 수 있고 도덕적 개념들도 성립할 수 가 없게 되기 때문이다. TA에서 상대주의 관점은 비판적 관점에만 유효하다. 왜냐하면 모든 데이터는 주관적으로 해석 할 수 밖에 없기 때문이다. 상대주의적 관점에서 TA를 진행 한다면 데이터에서 진실을 찾는다기 보다는 의미를 만들어내는 것에 가깝다.
인식론
인식론은 우리가 알 수 있다고 여기는 것들에 대한 것이다. 지식의 범위를 규정하는 이론이라고 볼 수 있다. 인식론도 크게 세 가지의 하부 카테고리로 나누어진다.
(후기)실증주의 ((post)positivism)
실증주의는 사실주의에 기반하는데, 객관적인 현실이 존재하고 이것을 실험과 같은 과학적인 방법을 통해서 객관적인 지식을 생산할 수 있다는 관점이다. 대부분의 현대 과학 연구들이 실증주의에 기반한다. 이런 실증주의에 기반한 정성 연구들을 small q research라고 부른다.
맥락주의 (contextualism)
반면에 맥락주의에 기반한 연구들은 big q research라고 부른다. 맥락주의는 지식 및 그것을 만든 인간은 맥락과 관점 안에서만 존재한다를 관점이다. 비판적 상대주의랑 맞닿아있다. 맥락주의 관점에서 연구자와 연구 참여자는 독립적인 개체가 아니라 연관되어 있는 것이다. 연구 참여자가 같더라도 연구자에 따라서 다른 지식이 생성 될 수 있는 것이다.
구성주의 (constructionism)
구성주의는 연구를 지식을 발견하는 행위가 아니라 지식을 만들어 내는 행위라고 인식한다. 상대주의랑 연결이 된다. 역시나 big q research의 관점이다. 구성주의에서 연구자는 예술가나 소설가와 같이 생각한다. 다만, 기존의 논리 구조 안에서 논리적인 결과를 만들어내는 차이가 있을 뿐이다.
주제 분석의 핵심 개념들
다양한 인식론의 관점들과 정량 연구가 어떤 연관이 있는지 궁금할 수 있다. 어떤 철학적 관점을 가지고 있느냐에 따라서 적절한 연구 방법론이 달라진다. 본격적으로 다양한 TA의 방법들에 대해 이야기에 앞서 간단히 TA의 두 패러다임인 big q와 small q에 대해서 설명을 하겠다.
big q 연구는 완벽하게 객관적이고, 맥락과 연구자에 독립적인 사실은 존재하지 않는다고 여긴다. 때문에 맥락과 연구자의 주관적인 관점을 강조한다. small q 연구는 좀 더 구조화된 연구이다. 다양한 형태의 ‘편향’을 없애려는 노력을 한다. big q는 좋고 small q는 나쁜 연구는 아니다. 서로 종류가 다를 뿐이다.
세 종류의 주제 분석
이러한 관점에서 크게 세 종류의 TA가 존재한다. 정확히는 다양한 TA 종류들이 이 세 카테고리중 하나에 속할 수 있다: reflexive, coding reliability, codebook. Reflexive TA에 대해서는 앞선 글에서 자세히 다루기 때문에 여기에서는 다른 두 종류에 대해 다룬다.
Coding Reliability Approaches: Small Q
이 접근은 실증주의에 입각한 접근인데 코드북에 따라서 코딩을 한다. 이름에 나와 있듯이, 코딩의 신뢰도 (reliability)를 중요하게 생각하며 신뢰도를 보장하기 위한 프로세스를 따른다. 코드북은 미리 정의된 코드들의 세트이다. 그렇다면 코딩을 하기 전에 코드북을 만들어야 하는데 이를 하려면 주제가 코딩 이전에 생성 되어야 한다. 주제가 프로세스의 입력이 되는 꼴이다.
코드북은 이미 존재하는 이론들로 부터 연역적으로 생성 할 수도 있고 데이터와 친숙해지면서 귀납적으로 생성 할 수도 있다. 연역적으로 코드북을 만드는 경우 코드가 데이터와 독립적인 상황에서 생성되기 때문에 코딩은 이론의 증거로써 역할을 한다. 귀납적으로 코드북을 만드는 경우에도 코딩은 생성한 코드의 합리성을 보여주기 위한 증거로써의 역할을 한다.
small q 방법론에서는 코딩의 신뢰도가 중요하기 때문에 보통 여러명의 코더들이 필요하다. 그리고 이 코더들은 코드북을 만드는 사람이 아니라 다른 사람이어야 한다. 코드들에 대해서 전혀 모르는 상태에서 코딩을 해야 편향이 없기 때문이다. 여러명의 코더들이 코딩을 한 결과를 합치면서 얼마나 일치되게 코딩이 되었는지 평가하는 과정이 있다. 만약 일치성이 부족하다면 다시 코딩하는 과정을 거치면서 일치성을 증가 시킨다.
연구자가 원하는 것이 명확하고 연구 방법론이 일관되기만 하다면 이 방법에 문제가 있지는 않다. big q 리서치를 하고 싶은데 이 방법론을 쓰면 안되겠지만, small q 연구를 하고 싶다면 이 방법론을 제대로 사용하면 된다. 다만, 한계점들이 있고 이러한 한계점들을 인지할 필요는 있다. 한계점중 하나는 깊이 있는 분석이 어려울 수 있다는 점이다. 여러 코더들이 일치되는 코딩 결과를 내는 것에 집중하다 보면 코드들이 지나치게 일반적이고 추상적일 수 있다. 그렇다면 코더들간의 일치성은 좋을 수 있지만 이 결과가 의미가 별로 없을 수 있다. 더불어서 코더들의 인지적 한계로 인하여 너무 많은 코드들이 존재하면 일치성이 높은 코드 결과를 내기가 어렵다. 만약 100개의 코드가 있는 상태에서 코딩을 한다고 해보자. 100개의 코드를 모두 머릿속에 넣고 일관된 코딩을 하는 것이 매우 어려울 것이다. 그러면 필연적으로 여러 코더들의 결과가 일치하기 어렵다.
이 책의 저자들은 코딩의 일치성이 마치 모든 TA에 일반적으로 보장 되어야 하는 것 처럼 인식되는 것이 문제라고 이야기 한다. 코딩의 일치성은 필요한 경우에 어느 정도 보장 되어야 겠지만 이것이 모든 정량 연구에 적용 되어야 하는 것은 아니다.
Codebook Approaches: Medium Q
이 방식은 reflexive와 coding reliability의 중간에 위치하는 방법론이라고 볼 수 있다. 그렇기 때문에 medium Q 방법론이라고도 부른다. Codebook 방법론 내에서 주로 사용되는 것은 템플릿 분석(Template Analysis)과 프레임워크 분석 (Framework Analysis)이다.
템플릿 분석
TA와 템플릿 분석의 가장 큰 차이는 템플릿 분석의 코드는 자세하고 설명 가능한 형태일 수 있다는 것이다. 여타 TA 방법론들의 경우 코드가 추상적이고 함축적인 경우가 많다. 템플릿 분석은 데이터셋에서 추출한 의미들을 구조화 하는데 유용하다. 템플릿 분석 과정에서 만들게 되는 템플릿은 코딩의 프레임이며 이 템플릿은 분석의 결과물이 아니라 분석을 위한 도구로서 역할한다.
템플릿을 만드는 과정은 연역적 방법과 귀납적 방법 모두 사용 가능하다. 먼저 연구자들이 예상되는 theme들을 기반으로 템플릿을 만들 수 있다. 그리고 코딩을 하는 과정에서 자연스럽게 템플릿이 업데이트 된다. 더불어서 템플릿 분석은 reflexive TA와 다르게 코딩을 하고 주제를 찾는 두 단계로 나누어지지 않는다. 코드와 주제를 분리해서 생각하지 않고 동일하게 생각 한다. 이 부분이 약간 헷갈릴 수 있는데 나는 템플릿, 코드/주제의 두 요소가 있고 템플릿을 기반으로 코딩의 행위를 통해 주제를 도출하는 것으로 이해 하였다.
프레임워크 분석
프레임워크 분석은 목적이 분명하고, 허용된 시간이 짧으며, 데이터가 많고, 팀 내에 정량분석의 경험이 일관되지 않은 경우에 유용하다. 프레임워크 분석 역시 템플릿 분석과 비슷하게 프레임워크를 만드는 과정이 중요하다. 프레임워크도 분석을 위한 도구이다. 프레임워크는 행과 열로 이루어진다. 행은 데이터 아이템을 의미하고 열은 코드를 의미한다. 각 셀은 코드 관점에서 데이터를 요약한 것이다. 이 데이터프레임이 완성이 되고 나면 이 결과물를 해석해서 주제를 만들어내는 일을 한다.
결론
이 글에서는 존재론과 인식론이 정성분석과 어떤 연관이 있고 관점에 따라서 사용하게 되는 방법론에 어떤 차이가 있는지 알아 보았다. 관점에 따라서 small Q, medium Q, big Q 라고 하는 연구 방법론 카테고리를 선택하게 되고 이에 따라 ‘코딩’의 결과를 해석하는 관점이 달라진다. small에서 big으로 가면서 코딩의 객관성 포기하면서 분석의 깊이를 추구한다. 맞고 틀린 것은 없다. 스스로에게 필요한 방법론을 택하는 것이다.
보통 공학을 공부하는 사람들은 small Q에 익숙할 것이다. 불변의 진리가 존재하고 이것을 찾아야 하기 때문에 객관적으로 동의 할 수 있는 분석 결과를 얻고 싶어햔다. 하지만 자칫하면 객관적이지만 너무 일반적이어서 활용되지 못하는 결과를 얻을 수 있다. 때문에 정성분석의 결과가 객관적이어야 한다는 강박을 버리는 것이 좋다.
특히나 스타트업에서 제품을 만드는 경우에는 깊이 있는 사용자의 분석을 해야 할 때가 있다. 한 두 사용자에게서 인터뷰 과정에서 깊이 있는 정보를 얻고 이를 통해서 인사이트를 도출 하게 되는 경우가 있다. 이런 경우 나는 이 인사이트의 객관성 (또는 보편성)을 찾기 위해서 노력을 한다기 보다는 바로 솔루션을 찾는 것을 추천한다. 첫째, 객관성 및 보편성을 보장 하는 것이 어렵다. 인터뷰라는 것이 재현 가능하지가 않다. 똑같은 순서로 질문을 하더라도 사람마다 다른 이야기를 하고 그러다보면 인터뷰가 다르게 흘러가서 우리가 찾는 답을 듣지 못할 수 있다. 만약 a,b,c라는 사람이 X라는 생각을 가지고 있다고 하자. 그렇다고 해서 동일한 인터뷰를 한다고 모두 우리가 a,b,c가 X라는 생각을 하는지 안하는지 알 수 있다는 것은 아니다. 둘째, 보편적이지 않은 인사이트를 얻기가 더 어렵다. 확률적으로 그렇다. 우리가 임의로 사람들을 인터뷰 했을 때 우리가 듣는 이야기들이 우리 타겟 고객의 극소수만 공감하는 이야기일 확률이 대다수가 공감할 이야기일 확률 보다 현저히 낮다. 때문에 우리가 찾은 인사이트가 보편성이 낮을 확률은 적다. 때문에 지나치게 걱정하지 말고 자신있게 big Q 관점의 리서치를 해도 괜찮을 것이라 생각 한다.