Tim hieu Do tin cay va Do chinh xac trong Nghien cuu Dinh tinh

The Qualitative Report Volume 8 Number 4 December 2003 597-607

http://www.nova.edu/ssss/QR/QR8-4/golafshani.pdf

Tìm hiểu Độ tin cậy và Độ chính xác 

trong Nghiên cứu Định tính

Nahid Golafshani

University of Toronto, Toronto, Ontario, Canada
Nguyễn Hoàng Mỹ Phương dịch

Độ tin cậy và độ chính xác được sử dụng phổ biến trong nghiên cứu định lượng và giờ đây chúng đang được cân nhắc lại để sử dụng trong mẫu hình (paradigm) nghiên cứu định tính. Vì độ tin cậy và độ chính xác bắt nguồn từ quan điểm thực chứng (positivist perspective), do đó, chúng nên được định nghĩa lại để sử dụng trong cách tiếp cận tự nhiên (naturalistic approach). Cũng giống như độ tin cậy và độ chính xác dùng trong nghiên cứu định lượng nhằm cung cấp bàn đạp để kiểm tra những gì mà hai thuật ngữ này muốn nói trong mẫu hình nghiên cứu định tính, kiểm tra chéo (triangulation) dùng trong nghiên cứu định lượng nhằm kiểm tra độ tin cậy và độ chính xác cũng có thể làm sáng tỏ một số cách để kiểm tra hoặc tối đa hóa độ tin cậy và độ chính xác của nghiên cứu định tính. Do đó, độ tin cậy, độ chính xác và kiểm tra chéo, nếu chúng là những khái niệm nghiên cứu phù hợp, đặc biệt là từ góc nhìn định tính, phải được định nghĩa lại để phản ánh các cách phát hiện ra sự thật.

Từ khóa: Độ tin cậy, Độ chính xác, Kiểm tra chéo, Ý niệm (Construct), Định tính, và Định lượng

            Bài viết này bàn về việc sử dụng độ tin cậy và độ chính xác trong mẫu hình nghiên cứu định tính. Đầu tiên sẽ thảo luận ý ​​nghĩa của nghiên cứu định lượng và định tính. Thứ hai, thảo luận độ tin cậy và độ chính xác dùng trong nghiên cứu định lượng như là bàn đạp để kiểm tra những gì mà hai thuật ngữ này muốn nói và cách chúng được kiểm tra trong mẫu hình nghiên cứu định tính. Bài viết kết luận bằng việc dùng kiểm tra chéo trong hai mẫu hình (định lượng và định tính) cho thấy những thay đổi này có ảnh hưởng như thế nào đến sự hiểu biết của chúng ta về độ tin cậy, độ chính xác và kiểm tra chéo trong các nghiên cứu định tính.

Nghiên cứu Định lượng là gì?

            Nhà nghiên cứu sử dụng nghiên cứu thực chứng logic hoặc nghiên cứu định lượng sẽ dùng các phương pháp thí nghiệm (experimental methods) và phương pháp định lượng để kiểm tra những giả thuyết được tổng quát hóa (Hoepfl, 1997), và họ cũng nhấn mạnh việc đo lường và phân tích mối quan hệ nhân quả giữa các biến (Denzin và Lincoln, 1998). Để minh họa ý nghĩa của nghiên cứu định lượng trong việc giải thích các vấn đề xã hội, Bogdan và Biklen (1998) lưu ý:

Biểu đồ và đồ thị minh họa các kết quả của nghiên cứu, và các nhà bình luận dùng các từ như “biến”, “tổng thể” và “kết quả” như một phần từ vựng hàng ngày của họ... ngay cả khi chúng ta không bao giờ biết tất cả các thuật ngữ này có nghĩa là gì ...[nhưng] chúng ta biết rằng đây là một phần của quá trình nghiên cứu. Công trình nghiên cứu, sau đó sẽ được công bố rộng rãi, là một từ đồng nghĩa với nghiên cứu định lượng (tr.4).

             

         Nghiên cứu định lượng cho phép người nghiên cứu làm quen với vấn đề hoặc khái niệm được nghiên cứu, và có thể tạo ra các giả thuyết sẽ được kiểm tra. Trong mẫu hình này: (1) nhấn mạnh vào sự kiện (facts) và nguyên nhân của hành vi (Bogdan & Biklen, 1998), (2) thông tin dưới dạng các con số có thể được định lượng và tính toán, (3) phương pháp toán học là cách thức để phân tích các dữ liệu số và (4) kết quả cuối cùng được trình bày dưới dạng các thuật ngữ thống kê (Charles, 1995).

            Nói chung, nghiên cứu định lượng “... được hỗ trợ bởi mẫu hình thực chứng hay mẫu hình khoa học, đưa chúng ta đến suy nghĩ rằng thế giới được tạo bởi các sự kiện có thể quan sát, đo lường được” (Glesne & Peshkin, 1992, tr.6) mặc dù giả định cho rằng “sự kiện xã hội (social facts) là thực tại khách quan” và “các biến có thể... được xác định và các mối quan hệ có thể đo lường được” (tr.7) là có vấn đề. Khái niệm “đo lường” có nghĩa là tìm hiểu, chẳng hạn, vấn đề giáo dục bằng cách người quan sát sẽ thực hiện quá trình được gọi là “đo lường” thế giới vật chất (Crocker & Algina, 1986). Stevens (1946) định nghĩa đo lường là việc gán con số cho các đối tượng hoặc sự kiện theo nguyên tắc nào đó. Từ các định nghĩa này, ta có thể thấy đo lường nhất thiết phải khách quan, có thể định lượng và có liên quan đến thống kê. Nói một cách đơn giản, đo lường là đang nói về các con số, dữ liệu khách quan.

            Nhà nghiên cứu định lượng cố gắng phân chia và phân định hiện tượng thành các phạm trù (categories) phổ biến hoặc có thể đo lường được mà các loại này có thể được áp dụng cho tất cả các đối tượng hoặc tình huống tương tự hay mở rộng (Winter, 2000). Trong nỗ lực của mình, phương pháp của người nghiên cứu liên quan đến việc “sử dụng các biện pháp chuẩn sao cho các quan điểm và kinh nghiệm khác nhau của con người có thể đặt vừa vào một số giới hạn các phạm trù tương ứng đã được xác định trước và được gán các con số” (Patton, 2001, tr.14 ). Ví dụ, một nhà nghiên cứu định lượng có thể chuẩn bị danh sách các hành vi sẽ được kiểm tra hoặc đánh giá bởi người quan sát bằng cách dùng lịch trình đã định trước hoặc con số (thang đo) như là công cụ trong phương pháp nghiên cứu của mình. Do đó, người nghiên cứu định lượng cần xây dựng công cụ được quản lý bằng cách thức chuẩn hóa theo các thủ tục đã định trước. Nhưng câu hỏi đặt ra là công cụ đo lường có đo được những gì cần phải đo hay không. Theo nghĩa rộng nhất, ta sẽ tập trung vào việc kiểm tra (test) (Crocker & Algina, 1986) hoặc độ chính xác của công cụ. Tầm quan trọng của việc kiểm tra này là để đảm bảo khả năng nhân rộng hoặc lặp lại của kết quả.

Độ tin cậy và Độ chính xác trong Nghiên cứu Định lượng

            “Độ tin cậy và độ chính xác là công cụ nhận thức cơ bản theo trường phái thực chứng”

                                                                        (Watling, theo Winter, 200, tr.7)

Độ tin cậy

            Joppe (2000) định nghĩa độ tin cậy như sau:

... Mức độ mà tại đó kết quả không thay đổi theo thời gian và đại diện chính xác cho tổng thể được nghiên cứu được gọi là độ tin cậy và nếu kết quả nghiên cứu có thể được sao chép theo phương pháp luận tương tự, khi đó, công cụ nghiên cứu được xem là đáng tin cậy (tr.1).

Thể hiện trong trích dẫn này là ý tưởng nhân rộng hoặc lặp lại kết quả hoặc quan sát.

            Kirk và Miller (1986) xác định ba kiểu độ tin cậy trong nghiên cứu định lượng: (1) mức độ mà tại đó phép đo vẫn giữ nguyên khi được lặp đi lặp lại; (2) sự ổn định của phép đo theo thời gian; và (3) sự giống nhau của các phép đo trong một khoảng thời gian nhất định (tr.41-42).

            Charles (1995) vẫn bám vào ý tưởng cho rằng sự nhất quán - mà tại đó các mục [kiểm tra] trong bảng câu hỏi được trả lời hoặc điểm riêng lẻ vẫn còn tương đối giống nhau - có thể được xác định thông qua phương pháp kiểm tra-tái kiểm tra (test-retest method) tại hai thời điểm khác nhau. Trên thực tế, thuộc tính này của công cụ được gọi là tính ổn định. Nếu chúng ta đang đề cập phép đo ổn định thì cũng nên đề cập tương tự đối với kết quả. Mức độ ổn định cao cho thấy mức độ tin cậy cao, có nghĩa là kết quả có thể lặp lại được. Joppe, (2000) phát hiện có vấn đề xảy ra đối với phương pháp kiểm tra-tái kiểm tra có thể làm cho công cụ không đáng tin cậy ở mức độ nào đó. Bà giải thích rằng phương pháp kiểm tra-tái kiểm tra có thể tùy thuộc vào cảm nhận của người trả lời đối với vấn đề mang tính chủ quan, và do đó ảnh hưởng đến các câu trả lời nhất định. Chúng ta không thể chắc chắn rằng những ảnh hưởng bên ngoài là không đổi, chẳng hạn như sự thay đổi của thái độ. Điều này có thể dẫn đến sự khác biệt trong các câu trả lời. Tương tự như vậy, Crocker và Algina (1986) lưu ý rằng khi người trả lời trả lời một loạt các mục kiểm tra, số điểm thu được chỉ đại diện cho một mẫu giới hạn các hành vi. Kết quả là, điểm số có thể thay đổi bởi đặc trưng nào đó của người trả lời, có thể dẫn đến sai sót trong đo lường. Những lỗi kiểu này sẽ làm giảm tính chính xác và tính nhất quán của công cụ và điểm kiểm tra. Do đó, trách nhiệm của người nghiên cứu là đảm bảo tính nhất quán và chính xác cao của các bài kiểm ra và điểm số. Vì vậy, Crocker và Algina (1986) cho rằng, “người soạn bài kiểm tra có trách nhiệm trong việc trình bày độ tin cậy của điểm từ các bài kiểm tra của họ” (tr.106).

            Mặc dù người nghiên cứu có thể chứng minh khả năng lặp lại và tính nhất quán nội tại của công cụ nghiên cứu, và do đó, là độ tin cậy, bản thân công cụ có thể không được chấp nhận.

Độ chính xác

            Các tiêu chuẩn truyền thống áp dụng cho độ chính xác có nguồn gốc từ truyền thống thực chứng, và ở chừng mực nào đó, trường phái chứng thực được định nghĩa bởi lý thuyết về độ chính xác. Trong thuật ngữ thực chứng, độ chính xác nằm giữa, và là kết quả và đỉnh cao của các khái niệm kinh nghiệm khác – có thể kể một vài khái niệm đó như luật phổ quát, bằng chứng, khách quan, sự thật, thực tế, diễn dịch, suy luận, sự kiện và dữ liệu toán học (Winter, 2000).

            Joppe (2000) đưa ra lời giải thích về độ chính xác trong nghiên cứu định lượng:

Độ chính xác xác định xem thực sự nghiên cứu có đo lường được cái mà nó dự định đo lường hay không hoặc tính chính xác của kết quả nghiên cứu như thế nào. Nói cách khác, công cụ nghiên cứu có cho phép bạn nhắm vào tâm điểm của đối tượng nghiên cứu hay không? Các nhà nghiên cứu nói chung xác định độ chính xác bằng cách hỏi một loạt các câu hỏi, và thường sẽ tìm kiếm câu trả lời trong các nghiên cứu của người khác (tr.1).

            Wainer và Braun (1998) mô tả độ chính xác trong nghiên cứu định lượng như là “độ chính xác về ý niệm” (“construct validity”). Construct là khái niệm, ý tưởng, câu hỏi hoặc giả thuyết ban đầu dùng để xác định dữ liệu nào sẽ được thu thập và thu thập như thế nào. Họ cũng khẳng định rằng các nhà nghiên cứu định lượng tích cực sẽ gây ra hoặc ảnh hưởng đến sự tác động lẫn nhau giữa ý niệm và dữ liệu để xác nhận công trình điều tra của họ, thường là bằng cách áp dụng bài kiểm tra hoặc quá trình khác. Theo ý nghĩa này, sự tham gia của các nhà nghiên cứu trong quá trình nghiên cứu sẽ làm giảm đáng kể độ chính xác của bài kiểm tra.

            Các định nghĩa về độ tin cậy và độ chính xác trong phạm vi nghiên cứu định lượng cho thấy hai điểm: Thứ nhất, liên quan đến độ tin cậy, kết quả có thể nhân rộng hay không. Thứ hai, liên quan đến độ chính xác, phương tiện đo lường có chính xác hay không và chúng đang thực sự đo lường cái mà chúng dự định đo lường hay không. Tuy nhiên, các khái niệm về độ tin cậy và độ chính xác dưới con mắt của nhà nghiên cứu định tính thì lại khác - họ khăng khăng cho rằng các khái niệm được định nghĩa về mặt định lượng này là chưa đầy đủ. Nói cách khác, các khái niệm được định nghĩa về mặt định lượng này có thể không áp dụng cho mẫu hình nghiên cứu định tính. Câu hỏi về khả năng nhân rộng kết quả không liên quan đến họ (Glesne & Peshkin, 1992), nhưng độ chính xác (Winter, 2000), độ tin cậy và khả năng chuyển giao (transferability) (Hoepf, 1997) cung cấp cách thức đánh giá kết quả của nghiên cứu định tính. Trong bối cảnh này, hai cách tiếp cận hay quan điểm nghiên cứu này cơ bản là các mẫu hình khác nhau (Kuhn, 1970).

Nghiên cứu Định tính là gì?

            Nghiên cứu định tính sử dụng cách tiếp cận tự nhiên (naturalistic approach) nhằm tìm hiểu các hiện tượng trong bối cảnh cụ thể, chẳng hạn như “thế giới thực [nơi] mà người nghiên cứu không cố gắng thao túng hiện tượng mà họ quan tâm (phenomenon of interest)” (Patton, 2001, tr.39). Nghiên cứu định tính, theo nghĩa rộng, có nghĩa là “bất kỳ loại nghiên cứu nào đưa ra các phát hiện không phải bằng phương pháp thống kê hoặc các phương pháp định lượng khác” (Strauss và Corbin, 1990, tr.17), thay vào đó, loại nghiên cứu này đưa ra các phát hiện từ bối cảnh thế giới thực nơi mà các “hiện tượng [mà họ] quan tâm phát triển một cách tự nhiên” (Patton, 2001, tr.39). Không giống như các nhà nghiên cứu định lượng xác định nguyên nhân, dự đoán, và tổng quát hóa các phát hiện này, thay vào đó, các nhà nghiên cứu định tính làm sáng tỏ, tìm hiểu, và ngoại suy từ các tình huống tương tự (Hoepfl, 1997).

            Phân tích định tính dẫn đến một loại kiến thức khác so với phân tích định lượng, vì một bên thì lập luận từ góc độ bản chất triết học nền tảng của mỗi mẫu hình, tận hưởng các cuộc phỏng vấn chi tiết và bên còn lại thì tập trung vào khả năng tương thích rõ ràng của các phương pháp nghiên cứu, “tận hưởng phần thưởng từ cả con số lẫn từ ngữ” (Glesne & Peshkin, 1992, tr.8). Điều này có nghĩa là các phương pháp chẳng hạn như phỏng vấn và quan sát chiếm ưu thế trong mẫu hình (diễn giải) tự nhiên và bổ sung vào mẫu hình thực chứng (positive paradigm), nơi mà cuộc khảo sát được dùng theo mục đích ngược lại. Winter (2000) cho rằng trong khi các nhà nghiên cứu định lượng cố gắng tách bản thân mình ra khỏi quá trình nghiên cứu càng nhiều càng tốt thì các nhà nghiên cứu định tính lại chấp nhận sự tham gia và vai trò của họ trong nghiên cứu. Patton (2001) hỗ trợ ý tưởng về sự tham gia và “chìm” (immersion) vào nghiên cứu của người nghiên cứu bằng cách cho rằng thế giới thực có thể thay đổi và do đó, nhà nghiên cứu định tính nên có mặt trong những thay đổi này để ghi lại sự kiện trước và sau khi xảy ra thay đổi. Tuy nhiên, cả nhà nghiên cứu định tính lẫn định lượng cần phải kiểm tra và chứng minh rằng nghiên cứu của họ là đáng tin cậy. Trong khi độ tin cậy trong nghiên cứu định lượng phụ thuộc vào việc xây dựng công cụ, thì trong nghiên cứu định tính, “các nhà nghiên cứu chính là công cụ” (Patton, 2001, tr.14). Vì vậy, có vẻ như khi các nhà nghiên cứu định lượng nói đến độ chính xác và độ tin cậy của nghiên cứu, họ thường đề cập đến một nghiên cứu nào đó là đáng tin cậy; trong khi độ tin cậy trong nghiên cứu định tính lại phụ thuộc vào khả năng và nỗ lực của người nghiên cứu. Mặc dù độ tin cậy và độ chính xác được xem xét riêng lẻ trong nghiên cứu định lượng, những thuật ngữ này lại không được xem riêng biệt trong nghiên cứu định tính. Thay vào đó, thuật ngữ này bao hàm cả, chẳng hạn như độ tin cậy, khả năng chuyển giao, và tính đáng tin cậy.

Độ tin cậy và Độ chính xác trong Nghiên cứu Định tính

            Để hiểu ý nghĩa của độ tin cậy và độ chính xác, thiết nghĩ cần phải trình bày các định nghĩa khác nhau về độ tin cậy và độ chính xác do nhiều nhà nghiên cứu định tính với các quan điểm khác nhau đưa ra.

Độ tin cậy

            Mặc dù thuật ngữ “Độ tin cậy” là khái niệm dùng để kiểm tra hoặc đánh giá nghiên cứu định lượng nhưng ý tưởng này cũng thường được dùng trong tất cả các loại nghiên cứu. Nếu chúng ta xem ý tưởng kiểm tra là cách lấy thông tin thì sự kiểm tra quan trọng nhất của bất kỳ nghiên cứu định tính nào chính là chất lượng của nó. Một nghiên cứu định tính tốt có thể giúp chúng ta “hiểu được tình huống mà nếu không [có nó] sẽ khó hiểu hoặc mơ hồ” (Eisner, 1991, tr.58). Điều này lại liên quan đến khái niệm thế nào là một nghiên cứu định tính tốt khi mà độ tin cậy là khái niệm dùng để đánh giá chất lượng trong nghiên cứu định lượng với “mục đích giải thích” trong khi khái niệm chất lượng trong nghiên cứu định tính lại có mục đích “tạo ra sự hiểu biết/thông hiểu” (Stenbacka, 2001, tr.551). Sự khác biệt trong mục đích đánh giá chất lượng nghiên cứu trong định lượng và nghiên cứu định lượng là một trong những lý do mà khái niệm độ tin cậy là không thích hợp trong nghiên cứu định tính. Theo Stenbacka, (2001) “khái niệm độ tin cậy thậm chí còn gây hiểu lầm trong nghiên cứu định tính. Nếu độ tin cậy được xem là một tiêu chuẩn của nghiên cứu định tính, thì e là khá nhiều nghiên cứu sẽ không tốt” (tr.552).

            Mặt khác, Patton (2001) cho rằng độ chính xác và độ tin cậy là hai yếu tố mà bất kỳ nhà nghiên cứu định tính nào cũng nên quan tâm trong khi thiết kế nghiên cứu, phân tích kết quả và đánh giá chất lượng nghiên cứu. Điều này tương đương với câu hỏi “Làm thế nào người nghiên cứu có thể thuyết phục được rằng các phát hiện nghiên cứu của cuộc điều tra là đáng chú ý đến?” (Lincoln và Guba, 1985, tr.290). Để trả lời cho câu hỏi này, Healy và Perry (2000) khẳng định rằng chất lượng của một nghiên cứu trong mỗi mẫu hình nên được đánh giá bởi chính các thuật ngữ trong mẫu hình đó. Ví dụ, trong khi thuật ngữ Độ tin cậy và Độ chính xác là tiêu chí cần thiết để đánh giá chất lượng trong mẫu hình định lượng, thì trong mẫu hình định tính, các thuật ngữ Tính tin cậy (Credibility), Tính trung lập (Neutrality) hoặc Tính xác thực (Confirmability), Tính nhất quán (Consistency) hoặc Tính đáng tin (Dependability) và Khả năng áp dụng (Applicability) hoặc Khả năng chuyển giao (Transferability) phải là tiêu chí cần thiết để đánh giá chất lượng (Lincoln và Guba, 1985). Cụ thể hơn, với thuật ngữ độ tin cậy trong nghiên cứu định tính, Lincoln và Guba (1985, tr.300) sử dụng “tính đáng tin” (“dependability”), trong nghiên cứu định tính thì từ này rất tương đồng với khái niệm “độ tin cậy” (“reliability”) trong nghiên cứu định lượng. Họ cũng nhấn mạnh “kiểm toán quá trình” (“inquiry audit”) (tr.317) là một trong những biện pháp có thể nâng cao tính đáng tin của nghiên cứu định tính. Biện pháp này có thể được dùng để kiểm tra tính nhất quán cho cả quá trình lẫn sản phẩm của nghiên cứu (Hoepfl, 1997). Trong bối cảnh đó, Clont (1992) và Seale (1999) tán thành khái niệm tính đáng tin với khái niệm tính nhất quán hoặc độ tin cậy trong nghiên cứu định tính. Tính nhất quán của dữ liệu sẽ đạt được khi các bước nghiên cứu được xác nhận thông qua việc kiểm tra các mục như dữ liệu thô, sản phẩm thu nhỏ dữ liệu, và quá trình ghi chép (Campbell, 1996).

            Để đảm bảo độ tin cậy trong nghiên cứu định tính, kiểm tra độ tin cậy là rất quan trọng. Seale (1999), trong khi phát hiện các nghiên cứu có chất lượng tốt thông qua độ tin cậy và độ chính xác trong nghiên cứu định tính, khẳng định rằng “tính đáng tin cậy của báo cáo nghiên cứu nằm ở trung tâm của các vấn đề thường được thảo luận - đó là độ chính xác và độ tin cậy” (tr.266). Khi đánh giá (kiểm tra) công trình nghiên cứu định tính, Strauss và Corbin (1990) cho rằng “tiêu chuẩn thông thường của “khoa học tốt”... đòi hỏi phải định nghĩa lại để phù hợp với thực tế của nghiên cứu định tính” (tr.250).

            Ngược lại, Stenbacka (2001) lập luận rằng trong khi vấn đề độ tin cậy liên quan đến các phép đo lường thì nó lại không liên quan trong nghiên cứu định tính. Bà cho biết thêm vấn đề của độ tin cậy đó là việc không phù hợp trong đánh giá chất lượng của nghiên cứu định tính. Do đó, nếu nó được sử dụng thì khi đó “e rằng hậu quả là khá nhiều nghiên cứu không tốt” (tr.552).

            Mở rộng phạm vi khái niệm hóa độ tin cậy và khám phá sự phù hợp của độ tin cậy và dộ chính xác trong nghiên cứu định tính, Lincoln và Guba (1985) cho rằng: “Do không thể có độ chính xác mà không có độ tinh cậy, một sự chứng minh của khái niệm trước [độ chính xác] là đủ để thiết lập khái niệm sau [độ tin cậy]” (tr.316). Patton (2001) với mối quan tâm đến khả năng và kỹ năng của người nghiên cứu trong nghiên cứu định tính cũng cho rằng độ tin cậy là hệ quả của độ chính xác trong một nghiên cứu.

Độ chính xác

 

            Khái niệm độ chính xác được mô tả bằng một loạt các thuật ngữ trong nghiên cứu định tính. Khái niệm này không phải là một khái niệm duy nhất, cố định hoặc phổ quát mà là “khái niệm tùy thuộc (contingent construct), không tách khỏi nền tảng các quy trình và mục đích của phương pháp luận và dự án nghiên cứu cụ thể” (Winter, 2000, tr.1). Mặc dù một số nhà nghiên cứu định tính đã lập luận rằng khái niệm độ chính xác không áp dụng cho nghiên cứu định tính, nhưng đồng thời, họ cũng nhận ra sự cần thiết phải có kiểu kiểm tra hoặc đo lường chất lượng nào đó cho nghiên cứu của mình. Ví dụ, Creswell & Miller (2000) cho rằng độ chính xác chịu ảnh hưởng bởi nhận thức của người nghiên cứu về độ chính xác trong nghiên cứu và sự lựa chọn giả định mẫu hình. Kết quả là, nhiều nhà nghiên cứu đã phát triển khái niệm riêng của họ về độ chính xác và thường tạo ra hoặc sử dụng những thuật ngữ mà họ cho là thích hợp hơn, chẳng hạn như chất lượng (quality), tính chặt chẽ (rigor) và tính đáng tin cậy (trustworthiness) (Davies & Dodd, 2002; Lincoln và Guba, 1985; Mishler, 2000; Seale, 1999; Stenbacka, 2001).

            Thảo luận về chất lượng trong nghiên cứu định tính bắt nguồn từ mối quan tâm về độ chính xác và độ tin cậy trong truyền thống định lượng “liên quan đến việc thay thế thuật ngữ mới cho các từ chẳng hạn như độ chính xác và độ tin cậy nhằm phản ánh các khái niệm diễn giải [định tính]” (Seale, 1999, tr.465).

            Stenbacka (2001) đã không bỏ qua vấn đề của độ chính xác trong nghiên cứu định tính như bà đã làm đối với vấn đề của độ tin cậy trong nghiên cứu định tính. Thay vào đó, bà lập luận rằng khái niệm độ chính xác nên được định nghĩa lại cho nghiên cứu định tính. Stenbacka (2001) mô tả khái niệm độ tin cậy như là một trong những khái niệm về chất lượng trong nghiên cứu định tính “cần phải được giải quyết nhằm xem một cuộc điều tra (study) như là một phần của nghiên cứu thích hợp” (tr.551).

            Trong khi tìm kiếm ý nghĩa của tính chặt chẽ trong nghiên cứu, Davies và Dodd (2002) nhận thấy rằng khái niệm tính chặt chẽ trong nghiên cứu có liên quan đến thảo luận về độ tin cậy và độ chính xác. Davies và Dodd (2002) lập luận rằng việc áp dụng khái niệm tính chặt chẽ trong nghiên cứu định tính nên khác với so với các khái niệm đó trong nghiên cứu định lượng bằng cách “chấp nhận rằng có sự thiên vị về mặt lượng trong khái niệm tính chặt chẽ, bây giờ chúng ta hãy đặt lại khái niệm tính chặt chẽ bằng cách khám phá tính chủ quan, tính phản hồi, và sự tương tác xã hội của phỏng vấn” (tr.281).

            Lincoln và Guba (1985) lập luận rằng việc duy trì tính đáng tin cậy của báo cáo nghiên cứu phụ thuộc vào các vấn đề, về mặt định lượng, như độ chính xác và độ tin cậy. Ý tưởng khám phá sự thật thông qua độ tin cậy và độ chính xác được thay thế bằng ý tưởng tính đáng tin cậy (Mishler, 2000) - “có thể được bảo vệ” (“defensible”) (Johnson 1997, tr.282) và thiết lập sự tự tin trong các phát hiện (Lincoln và Guba, 1985).

            Nếu các vấn đề của độ tin cậy, độ chính xác, tính đáng tin cậy, chất lượng và tính chặt chẽ là nhằm tạo nên sự khác biệt giữa nghiên cứu “tốt” và nghiên cứu “tồi” thì kiểm tra và tăng độ tin cậy, độ chính xác, tính đáng tin cậy, chất lượng và tính chặt chẽ là rất quan trọng đối với công trình nghiên cứu trong bất kỳ mẫu hình nào.

Kiểm tra Độ chính xác và Độ tin cậy

            Đến đây, đã trình bày xong khái niệm (đã được định nghĩa lại) về độ tin cậy và độ chính xác phù hợp với tính hữu dụng của chúng trong nghiên cứu định tính. Bây giờ, vẫn còn một câu hỏi đang chờ câu trả lời “Làm thế nào để kiểm tra hoặc tối đa hóa độ chính xác, và kết quả là độ tin cậy, của một nghiên cứu định tính?”

            Nếu độ chính xác hoặc tính đáng tin cậy có thể được tối đa hóa hoặc kiểm tra thì khi đó “kết quả đáng tin cậy và có thể được bảo vệ” nhiều hơn (Johnson, 1997, tr.283) có thể dẫn đến khả năng khái quát hóa - một trong những khái niệm được đề xuất bởi Stenbacka (2001) làm cấu trúc cho cả việc thực hiện và lưu trữ nghiên cứu định tính chất lượng cao. Vì vậy, chất lượng nghiên cứu có liên quan đến việc khái quát hóa kết quả và do đó liên quan đến việc kiểm tra và gia tăng độ chính xác hoặc tính đáng tin cậy của nghiên cứu.

            Ngược lại, Maxwell (1992) quan sát thấy rằng mức độ mà kết quả (account) được khái quát hóa là yếu tố phân biệt rõ giữa phương pháp nghiên cứu định lượng và định tính. Mặc dù khả năng khái quát hóa các phát hiện cho các nhóm và hoàn cảnh lớn hơn là một trong những bài kiểm tra độ chính xác phổ biến nhất đối với nghiên cứu định lượng, nhưng Patton (2001) cho rằng khả năng khái quát hóa là một trong các tiêu chí chất lượng của các nghiên cứu trường hợp (case studies) tùy thuộc vào trường hợp được lựa chọn và nghiên cứu. Theo cách hiểu này, độ chính xác trong nghiên cứu định lượng là rất cụ thể đối với bài kiểm tra áp dụng độ chính xác – bài kiểm tra cũng là nơi mà các phương pháp kiểm tra chéo dùng trong nghiên cứu định tính. Kiểm tra chéo (triangulation) là chiến lược (kiểm tra) điển hình nhằm nâng cao độ chính xác và độ tin cậy của nghiên cứu hoặc đánh giá các phát hiện. Mathison (1988) trình bày chi tiết:

Kiểm tra chéo đang nổi lên thành vấn đề quan trọng liên quan đến phương pháp luận trong cách tiếp cận tự nhiên và định tính đối với việc đánh giá [nhằm] kiểm soát sự thiên lệch (bias) và thiết lập các mệnh đề hợp lý vì kỹ thuật khoa học truyền thống không phù hợp với nhận thức luận (epistemology) thay thế này (tr.13).

           Patton (2001) ủng hộ việc dùng kiểm tra chéo bởi “kiểm tra chéo giúp nghiên cứu hiệu quả hơn bằng cách kết hợp nhiều phương pháp. Điều này có nghĩa là dùng một số kiểu phương pháp hoặc dữ liệu, bao gồm cả phương pháp định lượng lẫn định tính” (tr.247). Tuy nhiên, Barbour (1998) nghi ngờ ý ​​tưởng kết hợp các phương pháp này. Bà lập luận trong khi mẫu hình kết hợp là có thể nhưng phương pháp kết hợp trong một mẫu hình, chẳng hạn như nghiên cứu định tính, là có vấn đề vì mỗi phương pháp trong mẫu hình định tính có giả định riêng của nó “về khung lý thuyết mà chúng ta tập trung để đạt mục tiêu nghiên cứu” (tr.353). Mặc dù kiểm tra chéo được dùng trong mẫu hình định lượng để xác nhận và tổng quát hóa nghiên cứu, Barbour (1998) không bỏ qua khái niệm kiểm tra chéo trong mẫu hình định tính và bà cho rằng cần thiết phải định nghĩa kiểm tra chéo dưới góc độ nghiên cứu định tính trong từng mẫu hình. Ví dụ, kiểm tra chéo nhiều nguồn dữ liệu trong nghiên cứu định lượng, bất kỳ ngoại lệ nào cũng có thể dẫn đến việc không khẳng định (disconfirmation) giả thuyết trong khi các ngoại lệ trong nghiên cứu định tính được xử lý để điều chỉnh các lý thuyết và đạt kết quả.

            Theo quan điểm này, Healy và Perry (2000) lý giải về việc đánh giá độ chính xác và độ tin cậy trong mẫu hình hiện thực (realism paradigm) mà mẫu hình này dựa trên các quan niệm về một thực tại duy nhất. Họ lập luận về sự tiến hành kiểm tra chéo nhiều nguồn dữ liệu và diễn giải của họ về các quan niệm đó trong mẫu hình hiện thực.

            Một mẫu hình khác trong nghiên cứu định tính là thuyết kiến tạo (constructivism) vốn xem kiến thức được xây dựng dựa trên tương tác xã hội và có thể thay đổi tùy thuộc vào hoàn cảnh. Crotty (1998) định nghĩa thuyết kiến tạo từ góc nhìn xã hội “quan điểm cho rằng tất cả kiến thức, và do đó tất cả thực tại có ý nghĩa theo cách đó, dựa trên hoạt động của con người, được xây dựng trong và ngoài mối tương tác giữa con người và thế giới của họ, và được phát triển và lan truyền trong bối cảnh xã hội cơ bản” (tr.42). Trong bất kỳ nghiên cứu định tính nào, mục đích đều là “tham gia vào nghiên cứu nhằm cố gắng tìm hiểu để có được sự hiểu biết sâu sắc hơn chứ không phải là kiểm tra các đặc tính hời hợt” (Johnson, 1995, tr.4) và thuyết kiến tạo có thể tạo điều kiện để đạt được mục tiêu đó. Khái niệm kiến tạo, nghĩa là thực tại đang thay đổi cho dù người quan sát có muốn hay không (HIPPS, 1993), là dấu hiệu của nhiều thực tại hoặc đa dạng kết cấu có thể có của thực tại. Thuyết kiến tạo đánh giá các thực tại mà mọi người có trong tâm trí của mình. Vì vậy, để có được nhiều và đa dạng các thực tại chính xác và đáng tin cậy, đòi hỏi phải có nhiều phương pháp tìm kiếm hay thu thập dữ liệu. Nếu điều này dẫn đến áp dụng kiểm tra chéo trong mẫu hình kiến tạo, thì dùng kiểm tra chéo để kiểm tra người nghiên cứu, phương pháp và dữ liệu để ghi nhận kết cấu của thực tại là thích hợp (Johnson, 1997). Một quan điểm mở trong thuyết kiến tạo gắn với ý tưởng kiểm tra chéo dữ liệu bằng cách cho phép người tham gia trong một nghiên cứu hỗ trợ các nhà nghiên cứu trong câu hỏi nghiên cứu cũng như trong việc thu thập dữ liệu. Áp dụng nhiều phương pháp, chẳng hạn như quan sát, phỏng vấn và ghi âm sẽ dẫn đến kết quả là kết cấu của thực tại sẽ chính xác, đáng tin cậy và đa dạng hơn. Để nâng cao sự phân tích và hiểu biết kết cấu của các thực tại khác, các nhà nghiên cứu nên thực hiện kiểm tra chéo để có thể tham gia cùng với nhiều nhà điều tra hoặc tham khảo diễn giải dữ liệu của các nhà nghiên cứu đồng đẳng tại thời điểm hoặc địa điểm khác nhau. Tương tự, nhà nghiên cứu định tính có thể “sử dụng kiểm tra chéo để kiểm tra người thực hiện điều tra và xem xét các ý tưởng và lời giải thích được tạo ra bởi các nhà nghiên cứu bổ sung đang nghiên cứu người tham gia cuộc nghiên cứu” (Johnson, 1997, tr.284).

            Kiểm tra chéo có thể bao gồm các phương pháp thu thập dữ liệu và phân tích dữ liệu, nhưng không đề xuất một phương pháp cố định nào áp dụng cho tất cả các nghiên cứu. Các phương pháp được lựa chọn trong kiểm tra chéo để kiểm tra độ chính xác và độ tin cậy của một nghiên cứu phụ thuộc vào tiêu chí của nghiên cứu.

Hiểu biết của Chúng ta

            Từ thảo luận nói trên, sự kết hợp giữa mẫu hình định lượng với nghiên cứu định tính thông qua độ chính xác và độ tin cậy đã thay đổi hiểu biết của chúng ta về ý nghĩa truyền thống của độ tin cậy và độ chính xác từ góc nhìn của nhà nghiên cứu định tính. Độ tin cậy và độ chính xác được định nghĩa là tính đáng tin cậy (trustworthiness), tính chặt chẽ (rigor) và chất lượng (quality) trong mẫu hình định tính. Cũng thông qua sự kết hợp này, cách thức để đạt được độ chính xác và độ tin cậy sẽ chịu ảnh hưởng bởi quan điểm của nhà nghiên cứu định tính - đó là quan điểm mong muốn loại bỏ sự thiên lệch (bias) và tăng tính trung thực của người nghiên cứu đối với ý tưởng về một hiện tượng xã hội nào đó (Denzin, 1978), sự loại bỏ này sẽ thực hiện qua việc sử dụng kiểm tra chéo. Khi đó kiểm tra chéo được định nghĩa là “các thủ tục hợp lý giúp nhà nghiên cứu tìm kiếm sự hội tụ giữa nhiều và đa dạng các nguồn thông tin để hình thành nên chủ đề hay các phạm trù (categories) trong nghiên cứu” (Creswell & Miller, 2000, tr.126).

            Do đó, độ tin cậy, độ chính xác và kiểm tra chéo, nếu chúng là các khái niệm nghiên cứu phù hợp, đặc biệt là từ góc nhìn định tính, phải được định nghĩa lại như chúng ta đã thấy để phản ánh nhiều cách thức phát hiện ra sự thật.

References

Babour, R. S. (1998). Mixing qualitative methods: Quality assurance or qualitative quagmire?       Qualitative Health Research, 8(3), 352-361.

Bogdan, R. C. & Biklen, S. K. (1998). Qualitative research in education: An introduction to          theory and methods (3rd ed.). Needham Heights, MA: Allyn & Bacon.

Campbell, T. (1996). Technology, multimedia, and qualitative research in education. Journal of     Research on Computing in Education, 30(9), 122-133.

Charles, C. M. (1995). Introduction to educational research (2nd ed.). San Diego, Longman.

Clont, J. G. (1992). The concept of reliability as it pertains to data from qualitative studies.             Paper Presented at the annual meeting ofthe South West Educational Research Association. Houston, TX.

Creswell, J. W. & Miller, D. L. (2000). Determining validity in qualitative inquiry. Theory into      Practice, 39(3), 124-131.

Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Toronto: Holt,   RineHart, and Winston, Inc.

Davies, D., & Dodd, J. (2002). Qualitative research and the question of rigor. Qualitative Health research, 12(2), 279-289.

Denzin, N. K. (1978). The research act: A theoretical introduction to sociological methods. New   York: McGraw-Hill.

Denzin, N. K., & Lincoln, Y. S. Eds.). (1998). The landscape of qualitative research: Theories      and issues. Thousand Oaks: Sage Publications.

Denzin, N. K., & Lincoln, Y. S. (1998) (Eds). Collecting and interpreting qualitative materials.     Thousand Oaks: Sage Publication.

Eisner, E. W. (1991). The enlightened eye: Qualitative inquiry and the enhancement of       educational practice. New York, NY: Macmillan Publishing Company.

Glesne, C., & Peshkin, P. (1992). Becoming qualitative researches: An introduction. New York,    NY: Longman.

Healy, M., & Perry, C. (2000). Comprehensive criteria to judge validityand reliability of    qualitative research within the realism paradigm. Qualitative Market Research, 3(3), 118-          126.

Hoepfl, M. C. (1997). Choosing qualitative research: A primer for technology education    researchers. Journal of Technology Education, 9(1), 47-63. Retrieved February 25, 1998,    from http://scholar.lib.vt.edu/ejournals/JTE/v9n1/pdf/hoepfl.pdf

Hipps, J. A. (1993). Trustworthiness and authenticity: Alternate ways to judge authentic     assessments. Paper presented at the annual meeting of the American Educational          Research Association. Atlanta, GA.

Johnson, B. R. (1997). Examining the validity structure of qualitativeresearch. Education,             118(3), 282-292.

Johnson, S. D. (1995, Spring). Will our research hold upunder scrutiny? Journal of Industrial        Teacher Education, 32(3), 3-6.

Joppe, M. (2000).  The Research Process.  Retrieved February 25, 1998, from             http://www.ryerson.ca/~mjoppe/rp.htm

Kirk, J., & Miller, M. L. (1986). Reliability and validity in qualitative research. Beverly Hills:         Sage Publications.

Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills, CA: Sage.

Mathison, S. (1988). Why triangulate? Educational Researcher, 17(2), 13-17.

Maxwell, J. A. (1992). Understanding and validity in qualitative research. Harvard Educational   Review, 62(3), 279-300

Patton, M. Q. (2002). Qualitative evaluation and research methods (3rd ed.). Thousand Oaks,       CA: Sage Publications, Inc.

Seale, C. (1999). Quality in qualitative research. Qualitative Inquiry, 5(4), 465-478.

Stenbacka, C. (2001). Qualitative research requires quality concepts of its own. Management        Decision,  39(7), 551-555

Strauss, A., & Corbin, J. (1990). Basics of qualitative research: Grounded theory procedures         and techniques. Newbury Park, CA: Sage Publications, Inc.

Wainer, H., & Braun, H. I. (1988). Test validity. Hilldale, NJ: Lawrence Earlbaum Associates.  

Winter, G. (2000). A comparative discussion of the notion of validity in qualitative and    quantitative research. The Qualitative Report, 4(3&4). Retrieved February 25, 1998, from        http://www.nova.edu/ssss/QR/QR4-3/winter.html

Author’s Note

Nahid Golafshani is a doctoral student in the department of Curriculum, Teaching and Learning at the Ontario Institute for Studying Education\University of Toronto where she learns and gains experiences by working with the diverse group of students and faculties. Her area of specialization is Mathematics Education. Her researches include multicultural teaching and learning, teachers’ beliefs, and problem-based mathematics learning and learning. Ms. Golafshani may be contacted at Ontario Institute for Studying Education\University of Toronto Curriculum,Teaching and Learning, 252 Bloor Street West, Toronto, Ontario, Canada M5S 1V6; Telephone: 519-747-4559; Fax Telephone: (253) 322-8961; E-mail: ngolafshani@oise.utoronto.ca 

Copyright 2003: Nahid Golafshani and Nova Southeastern University 

Author’s Citation

Golafshani, N. (2003). Understanding reliability and validity in qualitative research. The   Qualitative Report, 8(4), 597-606. Retrieved [Insert date], from           http://www.nova.edu/ssss/QR/QR8-4/golafshani.pdf