Những đặc tính của trắc nghiệm -1

Bản thuyết trình với chủ đề: "Những đặc tính của trắc nghiệm -1"— Bản ghi của bản thuyết trình:

1 Những đặc tính của trắc nghiệm -1
Một trắc nghiệm tốt phải có: Đặc tính thiết kế tốt (tức là được thiết kế theo đúng quy trình và tuân thủ các nguyên tắc thiết kế), có 4 đặc tính cơ bản: Có mục đích được xác định rõ ràng: đo cái gì, đối tượng đo, kiểu câu hỏi, hình thức cho điểm… Có nội dung đo lường cụ thể và được chuẩn hóa: sự cụ thể hóa cấu trúc đo, chỉ số đo, nội dung đo lường của từng câu hỏi. Có thủ tục hướng dẫn làm test được chuẩn hóa: có sự thống nhất cách hướng dẫn, giải đáp thắc mắc như nhau cho mọi nghiệm thể. Cách cho điểm được chuẩn hóa: thủ tục cho điểm phải giống nhau với tất cả các nghiệm thể.

2 Những đặc tính của trắc nghiệm -2
Đặc tính đo lường tốt (tức là được đánh giá về độ tin cậy, độ hiệu lực xem thực tế nó có đưa ra được những thông tin chính xác, phù hợp với mục tiêu đo lường và những thông tin đó có nhiều lợi ích hay không) Độ tin cậy (Reliability) của bài trắc nghiệm chính là đại lượng biểu thị mức độ chính xác của phép đo nhờ bài  trắc nghiệm. Độ tin cậy chỉ cho ta biết khoảng cách, sai số hay sai lệch giữa kết quả với mục đích đo đạc nêu ra. Độ giá trị (Validity) Độ giá trị nói lên rằng các phương pháp và dụng cụ đo đạc cho phép thu được những thông tin cần phải có, đo được cái ta định đo, tức là mức độ đạt được mục đích đó. Độ giá trị của bài trắc nghiệm là đại lượng biểu thị mức độ đạt được mục tiêu đề ra cho phép đo nhờ bài trắc nghiệm.

3 Các bước thiết kế trắc nghiệm
Bước 1: Soạn thảo trắc nghiệm - Có mục đích đánh giá rõ ràng - Xác định mẫu - Xác định các biến đo lường (nội dung của test) - Xác định các điều kiện thử nghiệm - Thiết lập bảng phác thảo trắc nghiệm Bước 2: Đánh giá chất lượng trắc nghiệm và quá trình đánh giá Bước 3: Thử và chỉnh sửa Bước 4: Hoàn thiện trắc nghiệm.

4 Mục đích viết câu hỏi (item)
Các trắc nghiệm đánh giá về năng lực thường có miền đo là những hiểu biết, kiến thức hay kỹ năng. Những hiểu biết, kỹ năng được cụ thể hóa, chuyển thành các item để câu trả lời được nhận dạng như là đúng/ sai, tốt/ xấu hoặc đúng nhất/ thích hợp nhất. Các item phải được thiết kế sao cho những người có hiểu biết, có kỹ năng, trả lời đúng nhiều nhất các câu hỏi và do đó sẽ đạt điểm trắc nghiệm cao hơn. Ngược lại, những người ít hiểu biết, thiếu kỹ năng trả lời sai nhiều hơn, do đó đạt điểm trắc nghiệm thấp hơn.

5 Quá trình phát triển câu hỏi (item)
Phác thảo Lập bảng Thử Chỉnh sửa Lưu giữ

6 Quy trình xây dựng câu hỏi (item)
Phát thảo - Phát thảo ý tưởng và thiết kế các item dưới dạng thô. Bảng mô tả chi tiết: - Các chuyên gia kiểm tra và góp ý các câu hỏi Thử: - Cho 1 hoặc 2 học sinh làm thử và cho ý kiến. Chỉnh sửa - Chỉnh sửa các item dựa trên các ý kiến trao đổi Lưu giữ - Lưu giữ những câu hỏi tốt và loại bỏ câu hỏi chưa tốt.

7 Soạn thảo Lựa chọn và tập hợp tài liệu có liên quan Tổng thuật và sắp xếp tài liệu. Lập bảng phác thảo trắc nghiệm Viết các hướng dẫn vị trí câu hỏi Thảo luận Bảng phác thảo Các biến của trắc nghiệm. Các nhóm tiêu chí của trắc nghiệm. Tìm các trắc nghiệm phù hợp đã có Xác định mô hình và dạng câu hỏi. Viết nháp các câu hỏi

8 Bảng phác thảo trắc nghiệm-1
Là một bảng ma trận chi tiết về các nội dung, yêu cầu kiến thức, kỹ năng, các cấp độ đánh giá. Bảng này thường bắt đầu với một cột chứa đựng các phạm vi nội dung của trắc nghiệm được liệt kê theo chủ đề, theo chương trình hoặc các cách phân chia khác. Một cột khác là sự phân loại các cách mà giáo viên muốn học sinh thể hiện chứng tỏ chúng hiểu biết về nội dung. Mỗi ô trong bảng có phân định tỷ trọng tương ứng với mỗi nội dung và mỗi cách thể hiện sự hiểu biết của học sinh ứng với nội dung đó.

9 Bảng phác thảo trắc nghiệm - 2
Đủ chi tiết để người viết item có thể sử dụng để thiết kế test từ những cụ thể trong bảng Độ khó Độ tin cậy Hình thức trình bày câu hỏi Tỉ lệ từng phần nội dung Thủ tục mang tính hành chính: thời gian, thiết bị, nguồn lực Những yêu cầu đánh dấu phương án trả lời

10 Bản phác thảo trắc nghiệm
Chủ đề Các mục tiêu Tổng hợp % Số câu A B C … Tổng số

11 Ví dụ (Test đọc của PISA)
Khía cạnh % của test % Câu hỏi mở % câu hỏi nhiều lựa chọn Tái hiện 20 7 13 Hiểu rộng Giải thích 30 11 19 Suy nghĩ về nội dung 15 10 5 Suy nghĩ về hình thức Tổng 100

12 Bản phác thảo trắc nghiệm
Chủ đề Cấp độ tư duy Tổng cộng Nhận biết Thông hiểu Vận dụng: mức độ thấp mức độ cao Công 2/50= 4% 1/50= 2% 0/50= 0% 4/50= 8% Năng lượng 3/50= 6% 5/50= 10% 12/50= 24% Thế năng 6/50= 12% Động năng Cơ năng 10/50= 20% 18/50= 36% 10/50= 4% 19/50= 38% 15/50= 30% Tổng điểm=50

13 Sử dụng khung lí luận và bản chi tiết
Để xây dựng câu hỏi/bài tập Không bỏ qua những cái cụ thể, chi tiết. Luôn kiểm tra chéo lẫn nhau. Để đảm bảo biến ẩn được định nghĩa rõ ràng và chính xác thể hiện ở việc nó ổn định từ bài trắc nghiệm này sang bài trắc nghiệm khác Sử dụng những nhóm viết câu hỏi trắc nghiệm khác nhau sử dụng các trắc nghiệm song song

14 Người viết câu hỏi trắc nghiệm
Tốt nhất là làm việc theo nhóm/đội Nghề 24 giờ! Ý tưởng có thể xuất hiện không phải trong lúc đang viết câu hỏi mà có thể ngoài giờ làm việc. Ý tưởng xuất hiện chỉ là một khái niệm thô, giống như hòn đá chưa cắt gọt. Nó cần được cắt gọt, đánh bóng đi đánh bóng lại và nhiều công đoạn khác Luôn giữ sổ ghi chép những ý tưởng về câu hỏi

15 Lưu ý khi viết câu hỏi - 1 Sử dụng câu hỏi đúng nghĩa gốc của từ
Viết các câu hỏi tích cực Diễn đạt nhiệm vụ rõ ràng Sử dụng từ với nghĩa chính xác, rõ ràng Sử dụng các câu đơn giản Đảm bảo là câu trả lời đúng là đúng duy nhất, không thể nhầm lẫn được Kiểm tra ngữ pháp và chính tả Không sử dụng “không phương án nào ở trên cả”; “tất cả các phương án trên” hay “Tôi không biết” Một lượng nội dung phù hợp được sử dụng trong các câu hỏi/bài tập Mỗi câu hỏi/bài tập đề cập đến 1 vấn đề 39

16 Lưu ý khi viết câu hỏi - 1 Sắp xếp test như thế nào để các phương án trả lời (a,b,c,d trong câu hỏi nhiều lựa chọn) được xếp ngẫu nhiên. Phù hợp với các mức độ khả năng của những HS làm test. Không có định kiến giới, dân tộc, tôn giáo. Không hỏi cảm nghĩ của HS, chỉ hỏi sự kiện, kiến thức, kĩ năng, thái độ; Tránh dùng câu hỏi phủ định, đặc biệt là phủ định hai lần. Đối với loại nhiều lựa chọn: các phương án sai phải có vẻ hợp lí.

17 Viết câu hỏi nhiều lựa chọn - 1
Mỗi câu hỏi chỉ nên có một lựa chọn đúng, các lựa chọn còn lại là không đúng. Tránh dùng các cụm từ “tất cả những câu trên” hoặc “không có câu nào ở trên” “ Tôi không biết”…là phương án trả lời. Tránh các câu hỏi âm tính, câu hỏi có cấu trúc ngữ pháp phức tạp, dài, đa nghĩa. Mỗi CH chỉ nên tập trung vào một vấn đề cụ thể (biểu hiện cụ thể) và chỉ bao quát một phạm vi rất hẹp nằm trong một chỉ số cụ thể. Cần đánh giá độ khó của câu hỏi để loại bỏ những câu hỏi quá khó hoặc quá dễ (vì những item này không đóng góp gì cho độ tin cậy và độ hiệu lực của trắc nghiệm)

18 Câu hỏi nhiều lựa chọn - 2 Nhiều HS cho rằng câu hỏi nhiều lựa chọn dễ hơn câu hỏi mở và do đó không cần học vất vả; Chỉ cần cố gắng nhớ sự kiện vì chúng cho rằng câu hỏi nhiều lựa chọn chủ yếu kiểm tra sự kiện; Điều này dẫn đến học thuộc lòng (học vẹt)

19 Độ khó Độ khó của câu hỏi được tính theo tỉ lệ học sinh chọn đúng đáp án. Mức độ khó dao động từ 0.00 đến 1.00 Mức độ khó trung bình của cả bài kiểm tra với hầu hết các dạng câu hỏi có nhiều lựa chọn là từ 0.6 đến 0.7 (Gronlund và Linn, 1990)

20 Độ phân biệt Độ phân biệt được tính như một hệ số tương quan giữa điểm số của một câu hỏi và tổng điểm hoặc như sự khác nhau về tỉ lệ học sinh có điểm số cao khi đưa ra các đáp án đúng và học sinh có điểm số thấp khi đưa ra các đáp án đúng. Mức độ phân biệt dao động từ đến Giá trị mong đợi của mức độ phân biệt thường từ khoảng 0.3 đến 0.5 (Oosterhof,2001). Giá trị âm (-1) có nghĩa tất cả học sinh điểm thấp có câu trả lời đúng và tất cả học sinh điểm cao có câu trả lời sai, điều này xảy ra thì câu hỏi đã sai chức năng. Giá trị dương (+1) có nghĩa tất cả các học sinh điểm cao có câu trả lời đúng và tất cả học sinh điểm thấp có câu trả lời sai, lúc này câu hỏi thực hiện đúng chức năng của chúng. Giá trị =“0” có nghĩa câu hỏi không phân biệt được học sinh khá giỏi và học sinh yếu kém.

21 Độ nhiễu Thông thường, học sinh được chia thành 2 nhóm: nhóm điểm cao và nhóm điểm thấp, tỉ lệ chọn phương án cũng được ghi lại. Nhóm học sinh điểm cao thường chọn đáp án đúng và những học sinh điểm thấp thường chọn phương án nhiễu. Nếu điều ngược lại xảy ra, đó là lúc phải xem lại câu hỏi vì có thể có vấn đề với phương án nhiễu nên chúng đã gây khó khăn cho nhóm học sinh khá giỏi(Oosterhof,2001).

22 Ưu điểm của trắc nghiệm khách quan
Chấm điểm nhanh, chính xác, khách quan; Cung cấp phản hồi nhanh về KQHT của HS Có thể kiểm tra trên diện rộng, trong một khoảng thời gian ngắn; Góp phần rèn luyện kĩ năng: dự đoán, ước lượng, lựa chọn phương án nhanh; Tạo cơ hội cho HS tự đánh giá khi GV công bố đáp án và biểu điểm Nếu việc soạn test tốt thì HS hoàn toàn mất khả năng quay cóp

23 Nhược điểm của trắc nghiệm khách quan
Khó đánh giá những mức độ nhận thức cao như: phân tích, chứng minh, tổng hợp.. Dễ xảy ra lựa chọn cảm tính, đoán mò; Soạn đề kiểm tra khó, mất nhiều thời gian và chi phí lớn; Không tạo điều kiện cho HS phát hiện và giải quyết vấn đề; Nếu nhiều HS làm chung một đề thì khả năng quay cóp cao

24 Thử - 1 Thử test là một quá trình được thực hiện với những học sinh đại diện của nhóm. Học sinh này sẽ được phỏng vấn để trả lời các câu hỏi về quy trình thực hiện nhằm mục đích tìm hiểu sự phù hợp của những yêu cầu, điều kiện, kỹ năng đo đạc của trắc nghiệm.

25 Thử - 2 Cố gắng thử câu hỏi trắc nghiệm với nhóm đối tượng. Lựa chọn những học sinh với các năng lực khác nhau. Chỉ thử trên 5-6 học sinh Suy nghĩ trong khi học sinh trả lời câu hỏi Hỏi học sinh về lý do chọn câu trả lời. Hỏi học sinh về lý do không chọn câu trả lời. Ghi lại những lý do và kiểm tra các kỹ năng thực hiện

26 Quá trình chỉnh sửa Sử dụng một mẫu/ nhóm đối tượng tương đương. Số liệu của mỗi câu hỏi chứa: Độ khó Độ phân biệt Độ phù hợp