CONVENTIONAL TEST THEORY VS MODERN TEST THEORY ASESMEN PEMBELAJARAN KIMIA PIK-304 Pendidikan Kimia Fakultas Matematika dan Ilmu Pengetahuan Universitas Negeri Yogyakarta
Objectives Riki Perdana Introduction Material References Critical test theory vs modern test theory Deskripsi Singkat Mata Kuliah Asesmen pembelajaran kimia merupakan mata kuliah yang mengembangkan berbagi jenis penilaian pembelajaran baik assessment of learning, assessment for learning, maupun assessment as learning menggunakan berbagai jenis teknik penilaian baik tes maupun non tes, seperti penilaian kinerja, penilaian proses, penilaian sikap, penilaian portofolio, dan penilaian proyek untuk menilai hasil pembelajaran kimia. Penilaian dilakukan dengan dasar pemahaman bahwa hakekat assessment dan kemampuan menyusun instrumen penilaian baik, valid (validitas soal dan validitas butir soal), reliabel, dan sesuai dengan kebutuhan pengukuran dan penilaian hasil belajar kimia peserta didik, sehingga dapat megambil keputusan pembelajaran yang tepat sesuai dengan hakekat, perkembangan dan kemampuan yang mencerminkan keberhasilan pembelajaran kimia peserta didik secara adil Bahan Kajian: Materi Pembelajaran 1. Konsep dasar penilaian dan evaluasi pembelajaran kimia 2. Fungsi assessment dalam pembelajaran kimia 3. Penilaian tes dan non tes pembelajaran kimia 4. Prosedur penyusunan dan pelaporan assessment pembelajaran kimia 5. Classical and Modern test Theory 6. Prosedur analisis hasil pengembangan instrumen 7. Publikasi hasil pengembangan instrumen Referensi 1. Bookhart, S. M., & McMillan, J. H. (2020). Classroom Assessment and Educational Measurement. New York: Routledge 2. Crocker, L., & Algina, J. 2008. Introduction to Classical and Modern Test Theory. Mason: Cengage Learning. 3. Hart, D. (1994). Authentic assessment: A handbook for educators. California: Wiley Publishing Company. 4. National Research Council. (2000). Inquiry and the National Science Education Standards: A guide for Teaching and Learning. Washington: National Academy Press 5. Shepardson, D. P. (2001). Assessment in Science. West Lafayette: Springer Science and Business Media 6. Wahyudi, A., Richardo, R., Eilks, I., & Kulgemeyer C. (2023). Development of Three Tier Open-Ended Instrument to Measure Chemistry Students’ Critical Thinking Disposition Using Rasch Analysis. International Journal of Instruction, 16 (2), 1-16. Link Rencana Pembelajaran Semester
Objectives Riki Perdana Introduction Material References Asesmen Pembelajaran Kimia Critical test theory vs modern test theory CAPAIAN PEMBELAJARAN MATA KULIAH (CPMK) CPMK 1. Menganalisis konsep dasar dan fungsi pengembangan penilaian dan evaluasi dalam pembelajaran kimia secara kritis, dan komunikatif (CPL1; CPL 2) CPMK 2. Menyusun instrumen penilaian tes dan non test sesuai dengan prosedur perencanaan asesmen dan mengembangkannya dalam pembelajaran kimia berdasarkan hakekat pengembangan instrumen yang memenuhi unsur daya pembeda, tingkat kesukaran, validitas dan reliabilitas (CPL1; CPL2) CPMK 3. Mengkomunikasikan hasil identifikasi permasalahan dalam asesmen pembelajaran kimia dan menentukan solusi alternatif melalui pengembangan penilaian dan evaluasi pembelajaran kimia melalui prosiding seminar dan jurnal ilmiah tingkat nasional dan internasional bereputasi, maupun kepada masyarakat umum melalui media masa (CPL3; CPL4) UJIAN AKHIR SEMESTER (UAS) (Pertemuan 16) UJIAN TENGAH SEMESTER (UTS) (Pertemuan 8) Sub-CPMK 1 (C4; A3) Pertemuan 1 Sub-CPMK 2 (C4; A3) Pertemuan 2 Sub-CPMK 3 (C2; A3) Pertemuan 3-5 Sub-CPMK 4 (C6; A3) Pertemuan 6-7 Sub-CPMK 5 (C4; A3) Pertemuan 9-11 Sub-CPMK 6 (C3; A3; P3) Pertemuan 12 Sub-CPMK 7 (C6; A3; P3) Pertemuan 13-15 Pengembangan alat ukur pembelajaran sains berdasarkan perspektif CTT dan MTT
Objectives Riki Perdana Introduction Material References 1. Ketepatan menjelaskan hakekat pengembangan instrumen berdasarkan classical test theory 2. Ketepatan menguraikan standar instrumen yang baik berdasarkan kriteria daya beda, tingkat kesukaran, validitas dan reliabilitas 3. Ketepatan menganalisis keunggulan dan keterbatasan pengembangan instrumen menggunakan Classical Test Theory (CTT) 4. Ketepatan menjelaskan hakekat pengembangan instrumen berdasarkan modern test theory 5. Ketepatan menjelaskan prinsip pengembangan instrumen menggunakan Item Respons Theory sebagai salah satu teknik analisis Modern test theory 6. Ketepatan menyebutkan macam-macam kriteria instrumen yang baik menurut Item Respons Theory 7. Ketepatan menganalisis keunggulan dan keterbatasan pengembangan instrumen menggunakan Modern Test Theory (MTT) 8. Ketepatan menganalisis perbedaan antara classical test theory dan modern test theory Menganalisis perbedaan antara Classical Test Theory (CTT) dan Modern Test Theory (MTT) sebagai dasar pengembangan instrumen penilaian dalam pembelajaran kimia (CPMK 2) Objectives Critical test theory vs modern test theory Sub-CPMK Indikator Pembelajaran Asesmen Pembelajaran Kimia
Objectives Riki Perdana Introduction Material Material References Pengembangan penilaian dan evaluasi pembelajaran sains Critical test theory vs modern test theory Link Youtube: https://youtu.be/3BfhPjpteKo
Objectives Riki Perdana Introduction Material Material References Pengembangan penilaian dan evaluasi pembelajaran sains Critical test theory vs modern test theory Sumber: Wahyudi, A., Ariyani, Y.D., & Rochaendi, E. (2021). The position of critical thinking and creative thinking in science education. Jurnal Zarah, 9 (1), 8-14. What is Science?
Objectives Riki Perdana Introduction Material Material References Pengembangan penilaian dan evaluasi pembelajaran sains Critical test theory vs modern test theory Sumber: Wahyudi, A., Ariyani, Y.D., & Rochaendi, E. (2021). The position of critical thinking and creative thinking in science education. Jurnal Zarah, 9 (1), 8-14. Assessment Science as product Science as process Science as value Learning objective Chemistry Teaching and Learning Instruments Development CTT MTT
Objectives Riki Perdana Introduction Material Material References Critical test theory vs modern test theory Asesmen Pembelajaran Kimia
Objectives Riki Perdana Introduction Material Material References Pengembangan penilaian dan evaluasi pembelajaran sains Critical test theory vs modern test theory Sumber: Wahyudi, A., Richardo, R., Eilks, I., & Kulgemeyer C. (2023). Development of Three Tier Open-Ended Instrument to Measure Chemistry Students’ Critical Thinking Disposition Using Rasch Analysis. International Journal of Instruction, 16 (2), 1-16.
Objectives Riki Perdana Introduction Material Material References Critical test theory vs modern test theory Item Analysis Classical Test Theory Laten Trait Model Item Response Theory 1P 2P 3P 4P Rasch Model Asesmen Pembelajaran Kimia
Objectives Riki Perdana Introduction Material Material References Critical test theory vs modern test theory 1. Analisis sederhana dan banyak digunakan 2. Fokus pada tes secara keseluruhan 3. Asumsi dasar X = T + E Keterangan X = Skor mentah T = Skor nyata E = Error Classical Test Theory (CTT) Asesmen Pembelajaran Kimia
Objectives Riki Perdana Introduction Material Material References Critical test theory vs modern test theory 1. Tingkat kesulitan item Perbandingan antara jumlah penjawab item benar dengan banyaknya penjawab item 2. Daya diskriminasi item Kemampuan item untuk membedakan antara individu yang memiliki kemampuan tinggi dan kemampuan rendah 3. Validitas Tingkat kesahihan item dalam mengukur apa yang harusnya diukur 4. Reliabilitas Tingkat konsistensi item ketika diberikan pada sampel yang sama dalam waktu yang berbeda Parameter dalam CTT Asesmen Pembelajaran Kimia
Objectives Riki Perdana Introduction Material Material References Critical test theory vs modern test theory 1. Analisis yang sederhana dan mudah dipahami 2. Pemahamannya tidak menuntut pengetahuan mendalam mengenai fungsi distribusi statistik dan model-model matematiknya 3. Sampel yang diperlukan bisa lebih sedikit dibandingkan dengan pendekatan teori respon butir Kelebihan CTT 1. Parameter bergantung pada sampel 2. Skor mentah memiliki makna kuantitatif yang rendah Kelemahan CTT Asesmen Pembelajaran Kimia
Objectives Riki Perdana Introduction Material Material References Critical test theory vs modern test theory Alkisah Krisna hendak menguji 5 orang dalam memanah. Disiapkanlah 4 target berdasarkan tingkat kesulitannya: pohon, kijang, burung, dan benang. Hasil pengukurannya adalah sebagai berikut Kasus Nama Target Pohon Kijang Burung Benang Gatot kaca √ √ x x Petruk x x x √ Srikandi x √ √ √ Abimanyu √ x x x Arjuna x √ √ √ Asesmen Pembelajaran Kimia
Objectives Riki Perdana Introduction Material Material References Critical test theory vs modern test theory 1. Disebut juga sebagai psikometri modern 2. Mulai populer sejak tahun 1960-an 3. Prinsip relativitas dan probabilitas 4. Asumsi: a. Unideminsi: Setiap butir tes hanya mengukur satu kemampuan b. Independensi lokal: Jawaban peserta terhadap suatu butir soal tidak mempengaruhi jawaban peserta terhadap butir soal yang lain c. Invariansi: Karakteristik butir soal tidak tergantung pada distribusi parameter kemampuan peserta tes dan parameter yang menjadi ciri peserta tes tidak bergantung pada ciri butir soal Item Response Theory Asesmen Pembelajaran Kimia
Objectives Riki Perdana Introduction Material Material References Critical test theory vs modern test theory 1. Mencirikan hubungan antara variabel laten dan probabilitas untuk menjawab benar 2. IRF sering ditunjukkan dengan Item Characteristic Curves (ICC) Item Response Function (IRF) Paramater a = Daya beda Parameter b = tingkat kesulitan Paramater c= probabilitas sampel abilitas rendah
Objectives Riki Perdana Introduction Material Material References Pengembangan penilaian dan evaluasi pembelajaran sains Critical test theory vs modern test theory Scalogram dalam IRT
Objectives Riki Perdana Introduction Material Material References Pengembangan penilaian dan evaluasi pembelajaran sains Critical test theory vs modern test theory 1. Setiap ICC dapat dikonversikan menjadi IIF, yang merupakan reliabilitas item dalam IRT 2. Menunjukkan level presisi dan informasi untuk membedakan individu pada level kemampuan tertentu Item Information Function (IIF) ICC IIF Q1 Q2 Q3 Q1 Q2 Q3
Objectives Riki Perdana Introduction Material Material References Pengembangan penilaian dan evaluasi pembelajaran sains Critical test theory vs modern test theory Akumulasi dari TIF menunjukkan informasi range dari trait yang paling baik di ukur Test Information Function (IRF)
Objectives Riki Perdana Introduction Material Material References Critical test theory vs modern test theory 1. Parameter butir dan peserta tes tidak saling mempengaruhi, sehingga memungkinkan untuk melihat kontribusi butir sewaktu butir itu ditambahkan atau dikurangi pada suatu perangkat tes. 2. Memungkinkan peneliti untuk melakukan pengukuran yang sangat cermat pada kelompok-kelompok yang ekuivalen namun berbeda kultur sehingga dapat diketahui ada bias atau tidak pada hasil pengukuran itu Kelebihan IRT Asesmen Pembelajaran Kimia
Objectives Riki Perdana Introduction Material Material References Critical test theory vs modern test theory CTT MTT Unit analisisnya adalah tes Unit analisisnya adalah item Alat ukur dengan jumlah item banyak akan lebih reliabel Alat ukur degan jumlah item lebih sedikit bisa jadi lebih reliabel Membandingkan skor dari pengukuran berbeda hanya bisa dilakukan jika tesnya parallel Membandingkan skor dari pengukuran berbeda bisa dilakukan asalkan mengukur trait yang sama Properti item tergantung dari sampel Properti item tidak bergantung dari sampel Semua item dalam suatu alat ukur harus memiliki kategori respon yang sama Semua item dalam suatu alat ukur tidak harus memiliki kategori respon yang sama CTT vs MTT Asesmen Pembelajaran Kimia
Objectives Riki Perdana Introduction Material References References Pengembangan penilaian dan evaluasi pembelajaran sains Critical test theory vs modern test theory 1. Crocker, L., & Algina, J. 2008. Introduction to Classical and Modern Test Theory. Mason: Cengage Learning. 2. Wahyudi, A., Richardo, R., Eilks, I., & Kulgemeyer C. (2023). Development of three tier open-ended instrument to measure chemistry students’ critical thinking disposition using Rasch Analysis. International Journal of Instruction, 16 (2), 1-16 Referensi
Objectives Riki Perdana Introduction Material References TASK Pengembangan penilaian dan evaluasi pembelajaran sains Critical test theory vs modern test theory
Objectives Riki Perdana Introduction Material References Thank You Pengembangan penilaian dan evaluasi pembelajaran sains Critical test theory vs modern test theory