บทที่ 7 การทดสอบประสิทธิภาพ นวัตกรรมหรือสื่อการสอน 1. การหาค่าดัชนีความสอดคล้อง (IOC) 2. การหาค่าประสิทธิภาพ (E1/E2) 3. การหาค่าดัชนีประสิทธิผล (E.I.) 4. กาหาค่าผลสัมฤทธิ์ทางการเรียน
ขั้นตอนการสร้างและหาคุณภาพนวัตกรรมหรือสื่อการสอน ศึกษาค าอธิบายรายวิชาและวิเคราะห์เนื้อหา ออกแบบเนื้อหา จุดประสงค์การเรียนรู้ และข้อสอบ จัดท าสื่อ/นวัตกรรม น าสื่อ/นวัตกรรมไปทดลองใช้ ท ารายงานการใช้สื่อ/นวัตกรรม (วิจัย) • การหาค่าดัชนีความสอดคล้อง (IOC) • การหาค่าประสิทธิภาพ (E1/E2) • การหาค่าดัชนีประสิทธิผล (E.I.) • การหาค่าผลสัมฤทธิ์ทางการเรียน 1) บทน า 2) เอกสารและงานวิจัยที่เกี่ยวข้อง 3) วิธีการวิจัย 4) ผลการวิจัย 5) สรุป อภิปรายผล และข้อเสนอแนะ • ADDIE Model (Analysis, Design, Development, Implementation, Evaluation)
การหาคุณภาพนวัตกรรม การหาค่าดัชนีความสอดคล้อง (IOC) ใช้วิธีการหาค่า IOC หรือค่าดัชนีความสอดคล้อง เป็นการน านวัตกรรมที่สร้างขึ้นไปให้ผู้เชี่ยวชาญเฉพาะเรื่อง ที่ท านวัตกรรมนั้นโดยตรง อย่างน้อย 3 คนตรวจสอบโดยใช้แบบสอบถาม ถามผู้เชี่ยวชาญทั้ง 3 คน มีความเห็น สอดคล้องกัน 2 หรือ 3 คน แสดงว่า เนื้อหาและรูปแบบมีความถูกต้องเที่ยงตรงและครอบคลุมจุดมุงหมายที่ก าหนด โดยใช้สูตร IOC (Index of Item–Objective Congruence) ในการพิจารณาคุณภาพของนวัตกรรม ตัวอย่างของงานที่ต้องค านวณค่าดัชนีความสอดคล้อง (IOC) เช่น ➢ ความสอดคล้องของจุดประสงค์การเรียนรู้กับเนื้อหา ➢ ความสอดคล้องของข้อค าถามในแบบทดสอบกับสิ่งที่ต้องการวัด (จุดประสงค์การเรียนรู้) ➢ ความสอดคล้องของนวัตกรรม (เนื้อหาและรูปแบบมีความถูกต้องเที่ยงตรงและครอบคลุมจุดมุ่งหมาย) ➢ ความสอดคล้องของรายการค าถามในแบบสอบถามกับสิ่งที่ต้องการวัด
การหาคุณภาพนวัตกรรม สูตรการหาค่าดัชนีความสอดคล้อง (IOC)
การหาค่าดัชนีความสอดคล้อง (IOC) รายการค าถาม อาจ เป็นการถามเกี่ยวกับ จุดประสงค์การ เรียนรู้ ข้อค าถาม ของแบบทดสอบ ว่า มีความสอดคล้องกับ จุดประสงค์ของสิ่งที่ เราจะวัดหรือไม่ (1+1+0)/3=0.6 ค่า IOC ที่สามารถน าไปใช้ได้ ต้องมีค่าตั้งแต่ 0.5 ขึ้นไป ใช้ส าหรับเป็น ตัวอย่างงานที่ 7.1 ข้อที่ 1
การหาคุณภาพนวัตกรรม (ขั้นการทดลองและพัฒนา) การทดลองแบบ 1:1 (3 คน เก่ง ปานกลาง อ่อน) การทดลองกลุ่มเล็ก (5-10 คน เก่ง ปานกลาง อ่อน) การทดลองกลุ่มใหญ่ (20-30 คน) เพื่อตรวจสอบความถูกต้อง เหมาะสมของนวัตกรรม และแก้ไข เพื่อตรวจสอบความถูกต้อง เหมาะสมของนวัตกรรม และแก้ไข เพื่อหาประสิทธิภาพ (E1/E2) และ ประสิทธิผล (E.I.) เมื่อด าเนินการสร้างสื่อ/นวัตกรรม แล้วเสร็จ ต้องด าเนินการหาคุณภาพสื่อ ตามขั้นตอน ดังนี้
การทดสอบประสิทธิภาพนวัตกรรม 1. ความหมายของประสิทธิภาพ ประสิทธิภาพ (efficiency) หมายถึง สภาวะหรือคุณภาพของสมรรถนะในการด าเนินงาน เพื่อให้งานหรือ ความส าเร็จโดยใช้เวลา ความพยายาม และค่าใช้จ่ายคุ้มค่าที่สุดตามจุดมุงหมายที่ก าหนดไว้ 2. การทดสอบประสิทธิภาพสื่อการสอน การทดสอบประสิทธิภาพสื่อการสอน (developmental testing) คือ การทดสอบคุณภาพของการ ผลิตสื่อหรือชุดการสอนตามล าดับขั้น เพื่อตรวจสอบคุณภาพของแต่ละองค์ประกอบของต้นแบบชิ้นงาน ให้ด าเนินไปอย่างมีประสิทธิภาพ
การทดสอบประสิทธิภาพ ส าหรับการผลิตนวัตกรรมหรือสื่อการสอน การทดสอบประสิทธิภาพ หมายถึง การน านวัตกรรมหรือสื่อไป ทดสอบด้วยกระบวน 2 ขั้นตอน ขั้นตอนการทดสอบ ประสิทธิภาพ 1) การทดสอบ ประสิทธิภาพเบื้องต้น (try out) 2) ทดสอบประสิทธิภาพ สอนจริง (trial run) ประเด็นการทดสอบ ประสิทธิภาพ การท าให้ผู้เรียนมีความรู้ เพิ่มขึ้น การช่วยให้ผู้เรียนผ่าน การท าแบบประเมิน การท าให้ผู้เรียนมีความ พึงพอใจ เป็นการทดลองกลุ่มใหญ่ ที่ไม่ใช่กลุ่มตัวอย่าง
การหาประสิทธิภาพสื่อนวัตกรรม ตามเกณฑ์ E1/E2 การหาประสิทธิภาพของนวัตกรรม ประสิทธิภาพของกระบวนการ (E1) หมายถึง ประเมินพฤติกรรมย่อย ๆ จากการท า กิจกรรมของผู้เรียนในบทเรียนทุกกิจกรรม (ทุกรอบ/ข้อ) หรือจากการที่นักเรียนได้อ่านบทเรียนถูก มากน้อยเพียงใด ประสิทธิภาพของผลลัพธ์ (E2) หมายถึง การประเมินผลลัพธ์ (Product) ของนักเรียน โดยพิจารณาจากผลการทดสอบหลังเรียน (Post-test) ในการเขียนประสิทธิภาพของนวัตกรรมนั้นมักเขียนในลักษณะของ E1/E2 เช่น 70/70, 80/80, 90/90 เป็นต้น
การค านวณประสิทธิภาพของสื่อนวัตกรรม ตามเกณฑ์ E1/E2
การค านวณประสิทธิภาพสื่อนวัตกรรม ตามเกณฑ์ E1/E2 E1 :ประสิทธิภาพของกระบวนการ (ระหว่างเรียน) E2 :ประสิทธิภาพของผลลัพธ์ (หลังเรียน)
การค านวณประสิทธิภาพสื่อนวัตกรรม ตามเกณฑ์ E1/E2 =ผลรวม/ จ านวนคน =20/5 =(คะแนนที่ได้X100)/ คะแนนเต็ม =(4x100)/5 สรุป นวัตกรรมนี้มีประสิทธิภาพ = 80.67/83.75 ใช้ส าหรับเป็น ตัวอย่างงานที่ 7.1 ข้อที่ 2 =(24.2/30)*100
ตัวอย่างการรายงานประสิทธิภาพนวัตกรรม
การหาค่าดัชนีประสิทธิผลของนวัตกรรม (E.I. : Effectiveness Index) ดัชนีประสิทธิผล หมายถึง การประเมินความก้าวหน้าทางการเรียนของ ผู้เรียนที่ได้รับจากการจัดกิจกรรมการเรียนรู้ โดยประเมินจากคะแนนหลังเรียนที่ เพิ่มขึ้นจากก่อนเรียน ดัชนีประสิทธิผล (E.I : Effectiveness Index) หมายถึง ตัวเลขที่แสดงถึง ความก้าวหน้าของผู้เรียน โดยการเทียบคะแนนที่เพิ่มขึ้นจากคะแนนการทดสอบ ก่อนเรียนกับคะแนนที่ได้จากการทดสอบหลังเรียน และคะแนนเต็มหรือคะแนน สูงสุดกับคะแนนที่ได้จากการทดสอบก่อนเรียน
การค านวณหาค่าดัชนีประสิทธิผลของนวัตกรรม (E.I. : Effectiveness index) ใช้ส าหรับเป็น ตัวอย่างงานที่ 7.1 ข้อที่ 3
ผลสัมฤทธิ์ทางการเรียน ผลสัมฤทธิ์ทางการเรียน หมายถึง ความสามารถของบุคคลที่เกิดจากผลของความรู้ ความจ า ความเข้าใจและทักษะต่าง ๆ ใน เนื้อหาวิชาที่ได้เรียนรูมาแลว และสามารถวัดได้ ด้วยแบบทดสอบวัดผลสัมฤทธิ์ทางการเรียน การวัดผลสัมฤทธิ์ทางการเรียน จะเป็น การวัดพฤติกรรมการเรียนรู้ตามแนวคิดของ Bloom 6 ด้าน คือ ความรู้ ความจ า ด้านความ เข้าใจ ด้านการน าไปใช้ ด้านการวิเคราะห์ ด้าน การประเมินค่า
ลักษณะของแบบทดสอบวัดผลสัมฤทธิ์ที่ดี 1. ความเที่ยงตรง เป็นแบบทดสอบที่สามารถน าไปวัดในสิ่งที่เราต้องการวัดได้อย่างถูกต้อง ครบถ้วน ตรงตามจุดประสงค์ที่ต้องการวัด (มีสูตรค านวณ) 2. ความเชื่อมั่น แบบทดสอบที่มีความเชื่อมั่น คือ สามารถวัดได้คงที่ไม่ว่าจะวัดกี่ครั้งก็ตาม เช่น ถ้าน า แบบทดสอบไปวัดกับนักเรียนคนเดิมคะแนนจากการสอบทั้งสองครั้งควรมีความสัมพันธ์กันดี เมื่อสอบได้คะแนน สูงในครั้งแรกก็ควรได้คะแนนสูงในการสอบครั้งที่สอง (มีสูตรค านวณ) 3. ความเป็นปรนัย เป็นแบบทดสอบที่มีค าถามชัดเจน เฉพาะเจาะจง ความถูกต้องตามหลักวิชา และ เข้าใจตรงกัน เมื่อนักเรียนอ่านค าถามจะเข้าใจตรงกัน ข้อค าถามต้องชัดเจนอ่านแล้วเข้าใจตรงกัน 4. การถามลึก หมายถึง ไม่ถามเพียงพฤติกรรมขั้นความรู้ความจ า โดยถามตามต าราหรือถามตามที่ครู สอน แต่พยายามถามพฤติกรรมขั้นสูงกว่าขั้นความรู้ความจ า ได้แก่ ความเข้าใจการน าไปใช้ การวิเคราะห์ การ สังเคราะห์และการประเมินค่า
ลักษณะของแบบทดสอบวัดผลสัมฤทธิ์ที่ดี (ต่อ) 5. ความยากง่ายพอเหมาะ หมายถึง ข้อสอบที่บอกให้ทราบว่าข้อสอบข้อนั้นมีคนตอบถูกมากหรือตอบ ถูกน้อย ถ้ามีคนตอบถูกมากข้อสอบข้อนั้นก็ง่ายและถ้ามีคนตอบถูกน้อยข้อสอบข้อนั้นก็ยาก ข้อสอบที่ยากเกิน ความสามารถของนักเรียนจะตอบได้นั้นก็ไม่มีความหมาย เพราะไม่สามารถจ าแนกนักเรียนได้ว่าใครเก่งใครอ่อน ในทางตรงกันข้ามถ้าข้อสอบง่ายเกินไปนักเรียนตอบได้หมด ก็ไม่สามารถจ าแนกได้เช่นกัน ฉะนั้นข้อสอบที่ดีควร มีความยากง่ายพอเหมาะ ไม่ยากเกินไปไม่ง่ายเกินไป (มีสูตรค านวณ) 6. อ านาจจ าแนก หมายถึง แบบทดสอบนี้สามารถแยกนักเรียนได้ว่าใครเก่งใครอ่อนโดยสามารถจ า นักเรียนออกเป็นประเภทๆ ได้ทุกระดับอย่างละเอียดตั่งแต่อ่อนสุดจนถึงเก่งสุด (มีสูตรค านวณ) 7. ความยุติธรรม ค าถามของแบบทดสอบต้องไม่มีช่องทางชี้แนะให้นักเรียนที่ฉลาดใช้ไหวพริบในการ เดาได้ถูกต้องและไม่เปิดโอกาสให้นักเรียนที่เกียจคร้านซึ่งดูต าราอย่างคร่าว ๆ ตอบได้ และต้องเป็นแบบทดสอบ ที่ไม่ล าเอียงต่อกลุ่มใดกลุ่มหนึ่ง
สูตรหาค่าผลสัมฤทธิ์ทางการเรียน (t-test dependent)
สูตรหาค่าผลสัมฤทธิ์ทางการเรียน (t-test dependent)
ตาราง t-table
ตัวอย่างการรายงานผลสัมฤทธิ์ทางการเรียน
ตัวอย่างการก าหนดจุดประสงค์การเรียนรู้
ตัวอย่างการหาค่าดัชนีความสอดคล้อง (IOC)
ตัวอย่างการวิเคราะห์ความยากง่าย และอ านาจจ าแนก
ตัวอย่างการวิเคราะห์ความเชื่อมั่นของแบบทดสอบทั้งฉบับ
งาน 7.1 1. ให้นักศึกษาแสดงการค านวณค่า IOC ของข้อสอบ จ านวน 10 ข้อ และ ก าหนดจ านวนผู้เชี่ยวชาญจ านวน 3 คน 2. ให้นักศึกษาแสดงการค านวณค่าประสิทธิภาพของสื่อ (E1/E2) โดย ก าหนดให้มีผู้เรียน จ านวน 10 คน และให้นักศึกษาก าหนดคะแนนระหว่าง เรียน และคะแนนหลังเรียนด้วยตนเอง 3. ให้นักศึกษาแสดงการค านวณค่าดัชนีประสิทธิผล (E.I.) โดยก าหนดคะแนน ก่อนเรียนด้วยตนเอง ส่วนคะแนนหลังเรียนให้ใช้ตัวเลขเดียวกันกับข้อ 2