EBOOK PANDUAN PENILAIAN PROGRAM PENDIDIKAN DI MALAYSIA - DR NORIZAN

Syukur ke hadrat Allah S.WT kerana dengan limpah kurnianya maka e-book
ini telah dapat disiapkan dalam tempoh masa yang telah ditetapkan. E-book
ini merupakan panduan penilaian program pendidikan di Malaysia dengan
suatu pelaksanaan transformasi yang baru.

Dalam menyediakan e-book ini, pelbagai cabaran dan rintangan yang perlu
dihadapi sebelum dapat menghasilkan sebuah e-book yang amat mantap dari
segi isi penyampaiannya. Buku ini menjelaskan konsep dan tujuan penilaian
program yang dapat membantu pihak pengurusan menentukan
keberkesanan dan kecekapan program sesebuah program.

Selain itu, dalam buku ini juga dibincangkan sedikit dan sekelumit
tentang pengenalan dan konsep Bajet Berasaskan Outcome atau Outcome
Based Budgeting (OBB).

Oleh itu, saya menerima dengan hati yang terbuka jika terdapat sebarang
pandangan dan ulasan yang membina terhadap e-book ini.
Wallahu'alam.
DR. NORIZAN BINTI ISMAIL

2

Assalamualaikum w.b.t

Bismillahirrahmanirrahim. Alhamdulillah, syukur ke hadrat Allah
S.W.T kerana dengan limpah rahmat dan perkenan-Nya,saya dapat
mengadakan Buku Panduan Penilaian Proghram Pendidikan Di Malaysia
dengan jayanya

Buku Panduan Penilaian Program Pendidikan Di Malaysia:Suatu
Transformasi Baru ini merupakan satu rujukan yang dapat memudahkan
individu-individu yang ingin memperbaiki program yang telah dilaksanakan.
Kewujudannya juga dapat menentukan sama ada program tersebut gagal
atau berkesan untuk dilaksanakan pada masa akan datang.

Akhir kata, saya merakamkan ucapan ribuan terima kasih kepada
semua pihak yang terlibat dalam penerbitan Buku Panduan Penilaian Program
Pendidikan Di Malaysia:.

Terima Kasih
DR. NORIZAN BINTI ISMAIL

3

NO. ISI KANDUNGAN M/S

1. PRAKATA 2
3
2. SEKAPUR SIREH 4-5
6
3. SENARAI KANDUNGAN 7

4. PENGENALAN 8-9
10-12
5. PENDEKATAN BAJET BERASASKAN 13-14
15-19
OUTCOME (OBB) 20-32
33-34
6. PENILAIAN PROGRAM
35
7. KONSEP PENILAIAN PROGRAM

8. TUJUAN PENILAIAN PROGRAM

9. JENIS-JENIS PENILAIAN

10. MODEL-MODEL PENILAIAN PROGRAM

11. BAB:2 KEPENTINGAN PENILAIAN

PROGRAM

12. KEPUTUSAN DALAM PENILAIAN PROGRAM

4

13. BAJET BERASASKAN OUTCOME ATAU 36

OUTCOME BASED BUDGETING (OBB)

14. LATAR BELAKANG KONSEP BAJET 37-40

BERASASKAN OUTCOME ATAU OUTCOME 41
BASED BUDGETING (OBB)
42-50
15. PENGENALAN DAN KONSEP BAJET 51-53

BERASASKAN OUTCOME ATAU OUTCOME
BASED BUDGETING (OBB)

16. KITARAN STRATEGIK OBB

17. PENILAIAN SUMATIF DAN FORMATIF

18. BAB 3 : PROSEDUR PENILAIAN PROGRAM 54-58

19. BAB 4 : ELEMEN RUBRIK DALAM PENILAIAN 59-68
69
PROGRAM

20. KESIMPULAN

5

Pada amnya amalan penilaian program di negara kita merupakan suatu
perkara baharu dan kurang dilaksanakan sebelum ini sedangkan program-
program telah dilaksanakan dan melibatkan peruntukkan perbelanjaan
yang besar. Namun begitu, program-program tersebut tidak dibuat
penilaian dan hasilnya juga tidak diketahui bagaimana. Ini menyebabkan
berlakunya pembaziran terhadap kewangan kerajaan. Begitu juga pada
tahun berikutnya, program tersebut terus dilaksanakan sekali lagi juga
dengan peruntukkan kewangan yang besar dan hasilnya juga tidak
diketahui. Pembaziran ini akan terus berlaku sehinggalah kita membuat
penilaian terhadap program tersebut.

Oleh yang demikian, kerajaan mula memandang serius masalah ini
sehinggalah keluar arahan baharu yang mewajibkan penilaian program
dilakukan iaitu menerusi pekeliling kerajaan yang dikeluarkan pada Januari
2012. Menurut Pekeliling Perbendaharaan Bil. 2 Tahun 2012 yang bertajuk
“Bajet Berasaskan Outcome” atau Outcome Based Budgeting (OBB), setiap
aktiviti atau program yang dilaksanakan perlu dibuat penilaian iaitu
penilaian formatif dan sumatif. Oleh yang demikian, berdasarkan arahan
perbendaharaan tersebut, maka penilaian bagi setiapprogram hendaklah
dibuat. Justeru itu, setiap organisasi perlu mencapai matlamat yang telah
dikenal pasti bagi mencapai misinya. Secara umumnya matlamat yang
hendak dicapai akan diterjemahkan melalui program.

6

Pendekatan Bajet Berasaskan Outcome atau Outcome Based
Budgeting (OBB) merupakan asas yang digunakan dalam menilai
program Memperkukuh Bahasa Inggeris (MBI) di sekolah rendah.
Pendekatan Bajet Berasaskan Outcome (OBB) ini dilaksanakan oleh
kerajaan untuk mengawal setiap perbelanjaan yang dikeluarkan oleh
kerajaan agar lebih bernilai (value for money) dan ini merupakan
langkah yang efektif dalam mengawal sektor awam melalui
pendekatan “Let’s Manager Manage”,Top-Down dan Prinsip
“SMART". Ini adalah selaras dengan program transformasi kerajaan
yang diperkenalkan, dengan misi “Pencapaian Diutamakan”.
Penilaian tersebut adalah berdasarkan keberkesanan, kesesuaian
dan kecekapan.

7

PENGENALAN

Penilaian Program adalah kajian formal melibatkan analisis yang
sistematik terhadap sesuatu program/aktiviti dengan tujuan untuk
mendapat gambaran sebenar mengenai keberkesanan, kesesuaian,
kecekapan dan keekonomian (3K1E) bagi sesuatu program yang
dilaksanakan. Oleh itu, hasil dari penilaian program yang telah
dilakukan ini akan dapat menentukan sama ada program tersebut
boleh diteruskan jika program ini berjaya mencapai objektif program
yang digariskan atau diteruskan dengan penambahbaikan dibuat
sekiranya program ingin diteruskan atau dihentikan jika program ini
gagal mencapai matlamat yang digariskan (Malaysia, 2012.

8

Penilaian program yang dimaksudkan di bawah OBB meliputi isu-isu
berikut :
1) Keberkesanan – iaitu sejauh mana objektif aktiviti

tercapai.
2) Kesesuaian – iaitu sejauh mana objektif aktiviti memenuhi

keperluan pelanggan.
3) Kecekapan – iaitu sejauh mana sumber-sumber aktiviti

digunakan secara optimum dalam menghasilkan
outcome.
4) Keekonomian – iaitu setakat mana kos input dapat

diminimumkan tanpa pembaziran.

Justeru itu, semua peringkat tersebut akan diberi perhatian iaitu
bermula dari peringkat input, proses dan produk yang mana akhirnya
impak dari segi aspek penilaian OBB keberkesanan, kesesuaian dan
kecekapan program ini akan difokuskan berdasarkan input tersebut.

9

Penilaian Program merupakan satu elemen penting pengurusan
yang membantu pihak pengurusan menentukan keberkesanan dan
kecekapan program (Gunn, 1995). Penilaian program perlu
dilaksanakan kerana ia dapat membantu pihak pentadbir, penajadan
agensi-agensi dapat memeriksa keberkesanan program yang
dilaksanakan (Bramley, 1997). Menurut Bramley (1997) juga beliau
menyatakan agensi kerajaan dan swasta akan mewujudkan
jawatankuasa bagi menilai pelaksanaan program mereka.

Menurut Gabriel (1997); House, Mathison, Pearson dan Preskill
(1982) penilaian terhadap sesuatu program perlu dilakukan terutama
program yang dibiayai oleh kerajaan perlu dilakukan penilaian
program agar peruntukkan yang disediakan untuk programtersebut
tidak sia-sia dan tanpa sebarang faedah. Ini kerana melalui penilaian
ini pihak kerajaan akan dapat mengenal pasti sama ada program
tersebut perlu diteruskan atau ditamatkan

Ini kerana melalui penilaian juga banyak kekuatan dan kelemahan
program dapat dikenal pasti di samping membantu agensi-agensi dan
perbendaharaan mengawal prestasi setiap aktiviti .

10

Penilaian Program ini juga adalah akauntabiliti dari tiga aspek iaitu
kewangan, pengurusan dan program terdapat penemuan-
penemuan baru yang boleh digunakan untuk mengemukakan
cadangan dasar baharu dan cadangan penjimatan, Chelimsky (2006),
khususnya semasa mengemukakan cadangan anggaranbelanjawan
tahunan. Menurut Chelimsky & Shadish (1997) tujuan penilaian
dibuat mestilah berdasarkan tiga kategori iaitu akauntabiliti,
pengetahuan dan pembangunan.

Di Malaysia juga, Penilaian Program adalah penting kerana ia
merupakan satu elemen penting pengurusan yang membantu pihak
pengurusan menentukan keberkesanan dan kecekapan program
sesebuah program. Justeru itu, penilaian program juga ditakrifkan
sebagai kajian formal melibatkan analisis yang sistematik terhadap
sesuatu program/aktiviti dengan tujuan mendapat gambaran sebenar
mengenai keberkesanan, kesesuaian, kecekapan dan keekonomian
(3K1E). Ianya merupakan satu ciri utama OBB yang amat berguna
sebagai alat pengurusan dan membuat keputusan(Perbendaharaan,
2012). Bahagian Pendidikan Guru (2009) menegaskan Penilaian
Program ialah usaha mengumpul maklumat berkenaan sesuatu
program atau sebahagian aspek daripada program bagi membuat
keputusan berkaitan program tersebut. Bagi Rossi, Freeman dan
Lipsey (1999), Penilaian Program merupakan satu kajian yang
sistematik dengan berpandukan prosedur dan langkah tertentu untuk
menentukan keberkesanan sesuatu program.

11

Justeru itu, Penilaian Program juga sebenarnya akan memberi
maklumat kepada pembuat keputusan untuk menilai keberkesanan
program tersebut bukannya pengkaji, Cronbach (1963), MacDonald
(1976), Preskill dan Caracelli (1997). Kerana di akhir program tersebut akan
dibuat penilaian sebagaimana yang dinyatakan oleh Patton (1996), hasil
yang diperolehi dari program tersebut sama ada penilaian yangdilakukan
berbentuk sumatif dan formatif untuk dijadikan sebagaikeputusan bagi
tujuan penilaian tersebut. Penilaian program juga sebenarnya adalah
proses melaksanakan projek dalam sesebuah program, kesesuaian, kualiti,
keberkesanan dan kecekapan yang ingindisasarkan sebagai outcome yang
ingin dicapai dari program tersebut (Amir, 1997). Rossi dan Freeman
(1993) dan Trochim (2006) pula, menegaskan dalam membuat keputusan
berdasarkan merit yang dikehendaki oleh pembuat keputusan dan
stakeholder, penilaian program mesti dilakukan, ia adalah tindakan formal
mengenai prosespengumpulan data yang sistematik.

Selain daripada itu juga, penilaian program adalah penilaian yang memberi
tumpuan kepada program pengajian sama ada di peringkat pedagogi,
pengurusan dan melibatkan implikasi kewangan yang terletak dalam
pendidikan dan latihan yang biasanya melibatkan tanggungjawab isu-isu
terperinci mengenai kualiti dan akauntabiliti yang telah dilaksanakan
(Calder, 1994). Justeru itu, menurut Payne (1997), penggunaan idea-idea
yang bernas dan bijak dalam melaksanakan prinsip penilaian pendidikan
merupakan alat yang berkesan untukmeningkatkan kualiti pendidikan.

12

Tujuan penilaian digunakan adalah untuk membolehkan institusi untuk
beroperasi sebagai organisasi pembelajaran yang unggul (Calder, 1994).
Ini kerana kepentingan peranan dari aktiviti pengesanan danpembetulan
kesalahan ini adalah asas utama bagi mewujudkan idea mengenai
pembelajaran organisasi seperti yang dikemukakan oleh Argyris dan
Schon 1978. Bagi mereka ciri ini penting adalah keranaorganisasi adalah
sebagai satu unit atau keseluruhan dalam kajian Prestasi dan pelaksanaan
pengubahsuaian dalam pendidikan berikutnya (Calder, 1994). Ini kerana
dalam organisasi pendidikan, keperluan untuk aktiviti penilaian formal
biasanya jelas diiktiraf sebagaimana dalam kajian Guttentag dan Saar
(1977), yang mana mendapati kajian penilaian utama mereka telah
menarik perhatian terhadap yang menyatakan bahawa pendidikan
adalah salah satu bidang penilaian yang paling tinggi dikaji.

Di Malaysia, Penilaian Program adalah penting kerana ia merupakan
satu elemen penting pengurusan yang membantu pihak pengurusan
menentukan keberkesanan dan kecekapan program. Perjanjian Program
yang disediakan oleh Agensi Kerajaan dalam pelaksanaan Bajet
Berasaskan Outcome (OBB) bagi membantu agensi-agensi tersebut dan
perbendaharaan mengambil apa juga tindakan jangka pendek dan
jangka panjang yang perlu bagi menyelesaikan masalah yang timbul
(Malaysia, 2012).

13

Walau bagaimanapun, maklumat di dalam perjanjian program
tidak mencukupi untuk membolehkan Pegawai Pengawal
mengambil tindakan yang lebih berkesan serta membuat
keputusan jangka masa hadapan sesuatu Program atau Aktiviti. Ini
akan memerlukan penilaian yang lebih mendalam. Justeru, di
bawah konsep OBB, setiap Aktiviti/Program perlu dinilai setiap
tahun (Formatif) dan sekurang-kurangnya sekali dalam lima tahun
(Sumatif) mengikut rancangan penilaian (rolling evaluationplan 2)
yang ditentukan oleh Kementerian berkenaan (Malaysia, 2012).
Oleh yang demikian, hasil daripada penilaian program yang
dilaksanakan ini, kita akan dapat menilai status program yang
dijalankan di samping bertujuan untuk penambahbaikansekiranya
program tersebut ingin dilaksanakan pada masa akan datang atau
menghentikan terus program tersebut jika program tersebut
gagal mencapai objektif dan hasil seperti yang dikehendaki. Ini
kerana tujuan penilaian.

Tujuan penilaian program Juga adalah untuk tindakan pembetulan
dan penyesuaian oleh organisasi itu sendiri “self-correction and
adjustments” (Malaysia, 2012).

14

Penilaian Penilaian
Berasaskan Berasaskan
Matlamat
Proses

Penilaian
Berasaskan
Pengurusan

15

Penilaian Berasaskan Proses

Salah satu aspek penting yang mesti diberi perhatian oleh pengkaji
adalah penilaian proses. Penilaian proses dilakukan bagi mendapatkan
maklumat khusus untuk membolehkan penilai, pengurus program,
pemutus dasar dan stakeholder memahami perjalanan program iaitu
bagaimana program dilaksanakan dan outcome yang ingin dicapai.
Penilaian proses dilakukan bagi program yang bercirikan fizikal.

Menurut Gomby dan Larson (1992), penilaian proses adalah satu proses
penilaian yang memberi tumpuan kepada jenis perkhidmatan yang
diberikan iaitu kepada siapa dan bagaimana. Penilaian proses ini adalah
bertujuan untuk menggambarkan bagaimana program ini telah
dilaksanakan, siapa yang terlibat dan apakah masalah yang dialami.

Penilaian ini berguna dan penting untuk memantau pelaksanaan
program, mengenal pasti perubahan dan memastikan program ini
beroperasi seperti yang dirancang. secara umumnya, ia adalah untuk
penambahbaikan terhadap sesuatu program yang dinilai. Menurut
Gomby dan Larson (1992), juga, peserta yang terlibat dalam
pelaksanaannya adalah pekerja dan pelanggan yang merungut mengenai
program yang dilaksanakan.

16

Justeru itu, sesuatu program tersebut hendaklah dibuat penilaian
semula kerana terdapat ketidakcekapan dalam perkhidmatan
penyampaiannya. Oleh itu, hasil penilaian yang diperoleh dapat
digunakan sebaik-baiknya untuk memperbetulkan semula proses
penyampaian perkhidmatannya dan meyakinkan stakeholder dan
pembuat dasar mengenai perjalanan sesebuah program.

Menurut Stufflebeam (1983), terdapat beberapa cadangan yang perlu
diambil kira dalam melaksanakan penilaian program berasaskan proses
iaitu:

1. Apakah asas yang digunakan oleh pekerja dan pelanggan dalam
membuat keputusan berkaitan produk dan perkhidmatan yang
diperlukan dalam melaksanakan proses sesuatu program

.
2. Apakah yang diperlukan oleh pengurus program dalam memastikan

perkhidmatan yang diberikan adalah cekap dan berkesan.

3. Apakah kekuatan dan kelemahan produk atau perkhidmatan yang
dihasilkan daripada proses tersebut.

4. Apakah bentuk rungutan yang diterima oleh pengurusan dan
pelanggan program tersebut.

5. Apakah cadangan yang dikemukan dalam menyampaikan
perkhidmatan dan produk yang berkesan.

17

Penilaian Berasaskan Matlamat

Menurut Hage (2010) dan McNamara (2002) Penilaian ini
dilakukan bagi mengetahui sejauh mana pencapaian matlamat dan
objektif perlaksanaannya. Mereka juga menyatakan penilaian ini
ialah bagaimana matlamat sesuatu program ditetapkan, danapakah
proses yang dilakukan agar matlamat program tersebut dapat
dicapai dengan efektif. Pendapat ini juga adalah selari dengan
Scriven (1991). Apakah status kemajuan program yang digunakan
dalam mencapai matlamatnya, serta adakah matlamat program
tersebut mengikut jangka masa yang diperuntukkan, jika tidak
kenapa? Penjelasan tersebut mesti dinyatakan. Seterusnya Scriven
(1991) juga menyatakan adakah sumber-sumber lainseperti wang,
peralatan dan kemudahan lain diperlukan bagi mencapai matlamat
program tersebut?. Persoalan lain yang diberi perhatian juga adalah
seperti bagaimana menjadikan keutamaan diubah bagi menjadikan
sesuatu program lebih fokus kepada pencapaian matlamatnya.
Sebagaimana Hage (2010), menekankan bahawa perubahan itu
adalah lebih kepada peranan keputusan pengurusan untuk
dikemukakan dalam sesuatu kajian penilaian.

18

Penilaian Berasaskan
Pengurusan

Penilaian ini adalah untuk mendapatkan maklumat yang diperlukan
dan memberikannya kepada pihak pengurusan bagi membantu
mereka membuat keputusan bermaklumat mengenai sesuatu
program dan produk (KPM, 2003). Penilaian jenis ini akan melibatkan
semua pengguna dalam menginterpretasikan hasil penyebaran
penilaian ini. Penglibatan ini penting dalam memastikan hasil
penilaian dapat dimanfaatkan ke tahap maksimum. Penilaian ini lebih
memfokuskan kepada menjawab persoalan, isu dan kepenggunaan
yang mungkin dipersoalkan oleh stakeholder program tersebut
(Amir, 1997).

19

Model Penilaian Model Penilaian
Kirkpatrick Responsif

Pendekatan Model Penilaian
Penilaian CIPP

Berorientasikan
Pengguna

20

Model Penilaian Responsif

Model ini diperkenalkan oleh Robert stake (1975). Menurut Egon
Guba dan Yvonna Lincoln (1989) yang berpegang kepada penilaian
responsif dan membezakan empat generasi dalam sejarah
perkembangan penilaian program: pengukuran, penerangan,
penghakiman dan rundingan. 'Pengukuran' termasukpengumpulan
data kuantitatif. Penerangan atau 'Description' merujuk kepada
pengenalpastian ciri-ciri program atau dasar. Manakala
'Penghakiman' pula adalah penilaian kualiti programberdasarkan
perbandingan antara standard dan kesan sebenar.

Menurut Egon Guba dan Yvonna Lincoln (1989), pendekatan ini
menjadikan penilai untuk menjadi lebih responsif kepada
keperluan maklumat penonton atau pelbagai pihak
berkepentingan.

21

Persoalan utama yang membimbing jenis penilaian ini adalah,
"Apakah pandangan orang berbeza terhadap program?. Namun
begitu, Egon Guba dan Yvonna Lincoln (1989) juga menyatakan
terdapat 3 kelemahan utama penilaian program jenis ini iaitu:
1. Terdapat 'bias pengurusan': matlamat dan niat dasar diambil

alih sebagai standard bagi penghakiman.
2. Penemuan Penilaian jarang digunakan dalam membuat

keputusan.
3. Tidak ada dialog dengan alasan ia mencadangkan alternatif -

'rundingan' istilah menyifatkan inti pati penilaian responsif.
4. Pendekatan ini menghala lebih kepada aktiviti, keunikan dan

kepelbagaian sosial program.
5. Reka bentuk berdasarkan penetapan matlamat dan
pengumpulan data, Isu tidak objektif / hipotesis kajian. Ia
dicadangkan sebagai "penganjur konsep" untuk kajian

22

Model Penilaian CIPP

Model penilaian CIPP atau Konteks, Input, Proses, Produk ini
dibangunkan oleh Stufflebeam (1983). Model ini menerangkan
konteks di mana inovasi berlaku, input inovasi yang dilakukan,
proses iaitu proses formatif berlaku, dan produk atau hasil
penilaian sumatif yang dilakukan. Model ini juga sesuai bagi
penilaian program pendidikan (Stufflebeam, 2003). Model
Penilaian CIPP adalah rangka kerja yang komprehensif untuk
membimbing penilaian program, projek, kakitangan, produk,
institusi, dan sistem. Matlamat utamanya adalah melaksanakan
peningkatan mampan bagi jangka panjang. Secara umum,
keempat-empat bahagian penilaian - konteks, input, proses, dan
produk masing-masing bertanya:

1. Apa yang perlu dilakukan? C
2. Bagaimana ia perlu dilakukan? i
3. Adakah ia sedang dilakukan? P
4. Adakah ia berjaya? P

23

Rajah 1. Model Penilaian CIPP, Sumber: Stufflebeam (2003)

A) Penilaian Konteks

Menurut Randall (1969), Penilaian konteks adalah untuk menilai
keperluan, masalah, dan peluang dan membantu menentukan
matlamat dan tindakan. Manakala penilaian input pula menilai
pendekatan yang berbeza, untuk menilai pendekatan alternatif,
belanjawan, membantu panduan dan menilai perancangan.
Penilaian proses menilai pelaksanaan rancangan, membantu
usaha panduan dan mentafsir hasil. Penilaian produk menilai
hasil untuk membantu mempromosikan dan
mendokumentasikan kejayaan daripada program yang
dirancang. Model ini digunakan untuk menilaikedua-dua tugasan
formatif dan sumatif.

24

B) Penilaian Input

Penilaian input pula menilai pendekatan yang berbeza, untuk
menilai pendekatan alternatif, belanjawan, membantu panduan
dan menilai perancangan ( Tan et, al. 2010). Penilaian input juga
menilai persaingan strategi dan pelan kerja serta pendekatan
belanjawan yang dipilih.

C) Penilaian Proses

Penilaian proses menurut Stufflebeam (2003) adalahmemantau
dokumen dan menilai aktiviti program yang melibatkan ahli
pasukan penilaian untuk memantau, memerhati, dan
menyediakan laporan kemajuan berkala mengenai pelaksanaan
program. Melalui kerjasama dengan kakitangan program,
mengekalkan rekod acara program, masalah, kos, dan
peruntukan di samping menyediakan draf laporan berkala
mengenai penemuan proses penilaian dan menyediakan kepada
pelanggan dan dipersetujui pihak-pihakberkepentingan (Randall,
1969).

Seterusnya membentang dan membincangkan penemuan
proses penilaian dalam bengkel maklum balas. Akhirnya
memuktamadkan setiap laporan proses penilaian dan
menyediakan mereka untuk pelanggan dan dipersetujui pihak-
pihak berkepentingan (Stufflebeam, 2003).

25

Menurut Stufflebeam (2003), penilaian program ini dibahagikan
seperti berikut :

i) Penilaian hasil (impak)
Penilaian impak ialah menilai jangkauan program kepada penonton
sasaran.

ii) Penilaian keberkesanan (keberkesanan)
Menurut Stufflebeam ( 2003), penilaian keberkesanan adalah
penilaian dokumen dan kualiti serta kepentingan hasil dengan
tugas utama.

iii) Penilaian kemampanan
Stufflebeam (2003) juga menyatakan penilaian kemampanan
adalah menilai sejauh mana sumbangan program diinstitusikan
berjaya dari masa ke masa.

vi) Penilaian kebolehgunaan (Transportability)
Penilaian kebolehgunaan menurut Stufflebeam (2003) adalah
menilai sejauh mana program boleh disesuaikan dan digunakan di
tempat lain dan ia harus digunakan apabila pelanggan atau
beberapa pihak lain yang diberi kuasa berhasrat untuk mengatur
bagi apa-apa kajian.

26

D) Penilaian Produk

Penilaian produk adalah tertumpu kepada hasil program setelah
ia tamat dilaksanakan (Stufflebeam, 2003). Penilaian produk ini
membantu dalam mengenal pasti dan menilai hasil, sama ada
hasil itu positif atau negatif, jangka pendek dan jangka panjang
(Randall, 1969). Penilaian produk juga adalah menilai hasil untuk
membantu mempromosikan dan mendokumentasikan kejayaan
daripada program yang dirancang (Tan et, al. 2010). Penilaian
produk juga menyediakan satu platform untuk pelanggan terus
memberi tumpuan kepada matlamat mereka dan untuk
mengukur kejayaan dalam usaha memenuhi keperluan yang
disasarkan.
Maklumat produk yang dikumpulkan daripada menguji reka
bentuk yang lengkap mengandungi keterangan tentang
keberkesanan dalam mencapai matlamat jangka masa pendek
dan panjang. Ia juga boleh digunakan untuk membandingkan
dengan reka bentuk program lain (Randall, 1969).

27

Pendekatan Penilaian Berorientasikan
Pengguna

Pendekatan penilaian berorientasikan pengguna atau
Pendekatan CoE adalah berdasarkan pada metafora produk
pengguna yang menyokong pendidikan pengguna dan kajian
bebas produk. Melalui pendekatan ini, penilai akan mendapatkan
beberapa idea penilaian berguna dari bidang penilaian produk
pengguna. Pendekatan CoE adalah untuk membimbing pengguna
bagi membolehkan mereka mengenal pasti sesuatu kebaikan
produk. Penilai melihat merit bernilai (mutlak dan relatif) produk
tertentu. Pendekatan CoE ini menekankan penggunaan piawaian
ketat dan membawa program dan produk untuk dihakimi jika
terdapat kesalahan (Scriven (2007).

Menurut Scriven (2007) juga, pada hakikatnya, seseorang itu
perlu tahu tentang produk sebelum membuat keputusan sama
ada untuk meluluskan atau untuk memasarkannya seperti:
1. Memproses maklumat
2. Kandungan maklumat
3. Maklumat Transportability (kebolehgunaan)
4. Maklumat keberkesanannya.

28

Rajah 2: Pendekatan Penilaian Berorientasikan Pengguna, Sumber:
Michael Scriven (2007)

Dalam bidang Pendidikan, pendekatan penilaian CoE berlaku
apabila agensi bebas, agensi-agensi kerajaan, dan individu
menyusun pendidikan atau lain-lain produk perkhidmatan yang
berkaitan dengan manusia. maklumat untuk pengguna - produk
tersebut termasuk pakej kurikulum, bengkel, media pengajaran,
peluang latihan dalam perkhidmatan, borang penilaian kakitangan
atau prosedur, teknologi baru, dan perisian (Scriven, 2007). Tan et,
al. ( 2010) menyatakan matlamat penilaian berorientasikan
pengguna adalah untuk membantu pengguna menjadi lebih
berpengetahuan tentang sesuatu produk danservis.

29

Pendekatan yang digunakan Scriven (2007) dalam penilaian ini
adalah:
1. Pendekatan formatif
Pendekatan formatif dijalankan untuk meningkatkan kualitiprogram
sedang dibangunkan supaya ia akan menjadi mustahil untuk
mencapai objektif yang ia telah dibuat.
2. Pendekatan Sumatif
Pendekatan Sumatif dijalankan untuk menjadikan pembuat
keputusan atau pelanggan mampu membuat keputusan tentangnilai
atau merit program.
Ia biasanya digunakan untuk produk dan penilaian program
pendidikan, Agensi kerajaan. kumpulan pengguna bebas.
Pendidikan Produk dan Pertukaran Maklumat adalah sebagai
mewakili suara dan kebimbangan pengguna

30

Model Penilaian Kirkpatrick

Model Penilaian Kirkpatrick merupakan salah satu model penilaian
yang terawal dan paling banyak digunakan dalam penilaian latihan.
Kajian yang menggunakan model ini telah banyak membuat
sumbangan berharga kepada teori penilaian latihan dan terbukti secara
empirikal dalam menilai tahap keberkesanan latihan dengan baik sejak
tahun 1959 (Alliger & Janak, 1989; Brinkerhoff, 2005).
Model ini banyak digunakan kerana ia dikatakan mudah untuk
diaplikasikan dan mempunyai keupayaan untuk membantu proses
penilaian yang dilakukan terhadap sesebuah latihan dengan jayanya
(Alliger & Janak, 1989).

31

Model ini mempunyai empat (4) tahap penilaian yang direka
sebagai kaedah untuk menilai program latihan :

A) Tahap I – reaksi (reaction): adalah pengukuran yang melihat
bagaimana pandangan pelatih terhadap latihan.

B) Tahap II – pembelajaran (learning): tahap ini akan menilai apa
yang dipelajari dan disimpan daripada pengalaman
pembelajaran.

C) Tahap III – perubahan kelakuan/aplikasi (behavior): tahap ini
akan menilai sama ada pelatih mengaplikasikan apa yang
dipelajari di tempat kerja.

D) Tahap IV – hasil (result): tahap ini menilai kesan latihan yang
membawa kepada perubahan budaya kerja yang positif
(Kirkpatrick, 1976). Menurut Kirkpatrick, tahap penilaian ini adalah
langkah yang paling penting dan mungkin agak sukar. Hal ini kerana
objektif setiap penilaian yang dilakukan adalah untuk melihat sama
ada hasil daripada latihan tersebut berjaya sebagaimana yang
dirancang dan mencapai matlamat.

32

1. Asas Penambahbaikan.

Penilaian program penting dilaksanakan untuk membolehkan
institusi beroperasi sebagai organisasi pembelajaran yang unggul
(Calder, 1994). Penilaian program memainkan peranan penting
sebagai aktiviti pengesanan diperingkat bawahan yang akan
digunakan sebagai asas untuk kita melakukan penambahbaikan
sebagai tindakan segera bagi membetulkan kesalahan yang wujud
dalam program tersebut (Norizan, 2016). Keputusan yang
diperolehi daripada penilaian program merupakan asas utama bagi
mewujudkan idea mengenai pembelajaran organisasi iaitusentiasa
melakukan pembetulan (Argyris & Schon, 1978).

Menurut Argyris & Schon (1978) ciri ini penting kerana organisasi
adalah sebagai satu unit atau keseluruhan dalam kajian Prestasi
untuk melakukan pengubahsuaian dalam pendidikan yang
berikutnya. Ini kerana dalam organisasi pendidikan, keperluan
untuk aktiviti penilaian formal jelas diiktiraf dan bidang pendidikan
telah menjadi bidang penilaian yang paling tinggi dikaji. (Guttentag
& Saar,1977)

33

2. Elemen penting pengurusan
Di Malaysia, Penilaian Program adalah penting dilaksanakankerana
ia merupakan salah satu elemen penting pengurusan yang
membantu pihak pengurusan menentukan keberkesanan,
kesesuaian dan kecekapan sesebuah program yang dilaksanakan.
Berdasarkan kepentingan ini, perjanjian program telah dibentuk
melalui pelaksanaan Bajet Berasaskan Outcome (OBB) bagi
membantu agensi-agensi kerajaan untuk mengawal prestasi setiap
aktiviti atau program dan seterusnya mengambil apa juga tindakan
jangka pendek dan jangka panjang yang perlu bagi menyelesaikan
masalah yang timbul (Perbendaharaan Malaysia, 2012). Justeru itu,
bermula Januari 2012 kerajaan telahmewajibkan setiap program
yang dilaksanakan hendaklah dilakukan penilaian terhadap
program tersebut melalui Pekeliling Perbendaharaan Bil. 2 Tahun
2012 menerusi “Outcome Based Budgeting” (OBB) atau “Bajet
Berasaskan Outcome”.

34

Program Sesebuah program tersebut akan
Diteruskan diteruskan sekiranya hasil yang diperoleh
Seperti Ada amat memuaskan dan berbaloi dengan kos

Program yang dikeluarkan dalam melaksanakan
Diteruskan program tersebut.
Perubahan
Sesebuah program tersebut diteruskan
Kecil dengan melakukan sedikit perubahan kecil

Program dan program diteruskan seperti biasa.
Diteruskan
Perubahan Sesebuah program tersebut diteruskan
dengan melakukan sebahagian besar
Besar perubahan terhadap program tersebut
sekiranya ingin diteruskan pada masa akan
Program
Diberhentikan datang.

Program tersebut hendaklah dihentikan
sekiranya didapati tidak mencapai objektif

yang ditetapkan dan bagi mengelak
pembaziran serta kerugian kewangan

kerajaan atau stakeholder.

35

Bahagian ini membincangkan mengenai latar belakang OBB,
konsep OBB, prinsip dan struktur pelaksanaan OBB serta kitaran

strategik OBB yang difokuskan dalam kajian ini.

36

Kepentingan pengukuran prestasi dalam sektor awam adalah dari
akauntabiliti sektor awam dalam meningkatkan mutu penyampaian
perkhidmatan (Minogue et all, 1998, Polidano, 1999 dan Manning,
2001). Menurut Shafie (1996), Penekanan kepada keputusan
berasaskan akauntabiliti adalah penting bagi sesebuah organisasi
sektor awam di Malaysia. Justeru itu, Malaysia sebagaimana negara-
negara lain telah berusaha untuk meningkatkan sistem pengurusan
ini melalui perubahan sistem pengukuran prestasi untukmendapatkan
hasil maklumat berasaskan perancangan pengukuran prestasi,
mengetatkan akauntabiliti, kawalan, dan membuat keputusan
(Hyndman & Eden, 2002). Ini kerana menurut Modell (2003) dan
Pollanen (2005) sistem pengukuran prestasi penting bagi
membolehkan organisasi kerajaan menangani kebimbangan dan
keperluan pelbagai pihak berkepentingan.

37

Oleh itu, Malaysia telah membuat perubahan ini pada awalnya
melalui Sistem Belanjawan Diubahsuai atau Modified Budgeting
System (MBS) yang telah dilaksanakan pada tahun 1990. Sistem
Belanjawan Diubahsuai atau MBS adalah asalnya adalah Sistem
Belanjawan Program dan Prestasi (SBPP) tetapi telah “diubahsuai”
dengan berdasarkan amalan dan keperluan Malaysia melalui
penggunaan pendekatan baru, konsep “Top- down” dan “Let
Manager’s Manage” untuk memberikan penekanan ke atas
pengukuran prestasi dan penilaian program dengan menggunakan
dokumen Perjanjian Program (Xavier, 2002).

Sistem Belanjawan Diubahsuai (MBS) ini telah dilaksanakan pada
tahun 1990 secara perintis 3 agensi dan seterusnya diperluaskan
kepada agensi – agensi lain termasuk kementerian, jabatan dan
badan berkanun selepas menunjukan hasil yang positif dari
kelemahan pengurusan yang sedia ada dan prosedur kewangan (
Malaysia, 2002). Perubahan ini penting dalam memperkenalkan
output dan keputusan berdasarkan sistem pengukuran prestasi
yang selari dengan keperluan matlamat pembaharuan dalam
menjadikan penjawat awam lebih bertanggungjawab terhadap
produktiviti dari segi kos dan keputusan (Abdul Hamid, 1995).

38

Melalui konsep baru MBS ini orientasi pelanggan dan
perbelanjaan bagi setiap organisasi diperlukan dalam menetapkan
petunjuk sasaran prestasi berasaskan output yang terdapat dalam
perjanjian program yang dinamakan sebagai kontrak prestasi
dengan perbendaharaan ( Malaysia, 1994).

Menurut Yusof Karbhari ( 2007), kesan MBS ini akan dapat
meningkatkan output pengukuran prestasi berasaskan hubungan
antara input dan output. Oleh itu, menurut Sanderson (2001),
petunjuk prestasi di bawah pengurusannya. Begitu juga dalam
konteks Pengurusan Awam Baru (NPM) petunjuk prestasi adalah
penting dalam meningkatkan akauntabiliti organisasi sektor awam
yang menekan output dan langkah-langkah prestasi berasaskan
hasil (Likierman, 1993, Hood,1993 & Sanderson, 2001) yang mana
sebelum ini tumpuan adalah kepada pematuhan undang-undang,
input dan orientasi proses (Romzek, 2000).

Perubahan ini telah memberi fokus kepada memproses output
dan hasil seperti petunjuk berorientasikan keputusan termasuk
petunjuk kecekapan iaitu langkah hubungan input dan output iaitu
dari segi kos atau kewangan, petunjuk keberkesanan iaitu langkah-
langkah tahap pencapaian objektif program dan petunjuk
keberkesanan kos unit yang diukur melalui kos hasil (Alford &Baird,
1997).

39

Perubahan ini telah memberi fokus kepada memproses output
dan hasil seperti petunjuk berorientasikan keputusan termasuk
petunjuk kecekapan iaitu langkah hubungan input dan output iaitu
dari segi kos atau kewangan, petunjuk keberkesanan iaitu langkah-
langkah tahap pencapaian objektif program dan petunjuk
keberkesanan kos unit yang diukur melalui kos hasil (Alford & Baird,
1997). Idea MBS sebagai alat pengurusan telah diketengahkan oleh
perbendaharaan kerana orientasi yangstrategik, fokus pelanggan
dan penglibatan yang lebih besar atas pengurusan dalam
peruntukan sumber. Kerana orientasi strategik inilah yang
memerlukan organisasi kerajaan untuk menilai semula program-
program dan aktiviti-aktiviti mereka untuk lebih konsistendengan
objektif organisasi (Perbendaharaan, 1994).

Namun begitu, menurut kerajaan perubahan dalam sistem
belanjawan ini mesti diberi penambahbaikan berdasarkan target
dan matlamat kerajaan dalam menjadikan Malaysia sebuah negara
maju dan berpendapatan tinggi pada tahun 2020 dapatdilestarikan.
Oleh yang demikian, pada Januari 2012 Bajet Berasaskan Outcome
(OBB) telah diperkenalkan. Justeru itu, semua sektor awam,
kementerian dan jabatan kerajaan telah diarahkan untuk
mengaplikasikan bajet tersebut melaluipenguatkuasaan Pekeliling
Perbendaharaan Bil. 2 Tahun 2012 yangbertajuk “Bajet Berasaskan
Outcome” atau Outcome Based Budgeting (OBB).

40

Malaysia telah menetapkan matlamat untuk
menjadi sebuah negara maju dan
berpendapatan tinggi menjelang tahun 2020.
Oleh itu, bagi merealisasikan hasrat ini melalui
Pekeliling Bil. 2 2012 yang bertajuk “Bajet
Berasaskan Outcome atau Outcome Based
Budgeting (OBB).

41

Pelaksanaan OBB melibatkan kitaran
strategik yang terdiri daripada empat proses
utama, iaitu perancangan berasaskan
outcome, penyediaan bajet, pemantauan dan
penilaian, dan pelaporan keberhasilan.
Kitaran strategik OBB ditunjukkan dalam
Rajah 3 :

42

A) Perancangan Berasaskan Outcome

Perancangan di peringkat kementerian perlu dibuat untuk tempoh
lima tahun dengan berasaskan kepada outcome yang ingin dicapai
sepanjang tempoh tersebut. Perancangan bermula dengan
membangunkan kerangka keberhasilan di peringkat kementerian
dengan menetapkan sasaran prestasi pencapaian outcome dan
output yang dipersetujui bagi mengatasi masalah pelanggan dan
memenuhi kehendak stakeholder kementerian. Seterusnya kerangka
keberhasilan di peringkat Program dan Aktiviti akan dibentuk untuk
menyumbang kepada pencapaian outcome kementerian.

B) Pemantauan dan Penilaian

Kementerian hendaklah melakukan pemantauan dan penilaian
terhadap Program/ Aktiviti bagi mengukur tahap pencapaian sasaran
prestasi dan menilai keberkesanan Program/ Aktiviti yang telah
dirancang secara dalam talian melalui aplikasi MyResults.

43

Pemantauan dan penilaian Program/ Aktiviti meliputi aspek- aspek
pencapaian keberhasilan, kewangan dan pelaksanaan fizikal projek.
Kementerian perlu merujuk kepada strategi- strategi yang
dilaksanakan dan keberhasilan kementerian yang dirangka dalam
proses pemantauan dan penilaian. Pengurus Program/ Ketua Aktiviti
hendaklah membuat penilaian ke atas pelaksanaan Program/ Aktiviti
di bawah seliaan beliau bertujuan mengukur pencapaian prestasidan
membuat pengubahsuaian yang sewajarnya, sekiranya perlu.
Kementerian akan membuat penilaian keseluruhan Program/ Aktiviti
dalam tempoh sekurang-kurangnya sekali dalam lima tahun bagi
menentukan penerusan, penambahan, pembaikan ataupemansuhan
Program/ Aktiviti.
Kerangka pemantauan dan penilaian di bawah adalah mengguna
pakai elemen seperti di dalam Rangkaian Tangga Keberhasilan iaitu
input, proses, output, outcome dan impak. Proses penilaian ke atas
program memberi penekanan kepada persoalan-persoalan berikut :

44

I) Penilaian Keberkesanan
Menurut Rossi et, al. (1999), keberkesanan adalah output yang
dihasilkan dan menepati objektif yang ingin disasarkan daripada
program tersebut. Penilaian keberkesan akan menentukan kesan
sebab dan akibat yang wujud dari pelaksanaan program ini. Ia
termasuk mengukur program tersebut sama ada telah mencapaihasil
yang dimaksudkan atau sebaliknya. Pengukuran hasil pula adalah
bertujuan untuk membantu penilai memahami sama adaprogram ini
adalah berkesan atau tidak. Hasil keberkesanan ini juga memberi
tumpuan kepada hubungan antara objektif aktiviti danhasil sebenar
yang dicapai (Alfoird & Baird, 1997).

Di Malaysia pula menurut Perbendaharaan (2002), keberkesanan
adalah meliputi isu-isu yang berkaitan dengan pelaksanaan program
tersebut seperti :
• Apakah sumbangan output/ outcome kepada pencapaian impak?
• Apakah impak negatif/ tidak dijangka yang berlaku?
• Setakat manakah objektif program tercapai?

45

B) Penilaian Kesesuaian
Stufflebeam (2003) menyatakan penilaian kesesuaian adalah berkait
rapat dengan penilaian kebolehgunaan (transportability). Penilaian
kesesuaian juga adalah menilai sejauh mana program boleh
disesuaikan dan digunakan di tempat lain (Stufflebeam (2003).
Penilaian kesesuaian ini dapat dilihat melalui penilaian hasil (impak)
yang dihasilkan iaitu jangkauan program kepada sasaran iaitu
kesesuaian program kepada kumpulan yang disasarkan
(Stufflebeam, 2003).
Menurut Mohamad Aqsa (2013), penilaian kesesuaian juga
hendaklah dijalankan dengan mengambil data-data atau maklumat
di tempat atau lokasi yang bersesuaian dengan masalah program
tersebut.
Di Malaysia, penilaian kesesuaian adalah menilai kesesuaian
program yang dilaksanakan dengan mengambil kira faktor-faktor
berikut (Perbendaharaan, 2002) :

46

• Sejauh mana Program/ strategi memenuhi keperluan asas atau
mengatasi masalah pelanggan.

• Adakah objektif Program/ strategi masih relevan?
• Adakah dasar-dasar sedia ada sesuai dan mencukupi?
Penilaian kesesuaian juga adalah menilai kesesuaian program yang
dilaksanakan dengan mengambil kira beberapa faktor-faktor berikut
(Rossi et al, 1999) iaitu:
• Setakat mana Aktiviti dapat mengatasi masalah dan/atau

memenuhi keperluan asas pelanggan?
• Setakat mana objektif Aktiviti berkenaan masih relevan?
• Sama ada dasar-dasar yang dilaksanakan di bawah Aktiviti adalah

sesuai dan berpatutan dari segi skop dan liputan?

47

• Sejauh mana Program/ strategi memenuhi keperluan asas atau
mengatasi masalah pelanggan.

• Adakah objektif Program/ strategi masih relevan?
• Adakah dasar-dasar sedia ada sesuai dan mencukupi?
Penilaian kesesuaian juga adalah menilai kesesuaian program yang
dilaksanakan dengan mengambil kira beberapa faktor-faktor berikut
(Rossi et al, 1999) iaitu:
• Setakat mana Aktiviti dapat mengatasi masalah dan/atau

memenuhi keperluan asas pelanggan?
• Setakat mana objektif Aktiviti berkenaan masih relevan?
• Sama ada dasar-dasar yang dilaksanakan di bawah Aktiviti adalah

sesuai dan berpatutan dari segi skop dan liputan?

48

C) Penilaian Kecekapan
Penilaian kecekapan pula adalah hasil dari penilaian produk yang
dilakukan yang tertumpu kepada hasil program setelah ia tamat
dilaksanakan ( Stufflebeam, 2003). Penilaian produk ini membantu
dalam mengenal pasti dan menilai hasil, sama ada hasil itu positif
atau negatif, jangka pendek dan jangka panjang (Randall, 1969).
Penilaian produk juga adalah menilai hasil untuk membantu
mempromosikan dan mendokumentasikan kejayaan daripada
program yang dirancang (Tan et, al. 2010).

Kecekapan atau produktiviti adalah impak positif yang diperolehi dari
penilaian hasil program tersebut (Kirkpatrick 1975, 1994, 2000).
Kecekapan juga adalah berkaitan dengan kos faedah (cost benefit)
dan keberkesanan kos (cost effectiveness) yang terhasil daripada
pelaksanaan sesebuah program.

Menurut Rossi et al. (1999) seseorang penilai akan mendapat
maklumat yang cukup sekiranya penilaian tersebut memfokuskan
kedua-dua aspek tersebut. Ini kerana aspek-aspek tersebut adalah
saling berkait dan akan menghasilkan kecekapan dalam
melaksanakan sesuatu program tersebut.

49

Penilaian kecekapan juga menghubungkan output aktiviti dengan
input yang digunakan untuk menghasilkan program. Justeru itu, kos
faedah atau keberkesanan kos digunakan bagi menilai kecekapan
program dengan penilai menggariskan faedah dan kos program ini
untuk perbandingan. Kerana sesebuah program akan dikatakan cekap
sekiranya mempunyai nisbah kos-faedah yang lebih rendah ( Alfoird &
Baird, 1997).
Dalam konteks Malaysia pula, menurut Perbendaharaan (2002)
kecekapan adalah jawapan bagi persoalan-persoalan tersebut iaitu :
• Bagaimana aktiviti berkenaan boleh dilaksanakan secara lebih

cekap?
• Sama ada input yang digunakan untuk mengeluarkan output-

output adalah berpatutan dan digunakan secara optimum?
• Adakah aktiviti berkenaan melengkapkan, bertentangan, bertindih

ataupun menjalankan fungsi-fungsi yang sama dengan Aktiviti yang
lain?

50