Evaluasi Elearning Menggunakan Model Evaluasi Kirkpatrick Pada Diklat Teknis Bagi Penyuluh Keluarga Berencana
Bagian 2
(Penelitian di Balai Diklat KKB Garut)
Oleh : Andri Pramiadi
Pembahasan
Secara umum evaluasi ini bertujuan untuk menjelaskan tingkat keberhasilan dari program elearning pada Diklat Teknis di Balai Diklat KKB Garut, agar pada akhirnya menuju perbaikan dan penyempurnaan serta dapat dijadikan acuan dalam menentukan kebijakan program di Balai Diklat KKB Garut. Secara khusus sebagai penelitian evaluasi, evaluasi ini memiliki tujuan mengetahui berbagai dimensi yang dapat mempengaruhi efektivitas metode elearning pada Diklat Teknis Pengelolaan Bina Keluarga Balita dan Pencegahan Stunting (BKBHI dan Stunting) Angkatan 10 tahun 2021 di Balai Diklat KKB Garut. Tujuan tersebut antara lain:
1. Mengetahui reaksi peserta terhadap pelaksanaan elearning pada Diklat Teknis Pengelolaan Bina Keluarga Balita dan Pencegahan Stunting. Kegiatan evaluasi yang dilakukan meliputi: 1) reaksi peserta terhadap panitia penyelenggara dan 2) reaksi peserta terhadap fasilitator.
2. Mengetahui pencapaian hasil belajar peserta berupa peningkatan hasil pretest dan postest
3. Mengetahui perubahan pada tahap perilaku peserta Diklat di kerja masing-masing
4. Mengetahui hasil akhir diklat dilihat dari segi pemahaman materi pelatihan kinerja peserta (lulusan) pada Diklat Teknis Pengelolaan Bina Keluarga Balita dan Pencegahan Stunting Angkatan 10 tahun 2021 setelah kembali di lingkungan tempat peserta bertugas.
Model Evaluasi Empat Level Kirkpatrick
Model evaluasi pelatihan yang dikembangkan oleh Donald L Kirkpatrick dan James D Kirkpatrick ini dikenal dengan istilah Kirkpatrick Four Levels Evaluation Model. Donald Kirkpatrick (15 Maret 1924 - 9 Mei 2014) adalah Profesor Emeritus di University of Wisconsin di Amerika Serikat dan mantan presiden American Society for Training and Development (ASTD). Dia terkenal karena menciptakan model 'empat tingkat' yang sangat berpengaruh untuk evaluasi kursus pelatihan, yang berfungsi sebagai subjek Ph.D. disertasi pada tahun 1954. Gagasan Kirkpatrick diterbitkan kepada khalayak yang lebih luas pada tahun 1959 dalam serangkaian artikel di Jurnal Pelatihan dan Pengembangan AS, tetapi gagasan tersebut lebih dikenal dari sebuah buku yang diterbitkan pada tahun 1994 berjudul Evaluating Training Programs.
Model dari evaluasi Kirkpatrick biasanya digunakan dalam proses evaluasi dalam kegiatan pendidikan dan pelatihan karena sesuai dengan proses evaluasinya dilakukan dapat diterapkan dengan berbagai kondisi dari berbagai kegiatan yang ada pada banyak jenis diklat atau pendidikan dan pelatihan secara menyeluruh atau menjangkau semua bagian atau tahap kegiatan program kegiatan diklat (Prilianti, 2017:36). Terdapat beberapa tahap dari proses evaluasi dengan model Kirkpatrick yaitu terdiri dari evaluasi tahap dari reaksi, evaluasi tahap dari belajar, evaluasi tahap dari perilaku, dan evaluasi tahap dari dampak (Wirawan: 2012:300). Penjelasan mengenai beberapa tahap dalam proses evaluasi dengan model dari Kirkpatrick, yaitu:
a. Tahap Reaksi (Reaction)
Proses dari evaluasi tahap ini berkaitan dengan hasil pikiran dari peserta yang mengikuti kegiatan dalam sebuah program yang diselenggarakan serta respon peserta kepada narasumber, fasilitas dan pengguaan metode program serta isi keseluruhan kegiatan dari program. Dalam tahap ini biasanya terdapat beberapa pernyataan dari peserta terkait dengan kepuasan peserta kepada program yang dilaksanakan. Diketahui proses evaluasi pada tahap ini berfungsi dalam mengetahui respon dari pelatihan yang kemudian hasil dari respon peserta tersebut dapat menjadi sebuah informasi secara kuantitatif yang dapat menjadi masukan bagi pihak penyelenggara program kegiatan tersebut sehingga dapat digunakan dengan maksud meningkatkan kinerja dan kualitas dari program pelatihan yang dilakukan selanjutnya. (Utomo, 2016:38).
Berkaitan dengan rasa puas dari peserta kegiatan diklat, hal tersebut dapat diketahui melalui pengukuran kepada beberapa aspek yang terdiri dari aspek materi diklat yang diberikan kemudian dari aspek fasilitas yang tersedia untuk mendukung kegiatan diklat, cara atau metode penyampaian materi diklat yang yang digunakan narasumber, lalu dari media pembelajaran diklat yang disediakan penyelenggara dan jadwal pelaksanaan kegiatan diklat. Biasanya agar proses pengukuran menjadi lebih mudah dan efektif maka kegiatan dari pengukuran terkait proses evaluasi tahap dari reaksi, dilakukan dengan membuat sebuah reaction sheet dalam bentuk angket atau kuesioner.
b. Tahap Belajar (Learning)
Kirkpatrick (1998:20) mengemukakan “Training participants can be said to have learned if they have experienced changes such as increased knowledge, changing attitudes for the better and increasingly developing skills”. Pada tahap belajar, narasumber dapat memberi pengajaran berkaitan dengan tujuan kegiatan program pembelajaran, yaitu terdiri atas pengetahuan, sikap dan keterampilan sehingga berdasarkan penjelasan tersebut, peserta diklat dapat dikatakan sudah belajar jika sudah mengalami perubahan seperti meningkatnya pengetahuan, perubahan sikap menjadi lebih baik dan keterampilan yang semakin berkembang. Proses pengukuran dalam evaluasi tahap dari belajar dilakukan dengan menggunakan beberapa aspek, terdiri dari pengetahuan yang telah didapat dan dikuasai peserta kemudian perubahan sikap dari perserta dengan menjadi lebih baik dan peningkatan dari keterampilan peserta menjadi lebih berkembang. Fungsi dari proses evaluasi tahap ini adalah untuk mengukur pencapaian proses pembelajaran sampai pada fase tertentu, yang hasilnya digunakan untuk perbaikan proses berikutnya.
c. Tahap Perilaku (Evaluating Behavior)
Evaluasi perilaku berbeda dengan evaluasi terhadap sikap. Penilaian sikap pada evaluasi level 2 difokuskan pada perubahan sikap yang terjadi pada saat kegiatan pelatihan dilakukan sehingga lebih bersifat internal, sedangkan penilaian perilaku (behavior) difokuskan pada perubahan tingkah laku setelah peserta kembali ke tempat kerja (Widoyoko, 2015:177). Kirkpatrick sendiri memaknai tahap behavior ini sebagai sejauh mana perubahan perilaku yang muncul karena peserta mengikuti program pelatihan MKirkpatrick, D., L. (1998). Evaluasi pada level ini dilakukan untuk mengindetifikasikan sejauh mana materi dalam pelatihan diaplikasikan pada pekerjaan dan tempat kerja peserta. Karena yang dinilai adalah perubahan perilaku setelah kembali ke masyarakat maka evaluasi tahap perilaku ini dapat disebut sebagai evaluasi terhadap outcomes dari kegiatan diklat. Pada evaluasi tahap perilaku ini berfungsi untuk menilai perubahan perilaku setelah diklat sesuai hasil proses akhir materi program diklat. Kriteria keberhasilan pada evaluasi level ke 3 adalah perubahan sikap yang telah terjadi setelah mengikuti pelatihan
d. Tahap Hasil (Evaluating Result)
Evaluasi dampak ini difokuskan pada hasil akhir (final result) yang terjadi karena peserta diklat setelah mengikuti suatu program. Tidak semua pengaruh dari sebuah program dapat diukur dan juga membutuhkan waktu yang cukup lama. Oleh karena itu evaluasi tahap dampak ini dilakukan setelah pelatihan selesai dilaksanakan. Hasil berkaitan dengan terjadinya peningkatan dan perbaikan performasi organisasi setelah dilakukannya diklat. Dalam tahap ini akan melihat sejauh mana diklat yang dilakukan memberikan dampak terhadap peningkatan kinerja, produktivitas, kepuasan kerja, kerja sama, ataupun penurunan kinerja yang dialami oleh peserta yang telah mengikuti diklat.
Pembahasan Hasil Temuan
1. Level Reaksi
Tahap reaksi merupakan kepuasan peserta diklat terhadap penyelenggaraan diklat. Reaksi peserta tersebut dapat menentukan tingkat ketercapaian tujuan dari penyelenggaraan diklat. Program penyelenggaraan diklat dianggap berhasil apabila peserta diklat merasa puas terhadap seluruh unsur yang terlibat dalam proses penyelenggaraan. Keberhasilan proses kegiatan pembelajaran tidak terlepas dari minat, perhatian, dan motivasi peserta diklat dalam mengikuti diklat. Peserta belajar lebih baik apabila mereka memberi reaksi positif terhadap lingkungan belajar. Ada dua jenis instrumen reaksi untuk mengevaluasi pada level 1 reaksi yaitu:
Pertama, reaksi peserta terhadap penyelenggaraan. Tujuannya untuk mengetahui kepuasan peserta diklat terhadap keberhasilan proses kegiatan pembelajaran (a) efektifitas metode elearning; (b) pelayanan panitia; (c) pengaturan waktu/jadwal; (d) informasi penugasan; (e) kebermanfaatan materi; (f) kepuasan terhadap pelayanan panitia. Kedua, tujuannya untuk mengetahui kepuasan peserta diklat terhadap fasilitator mencakup : (a) penguasaan materi; (b) ketepatan waktu mengajar; (c) Keterampilan menjawab pertanyaan dan (d) Kemampuan memberikan motivasi.
 |
| Gambar 1. Reaksi peserta terhadap panitia |
Data dari instrumen reaksi tersebut dilakukan penilaian berdasarkan 5 interval skor. Hasil penilaian dari evaluasi peserta terhadap panitia penyelenggara adalah komponen efektifitas metode elearning 81%, pelayanan 82,50%, pengaturan waktu 81,50%, kemudahan informasi 82%, kebermanfaatan materi 89,50% dan kepuasan secara umum penyelenggaraan 80,00%. Setelah dilakukan analisa interval dari perhitungan di atas penulis menyimpulkan bahwa reaksi tingkat kepuasan peserta pelatihan terhadap panitia penyelenggara berada pada kategori “tinggi”, sehingga bisa disimpulkan peserta cukup merasa nyaman pada pelatihan dengan metode elearning ini, namun ada beberapa catatan yaitu terdapat sebanyak 18 % peserta yang memberikan skor “netral” atas pertanyaan No. 3 yaitu terkait kesesuaian waktu pembelajaran dengan pengaturan jadwal pelatihan dan terdapat 5 % peserta yang memberikan skor “tidak setuju” dan 13 % peserta menyatakan “netral” atas pertanyaan No. 10 terkait kepuasan peserta secara umum terhadap penyelenggaraan pelatihan.
 |
Gambar 2. Reaksi terhadap Fasilitator
|
Hasil penilaian dari evaluasi peserta terhadap fasilitator adalah komponen penguasaan materi 84,50%, Ketepatan waktu 82,50%, Keterampilan menjawab 81,50% dan ketrampilan memberikan 84,00%. Setelah dilakukan analisa interval dari perhitungan di atas penulis menyimpulkan bahwa reaksi tingkat kepuasan peserta pelatihan terhadap panitia penyelenggara berada pada kategori “tinggi”, sehingga bisa disimpulkan reaksi tingkat kepuasan peserta pelatihan terhadap fasilitator berada pada kategori “tinggi”, namun ada beberapa catatan yaitu terdapat sebanyak 5% peserta yang memberikan skor “tidak setuju” dan 10% peserta menyatakan “netral” atas pertanyaan No. 7 yaitu terkait ketepatan waktu kehadiran fasilitator, serta sebanyak 8% peserta yang memberikan skor “netral” atas pertanyaan No. 6 terkait penguasaan materi pelatihan, dan 10% memberikan skor “netral” atas pertanyaan No. 9 terkait kemampuan memberikan motivasi. Berdasarkan uraian di atas disimpulkan bahwa tingkat kepuasan peserta pelatihan terhadap penyelenggara dan narasumber berada pada kategori “tinggi” sehingga bisa disimpulkan peserta cukup merasa nyaman terhadap fasilitator pada pelatihan dengan metode elearning ini.
2. Level Belajar
Pada tahap ini dilakukan evaluasi pembelajaran kepada peserta pelatihan yang mencakup penilaian (a) sikap; (b) penugasan); (c) pretest dan (d) postest dengan pembobotan sebagai berikut :
Komponen soal pretest-postest adalah soal-soal yang diberikan pada saat pelatihan sebanyak 30 soal, komponen penilaian sikap antara lain ketepatan waktu kehadiran, keaktifan dalam diskusi kelompok, keaktifan dalam dialog bersama fasilitator dan kebiasaan membuka atau menutup kamera zoom meeting pada saat penyampaian materi, dan komponen penugasan yaitu resume materi pelatihan yang dikumpulkan serta di presentasikan oleh peserta pelatihan dalam bentuk slide MS-Powerpoint. Kriteria kelulusan peserta pelatihan adalah :
a) Peserta adalah memperoleh nilai kumulatif minimal 70
b) Peserta yang berhasil mencapai nilai minimal berhak mendapatkan sertifikat
c) Peserta yang tidak mencapai nilai minimal dinyatakan tidak lulus dan diberikan surat keterangan telah mengikuti pelatihan dengan ketentuan mengikuti remedial di angkatan selanjutnya.
d) Kualifikasi kelulusan yaitu :
Pembobotan nilai dan penentuan kelulusan di atas merupakan ketentuan dari Team Widyaiswara Bidang Latbang Perwakilan BKKBN Provinsi Jawa Barat yang dalam hal ini merupakan fasilitator pelatihan. Hasil penilaian dari evaluasi terhadap 40 orang peserta pada tahap belajar ini adalah sebanyak 5 orang peserta lulus dengan predikat “sangat memuaskan”, 18 orang lulus dengan predikat “memuaskan”, 15 orang peserta lulus dengan predikat “cukup memuaskan” dan 2 orang tidak lulus dengan predikat “kurang memuaskan”. Bagi peserta yang lulus mendapatkan sertifikat tanda kelulusan, sedangkan bagi yang tidak lulus diberikan surat keterangan mengikuti pelatihan dengan ketentuan remedial pada angkatan selanjutnya. Berdasarkan evaluasi tersebut diketahui sebanyak 95% peserta pelatihan dinyatakan lulus dengan demikian level belajar peserta pelatihan elearning ini dinilai berada pada rentang skor “sangat tinggi”
 |
| Gambar 3. Behavior Peserta |
3. Level Behavior
Pada tahap behavior ini peserta diminta untuk menguraikan bentuk perubahan perilaku melalui jawaban atas interumen terbuka mengenai : (a) manfaat pembelajaran secara elearning; (b) perubahan sikap yang dirasakan setelah mengikuti diklat; (c) pengaruh diklat secara elearning terhadap pencapaian kinerja; (d) kemampuan membantu teman sejawat; (e) kemampuan membimbing kader dan masyarakat. Berhubung data dari instrumen reaksi merupakan skala ordinal yang tidak bisa di rata-ratakan, maka alternatif pengolahan instrumen adalah melakukan penilaian prosentasi berdasarkan 5 interval skor. Dari sebanyak 40 peserta diketahui bahwa skor total adalah 194 dari skor maksimumnya yaitu 200 atau sekitar 97%, pada tingkat prosentasi tersebut disimpulkan bahwa tingkat perubahan perilaku peserta pelatihan dengan metode e-learning berada kualifikasi “sangat tinggi”
Pengelolaan BKB HI dengan metode e-learning berada kualifikasi “cukup” seperti yang ditampilkan pada bagan di bawah ini :
 |
Gambar 4. Result Atasan
|
Dari jawaban sebanyak 40 orang teman sejawat didapatkan skor total sebesar 1398 dari skor maksimumnya yaitu 2000 atau sekitar 69,90%, sehingga result atasan setelah pelatihan Teknis Pencegahan Stunting dan Pengelolaan BKB HI dengan metode e-learning berada kualifikasi “tinggi” seperti yang ditampilkan pada bagan di bawah ini :
 |
Gambar 5. Result Teman Sejawat
|
Dari uraian skor angket total peserta, atasan dan teman sejawat diatas diketahui bahwa tingkat result peserta pelatihan berada pada kualifikasi “tinggi”, “cukup” dan “tinggi” sehingga bisa disimpulkan bahwa hasil akhir capaian ini tergolong “tinggi”. Namun sebagai catatan terdapat 1 orang atasan yang memberikan skor jauh lebih rendah terhadap salah satu peserta pelatihan yang menjadi bawahannya, dan 1 orang teman sejawat memberikan skor netral untuk semua pertanyaan terhadap temannya.
PENUTUP
Kesimpulan
1. Reaksi (reaction) peserta setelah pelatihan Teknis Pencegahan Stunting dan Pengelolaan BKB HI dengan metode e-learning termasuk kategori tinggi. Hal ini menunjukkan bahwa secara umum peserta merasa puas terhadap penyelenggaraan pelatihan dan kapabilitas widyaiswara dalam menyampaikan materi pelatihan.
2. Penilaian Pembelajaran (learning) yang diukur nilai pre dan post tes cukup memuaskan, karena batas minimal kelulusan peserta adalah 70% dari total peserta yang mengikuti pelatihan. Hal ini menunjukkan bahwa kendatipun metode elearning ini masih bersifat baru di BKKBN dan para peserta secara umum masih belum begitu familiar dengan aplikasi-aplikasi yang digunakan akan tetapi hal tersebut secara umum tidak begitu berpengaruh terhadap capaian hasil belajar.
3. Behavior peserta setelah pelatihan Teknis Pencegahan Stunting dan Pengelolaan BKB HI dengan metode e-learning termasuk kategori sangat tinggi. Hal tersebut menunjukkan bahwa perubahan perilaku di tempat kerja peserta pelatihan pembelajaran dengan metode elearning ini secara umum cukup signifikan.
4. Hasil (result) peserta setelah pelatihan Teknis Pencegahan Stunting dan Pengelolaan BKB HI dengan metode e-learning termasuk kategori tinggi. Hal ini menunjukkan bahwa hasil akhir dari peserta pembelajaran melalui metode elearning ini cukup baik. Kondisi tersebut terlihat dari tanggapan atasan dan teman sejawat dari peserta masing-masing.
Saran
Berdasarkan temuan pembahasan dan kesimpulan program diklat Teknis Pencegahan Stunting dan Pengelolaan BKB HI dengan metode e-learning di Balai Diklat KKB Garut, maka dapat disusun saran-saran sebagai berikut:
1. Bagi Penyelenggara
Secara umum reaksi peserta terhadap penyelenggaran pelatihan secara elearning ini cukup baik, namun ada sebagian catatan penting antara lain :
a. Pada tahap reaksi terdapat 18% peserta yang memberikan skor “netral” atas pertanyaan No. 3 yaitu terkait kesesuaian waktu pembelajaran dengan pengaturan jadwal pelatihan. Hal ini sebaiknya menjadi perhatian penyelanggara karena kedisiplinan waktu merupakan hal yang sangat penting dalam proses pembelajaran.
b. Pada tahap reaksi terdapat 5% peserta yang memberikan skor “tidak setuju” dan 13% peserta menyatakan “netral” atas pertanyaan No. 10 terkait kepuasan peserta secara umum terhadap penyelenggaraan pelatihan. Hal ini agar menjadi perhatian penyelenggara pelatihan agar lebih meningkatkan kualitas pelayanan secara penuh dalam tiap tahap pembelajaran.
c. Pada tahap learning, masih ada 12 orang peserta yang tidak lulus dalam diklat teknis BKB HI dan Stunting angkatan 10, oleh karena perlu dilakukan remedial bagi peserta tersebut pada angkatan selanjutnya.
2. Bagi Fasilitator / Widyaiswara
Secara umum reaksi peserta terhadap fasilitator pelatihan secara elearning ini cukup baik, namun ada sebagian catatan penting antara lain :
a) Pada tahap reaksi terdapat 5% peserta yang memberikan skor “tidak setuju” dan 10% peserta menyatakan “netral” atas pertanyaan No. 7 yaitu terkait ketepatan waktu kehadiran fasilitator . Hal ini sebaiknya menjadi perhatian fasilitator karena kehadiran tepat waktu bagi seorang fasilitator merupakan contoh yang sangat diperlukan oleh peserta pelatihan.
b) Pada tahap reaksi terdapat 8% peserta yang memberikan skor “netral” atas pertanyaan No. 6 terkait penguasaan materi pelatihan, dan 10% memberikan skor “netral” atas pertanyaan No. 9 terkait kemampuan memberikan motivasi. Kendatipun skor tersebut bukan skor negatif/kurang, akan tetapi skor netral pada dasarnya menunjukkan bahwa penguasaan materi dan kemampuan memberikan motivasi tersebut dinilai masih kurang bagi sebagian peserta pelatihan atas seorang fasilitator, hal ini diharapkan menjadi perhatian yang baik bagi para fasilitator untuk lebih meningkatkan kompetensi dan kemampuan memberikan motivasi yang lebih baik kepada peserta pelatihan.
c) Pada tahap behavior masih ada beberapa peserta yang belum mampu menguraikan secara jelas bentuk perubahan perilaku di tempat kerjanya, oleh sebab itu sebaiknya dilakukan tindak lanjut monitoring terhadap peserta-peserta tersebut
d) Pada tahap result terdapat satu penilaian atasan yang berbanding terbalik dengan penilaian peserta itu sendiri, untuk lebih memperjelas masalah yang dihadapi sebaiknya dilakukan komunikasi yang lebih terbuka dan terarah terhadap yang bersangkutan, hal tersebut dalam rangka mencapai tujuan hasil akhir diklat yang lebih optimal.
DAFTAR PUSTAKA
Kirkpatrick, L. Donald. 1998. Evaluating Training Programs, 2nd Edition. San Fransisco: Berret-Koehler Publisher, Inc.
Notoatmodjo, Soekidjo. 2009. Pengembangan Sumber Daya Manusia. Jakarta: Rineka Cipta
Prilianti, Ratna. 2017. Evaluasi Learning Penyelenggaraan Diklat Teknis Substantif Multimedia bagi Guru Madrasah Aliyah di Balai Diklat Keagamaan Semarang. Progres. Jurnal Pendidikan Agama Islam Volume 5 Nomor 1. Semarang: Universitas Wahid Hasyim
Sugiyono. 2016. Metode Penelitian Kuantitatif, Kualitatif dan R&D. Bandung: PT Alfabet
Sumarsono, Sonny. 2009. Ekonomi Sumber Daya Manusia Teori dan Kebijakan Publik. Yogyakarta: Graha Ilmu
Utomo, Anggoro Prasetyo dan Karina Priskila Tehupeiory. 2016. Evaluasi Pelatihan dengan Metode Kirkpatrick Analysi. Jurnal Telematika Volume 9 Nomor 2.
Widoyoko, Eko Putro. 2015. Evaluasi Pembelajaran. Yogyakarta: Pustaka Pelajar
Wirawan. 2012. Evaluasi Teori, Model, Standar, Aplikasi dan Profesi. Jakarta: Rajawali Pers.
Yetti Nurhayati. 2018. Penerapan Model Kirkpatrick Untuk Evaluasi Program Diklat Teknis Subtantif Materi Perencanaan Pembelajaran Di Wilayah Kerja Provinsi Kepulauan Riau. Andragogi Jurnal Teknis. Volume: VI No. 2 Juli
Yusnarita, Rina. 2020. Model Evaluasi Kirkpatrick Pada Diklat Fungsional Calon Kepala Madrasah Di Pusdiklat Tenaga Teknis Pendidikan Dan Keagamaan. Tesis. Universitas Islam Negeri Syarif Hidayatullah Jakarta
*********************
0 Komentar