Mesin ujian dan penilaian otomatis untuk platform simulasi tes bahasa
Menyusun dokumen kebutuhan untuk platform simulasi TOEFL dan IELTS: paket produk yang bercabang banyak, penilaian per bagian maupun akumulatif, dan aturan pemutaran audio yang ketat.
Konteks
Sebuah penyedia kursus persiapan tes bahasa ingin menjual simulasi ujian secara terpisah-pisah. Peserta bisa membeli empat modul lengkap, hanya Writing, hanya Speaking, atau gabungan Writing dan Speaking, masing-masing dalam mode latihan, mode simulasi, atau keduanya, untuk TOEFL ITP maupun IELTS.
Kombinasi paket itu terlihat seperti persoalan halaman harga, padahal pengaruhnya sampai ke dalam sistem. Setiap kombinasi menentukan tombol mana yang aktif di dasbor peserta, bagian mana yang boleh dikerjakan, dan skor mana yang boleh dihitung. Tanpa aturan yang dikunci sebelum pengerjaan, keputusannya akan diambil sendiri-sendiri oleh siapa pun yang mengerjakan bagian tersebut.
Persoalannya
Audio TOEFL tidak boleh mengulang dari awal
Di bagian tertentu TOEFL ITP, satu rekaman dipakai untuk sekelompok soal sekaligus. Peserta yang berpindah dari soal tiga ke soal empat dalam kelompok yang sama harus mendengar audio yang terus berjalan. Aturan seperti ini tidak muncul di daftar fitur mana pun, tapi berdampak langsung pada validitas ujian, sehingga saya tuliskan sebagai kriteria penerimaan sejak awal.
Jawaban isian punya lebih dari satu bentuk yang benar
Kunci jawabannya "sun", tapi peserta yang menulis "the sun" juga benar. Pencocokan persis akan menyalahkan jawaban yang sebenarnya tepat. Sistem menerima daftar variasi jawaban yang diisi admin lewat pemisah tertentu, sehingga aturannya bisa diatur pengelola konten tanpa mengubah kode.
Dua cara menghitung skor untuk peserta yang sama
Skor per bagian ditampilkan segera setelah satu modul selesai, karena peserta yang membeli paket parsial berhak melihat nilainya tanpa menunggu modul lain. Skor gabungan baru dihitung setelah seluruh modul dikerjakan. Rumus Writing IELTS punya pembobotan sendiri dan pembulatan ke kelipatan 0,25, dan saya tuliskan eksplisit supaya hasilnya bisa diverifikasi.
Koneksi peserta tidak bisa diandalkan
Esai yang hilang karena koneksi terputus adalah kegagalan serius pada produk berbayar. Jawaban disinkronkan setiap kali peserta berpindah soal, atau paling lambat setiap 30 detik, dan ujian yang terputus bisa dilanjutkan dari posisi terakhir.
Keputusan yang diambil
Berikut alternatif yang ditolak dan alasannya.
Leaderboard dan dukungan dua bahasa dikeluarkan dari lingkup
Keduanya diminta di awal, tapi tidak membantu peserta mendapat skor yang lebih baik, sementara mesin ujiannya sendiri sudah cukup kompleks. Keputusannya diambil resmi di rapat final dan dicatat di dokumen supaya punya jejak.
Penilaian sepenuhnya otomatis, tanpa jalur koreksi manual
Menyediakan koreksi manual berarti membangun antrean tugas, peran korektor, dan alur sengketa nilai, yang cakupannya setara satu produk tersendiri. Untuk fase ini penilaian diserahkan sepenuhnya ke sistem dan AI, dengan konsekuensinya disampaikan terbuka ke klien.