BAB 7: Seberapa Percaya Peta Ini? Validasi dan Koreksi Luas

#Studi kasus: "Angka ini boleh masuk laporan?"

Peta sudah jadi. Kepala Seksi menatap angka 2,64 ha bekas terbakar di peta pertama Anda. "Kalau saya tulis di laporan ke provinsi, apakah ada yang akan menyanggah?" Pertanyaan itu tidak bisa dijawab dengan "kelihatannya bagus". Anda perlu mengukur kebenaran peta, dan menyebut seberapa ragu angkanya.

#Konsep: validasi dalam tiga kalimat

Validasi itu seperti ujian dengan soal yang belum pernah dilihat murid: nilai ujian latihan yang soalnya sama dengan bahan belajar tidak membuktikan apa-apa. Kita menarik sampel acak titik di peta, memeriksa kebenarannya dengan data acuan yang lebih tepercaya (citra resolusi tinggi atau survei lapangan), lalu membuat matriks kebingungan. Dari matriks itu keluar akurasi, dan juga koreksi luas: luas yang sudah memperhitungkan kesalahan peta.

Istilah baru bab ini:

• Matriks kebingungan: tabel yang menyilangkan kelas peta dengan kelas acuan.
• Akurasi pengguna (UA): dari semua piksel yang peta sebut kelas X, berapa persen yang benar kelas X.
• Akurasi produsen (PA): dari semua piksel yang sebenarnya kelas X, berapa persen yang peta temukan.
• Sampel acak berstrata: sampel acak dengan jumlah tetap di tiap kelas peta, supaya kelas langka ikut terwakili.
• Luas terkoreksi: perkiraan luas yang sudah menyesuaikan kesalahan peta, disertai rentang ketidakpastian.

#Dua jenis kesalahan, dua sisi

• Kesalahan komisi: peta bilang "terbakar", kenyataannya hutan. Diukur oleh akurasi pengguna.
• Kesalahan omisi: kenyataannya terbakar, peta tidak menandainya. Diukur oleh akurasi produsen.

Dua peta bisa sama akuratnya secara keseluruhan namun berbeda pada dua sisi ini. Untuk melaporkan luas, kedua sisi penting.

# SKRIP 7.1 (cuplikan; berkas lengkap: skrip/7_1_validasi.py)
def sampel_berstrata(peta, seed):
    rng = np.random.default_rng(seed)
    for k in np.unique(peta):
        kand = np.argwhere((peta == k) & ~pakai_latih)           # piksel kelas k di luar titik latih
        pilih = rng.choice(len(kand), size=min(N_STRATUM, len(kand)), replace=False)
        hasil[int(k)] = [((int(kand[p][0]), int(kand[p][1])), int(acuan[kand[p][0], kand[p][1]])) for p in pilih]

p_ij       = W_i * n_ij / n_i
Akurasi keseluruhan   = jumlah p_ii
Akurasi pengguna(i)   = p_ii / jumlah_j p_ij
Akurasi produsen(j)   = p_jj / jumlah_i p_ij
Luas terkoreksi(j)    = Luas_total * jumlah_i p_ij
Galat baku(j)         = Luas_total * akar( jumlah_i  W_i^2 * (n_ij/n_i) * (1 - n_ij/n_i) / (n_i - 1) )
Rentang 95%           = luas terkoreksi +/- 1,96 * galat baku

#Cek paham

1. Peta menandai 2,64 ha terbakar dan akurasi penggunanya 0,50. Mengapa luas sebenarnya sekitar separuhnya?
2. Mengapa sampel validasi tidak boleh sama dengan titik latih?
3. Apa beda akurasi pengguna dan akurasi produsen?

Jawaban:

1. Separuh dari area yang ditandai terbakar ternyata bukan terbakar. Luas terkoreksi memperhitungkan itu.
2. Model sudah "hafal" titik latih, sehingga nilai ujinya menjadi terlalu bagus dan tidak berarti.
3. Akurasi pengguna: dari yang peta sebut kelas X, berapa yang benar. Akurasi produsen: dari yang sebenarnya kelas X, berapa yang peta temukan.

#Kesalahan umum

• Melaporkan luas dari hitungan piksel peta mentah. Gunakan luas terkoreksi.
• Hanya melaporkan akurasi keseluruhan. Kelas langka bisa buruk sementara angka keseluruhan tinggi.
• Sampel terlalu sedikit di kelas langka. Rentang kepercayaan menjadi lebar.
• Memakai acuan yang lebih lemah daripada peta. Acuan harus lebih tepercaya.
• Mengulang uji sampai hasilnya bagus. Tetapkan rancangan sampel sebelum melihat hasil.

#Ringkasan dan latihan

Ringkasan: validasi memakai sampel acak berstrata dan acuan independen. Matriks kebingungan memberi akurasi pengguna dan produsen. Luas terkoreksi memperbaiki angka peta dan menyebut ketidakpastiannya.

Latihan:

1. Jalankan Skrip 7.1. Ubah N_STRATUM menjadi 10, lalu 30. Bagaimana lebar rentang luas terbakar Peta B?
2. Ubah benih acak di Skrip 7.1 dan jalankan beberapa kali. Berapa rentang akurasi keseluruhan?
3. Hitung sendiri luas terkoreksi kelas Terbakar Peta B dari tabel matriks di atas, dengan rumus. Cocokkah?

#Tabel perbandingan: validasi

#Penutup seri: ceklis kesiapan menuju M4

Anda sudah menempuh satu alur lengkap pemantauan: susun, bersihkan, pahami musim, deteksi perubahan, klasifikasi, validasi. Sebelum membuka M4 (pengembangan dan publikasi), periksa diri:

• Saya bisa menyusun deret waktu bertanggal dan menjelaskan mengapa waktu dihitung dalam hari.
• Saya bisa membuang awan dan memeriksa jumlah pengamatan valid.
• Saya bisa membedakan irama musiman dari perubahan sungguhan.
• Saya bisa mendeteksi deforestasi dan kebakaran, dan menyebut tanggalnya sebagai rentang.
• Saya bisa melatih model dan tahu mengapa uji acak terlalu optimis.
• Saya bisa menyampaikan luas bersama ketidakpastiannya.

Di M4, semua ini dibungkus menjadi alat yang bisa dipakai orang lain: plugin, layanan web, dan dasbor pemantauan.