Latihan Model Part 1

Hi,

Pertanyaan kamu sangat bagus.. betul sekali idealnya kita sebaiknya melihat distribusi masing2 fitur, kemudian melakukan outlier removal secara manual di R atau python agar batas atas dan batas bawahnya sesuai dengan masing2 fitur tersebut. Jika itu dilakukan, biasanya hasil model relatif akan lebih baik dibanding secara otomatis menggunakan standar yg sama untuk semua fitur.. jadi tinggal memilih metode mana yg menurut kamu lebih baik..

Namun ada yg perlu saya revisi, outlier removal tidak boleh mengubah data outlier menjadi mean atau median.. tetap harus memjadi batas atas atau bawah.. tinggal kita mau menetapkan batas atas bawahnya manual per fitur atau langsung menggunakan persentil yg sama atau quartile yang sama utk semua..

Untuk feature scaling berdasarkan pengalaman saya selama ini tidak seperti teorinya bahwa standarisasi dan normalisasi akan menghasilkan performance yg berbeda jauh.. biasanya mirip2 saja.. oleh karena itu saran saya jgn membuang waktu untuk mengecek distribusi data untuk menentukan standarisasi atau normalisasi

Regards
William

Hi,

iya betul.. prinsipnya model itu selalu membuat semacam binning ketika mempelajari data. Misalnya umur:
grup 1 : umur 1 – 21 tahun : jumlah : 500
grup 2 : umur 22 – 31 tahun : jumlah : 1000
grup 3 : umur 32 – 41 tahun : jumlah : 1500
grup 4 : umur 42 – 51 tahun : jumlah : 900
grup 5 : umur 52 – 65 tahun : jumlah : 300

perhatikan sebagian besar populasi ada pada rentang umur 22 – 41 tahun. Jika ada 3 pelanggan berumur 120 tahun,
jauh lebih masuk akal kita masukan dia ke grup 65 tahun kan? krn memang dia adalah pelanggan senior.
Justru jadi tidak make sense jika kamu masukan mereka ke grup muda (22 – 41 tahun)

regards