Latihan Model Part 1

[[email protected]]

Hallo Coach William, izin bertanya coach. Ada beberapa hal yang masih membuat saya bingung di vid latihan model part 1 kenapa coach lebih memilih merubah nilai outlier menjadi upperLimit dan lowerLimit, tanpa perlu mengecek terlebih dahulu distribusi data lalu memilih merubah nilai outlier menjadi mean/median dari data. Selanjutnya apa tidak menjadi suatu problem jika kita memilih feature scaling secara normalisasi atau standarisasi tanpa mengetahui distribusi dari data tersebut.

[Coach William]

Hi,

Pertanyaan kamu sangat bagus.. betul sekali idealnya kita sebaiknya melihat distribusi masing2 fitur, kemudian melakukan outlier removal secara manual di R atau python agar batas atas dan batas bawahnya sesuai dengan masing2 fitur tersebut. Jika itu dilakukan, biasanya hasil model relatif akan lebih baik dibanding secara otomatis menggunakan standar yg sama untuk semua fitur.. jadi tinggal memilih metode mana yg menurut kamu lebih baik..

Namun ada yg perlu saya revisi, outlier removal tidak boleh mengubah data outlier menjadi mean atau median.. tetap harus memjadi batas atas atau bawah.. tinggal kita mau menetapkan batas atas bawahnya manual per fitur atau langsung menggunakan persentil yg sama atau quartile yang sama utk semua..

Untuk feature scaling berdasarkan pengalaman saya selama ini tidak seperti teorinya bahwa standarisasi dan normalisasi akan menghasilkan performance yg berbeda jauh.. biasanya mirip2 saja.. oleh karena itu saran saya jgn membuang waktu untuk mengecek distribusi data untuk menentukan standarisasi atau normalisasi

Regards
William

[[email protected]]

Baik coach, terimakasih atas insightnya. Berarti dapat simpulkan bahwa merubah nilai menjadi mean/median itu hanya berlaku pada null/na values ya coach.

[Coach William]

Hi,

iya betul.. prinsipnya model itu selalu membuat semacam binning ketika mempelajari data. Misalnya umur:
grup 1 : umur 1 – 21 tahun : jumlah : 500
grup 2 : umur 22 – 31 tahun : jumlah : 1000
grup 3 : umur 32 – 41 tahun : jumlah : 1500
grup 4 : umur 42 – 51 tahun : jumlah : 900
grup 5 : umur 52 – 65 tahun : jumlah : 300

perhatikan sebagian besar populasi ada pada rentang umur 22 – 41 tahun. Jika ada 3 pelanggan berumur 120 tahun,
jauh lebih masuk akal kita masukan dia ke grup 65 tahun kan? krn memang dia adalah pelanggan senior.
Justru jadi tidak make sense jika kamu masukan mereka ke grup muda (22 – 41 tahun)

regards

[Author]

Posts