Dari Data Berantakan Jadi Insight Bermakna: EDA & Preprocessing dengan KNIME

Ada sebuah prinsip lama di dunia data yang terdengar sederhana tapi sering dilupakan, yaitu Garbage In, Garbage Out. Artinya, sebagus apa pun algoritma yang digunakan, sebagus apa pun model machine learning yang dibangun, jika data yang masuk ke dalamnya kotor, hasil yang keluar pun tidak bisa langsung dipercaya.

Diartikel sebelumnya, kita sudah berkenalan dengan KNIME dan memahami mengapa platform ini menjadi pilihan utama para analis data modern. Sekarang saatnya masuk ke tahap pertama yang paling krusial dalam setiap proyek data, yaitu mengenali data secara mendalam, lalu membersihkannya. Sebuah proses yang dikenal sebagai Exploratory Data Analysis (EDA) dan Preprocessing.

Mengapa Data Nyata Itu Jarang Sempurna?

Bayangkan Anda mendapat tugas menganalisis data pelanggan dari sistem CRM perusahaan. Anda membuka filenya, dan yang ditemukan adalah ratusan baris dengan kolom usia yang kosong, beberapa entri email dengan format yang salah, angka pendapatan yang tiba-tiba melonjak tidak masuk akal, hingga nama kolom yang tidak konsisten antara satu file dengan file lainnya.

Ini bukan pengecualian, ini adalah kenyataan. Menurut berbagai survei industri, data scientist menghabiskan 60–80% waktunya hanya untuk membersihkan dan menyiapkan data. KNIME hadir untuk mempersingkat proses yang melelahkan ini menjadi sesuatu yang visual, cepat, dan terstruktur.

1. EDA (Exploratory Data Analysis)

Sebelum melakukan preprocessing, langkah pertama yang perlu dilakukan adalah berkenalan dengan data secara mendalam melalui Exploratory Data Analysis (EDA). Anggap saja ini seperti wawancara awal sebelum merekrut seseorang. Anda perlu tahu dulu siapa "orangnya" sebelum memberinya tugas besar. Dari sinilah Anda akan tahu preprocessing apa yang benar-benar dibutuhkan.

2. Statistik Deskriptif

Node Statistics di KNIME memberikan gambaran umum data dalam hitungan detik terkait nilai minimum dan maksimum, rata-rata, distribusi, hingga apakah data condong ke kiri atau kanan (skewness) dan seberapa "runcing" atau "datar" distribusinya (kurtosis).

3. Visualisasi Interaktif

Satu grafik bisa menceritakan apa yang ribuan baris angka tidak mampu sampaikan. KNIME menyediakan berbagai node visualisasi: Bar Chart untuk membandingkan kategori, Histogram untuk melihat distribusi data, Box Plot untuk mendeteksi outlier secara visual, dan Scatter Plot untuk melihat hubungan antar dua variabel.

4. Analisis Korelasi

Apakah ada hubungan antara lama berlangganan dan kemungkinan pelanggan berhenti? Apakah harga produk berkorelasi dengan jumlah ulasan positif? Node Linear Correlation di KNIME menghitung kekuatan hubungan antar variabel dan menampilkannya dalam bentuk matriks warna yang mudah dibaca.

5. Preprocessing Data

Setelah memahami kondisi data secara menyeluruh, barulah proses preprocessing dilakukan, kini dengan arah yang jelas berdasarkan temuan dari EDA sebelumnya.

6. Preprocessing Data

Setelah memahami kondisi data secara menyeluruh, barulah proses preprocessing dilakukan, kini dengan arah yang jelas berdasarkan temuan dari EDA sebelumnya.

7. Menangani Nilai yang Hilang (Missing Value)

Data yang tidak lengkap adalah hal yang lumrah — bisa karena responden melewati pertanyaan, sistem gagal mencatat, atau data memang tidak tersedia. Node Missing Value di KNIME menawarkan beberapa strategi penanganan: menghapus baris bermasalah, atau mengisinya dengan mean, median, maupun modus — semuanya cukup melalui konfigurasi node, tanpa kode.

8. Menghapus Outlier

Outlier adalah nilai ekstrem yang dapat merusak keseluruhan analisis jika dibiarkan. KNIME menyediakan dua metode deteksi yang umum digunakan: IQR (Interquartile Range) dan Standar Deviasi — keduanya dapat dijalankan langsung melalui node tanpa perlu menulis satu baris kode pun.

9. Normalisasi dan Standardisasi Data

Perbedaan skala antar kolom dapat membuat algoritma machine learning menghasilkan analisis yang bias. Node Normalizer di KNIME menyamakan skala seluruh kolom secara otomatis, memastikan setiap fitur diperlakukan secara proporsional.

10. Rekayasa Fitur (Feature Engineering)

Tidak semua data langsung siap digunakan dalam bentuk aslinya. KNIME menyediakan node Math Formula, String Manipulation, dan Rule Engine untuk mengubah dan menciptakan fitur baru sesuai kebutuhan analisis.

Sekarang datamu sudah bersih, sudah kamu kenali pola dan karakteristiknya. Artinya, kamu sudah benar-benar siap untuk langkah yang paling seru, yaitu membangun model Machine Learning.

Referensi: KNIME AG. (2024). KNIME Learning Hub. knime.com