About data-scientist-analyst
A data-analysis skill for agents that turns raw datasets into statistically grounded findings, predictive models, and visualizations. It emphasizes reproducible statistical checks and careful model evaluation.
Key features
- 01Data cleaning and preprocessing
- 02Regression, PLS, and ANOVA
- 03Predictive machine learning
- 04Cross-validation and model comparison
- 05Performance visualizations
Use cases
- 01Analyze a CSV or spreadsheet dataset
- 02Test relationships between variables
- 03Compare predictive model performance
Install
Copy the command and run it in a terminal.
npx skills add https:/ / github.com/ lensetek/ research-agent-skills-collection --skill data-scientist-analystAfter installing, type/data-scientist-analystin Claude Code to confirm it loaded.
Bundled filesscripts/run_stat_analysis.py
Details
From the project READMEData Scientist Analyst
Overview
Skill ini bertanggung jawab untuk mengubah data mentah hasil akuisisi menjadi wawasan (insights) ilmiah yang kredibel. Agen akan menulis script Python untuk melakukan pembersihan data (preprocessing), uji statistik inferensial (regresi, PLS, ANOVA), pemodelan prediktif (Machine Learning), serta memvisualisasikan hasil metrik performa secara profesional (Matplotlib/Seaborn).
Dependencies
- Menggunakan library Python standar dan pihak ketiga untuk analisis data dan machine learning (Pandas, NumPy, SciPy, Statsmodels, Scikit-Learn, Matplotlib, Seaborn, XGBoost, LightGBM, dll.).
- Agen dapat menginstal dependensi Python secara terprogram via terminal.
Quick Start
Contoh penggunaan: "Gunakan skill data-scientist-analyst untuk melakukan analisis regresi PLS pada dataset saham_bank.csv dan tampilkan visualisasi feature importance."
Data Analysis & Machine Learning Rules (ATURAN MUTLAK)
- Rigorous Data Preprocessing: Selalu periksa nilai kosong (missing values), pencilan (outliers), dan lakukan standardisasi/normalisasi fitur sebelum melatih model ML.
- Methodological Statistics:
- Untuk analisis hubungan variabel: Lakukan uji regresi linear/logistik berganda atau Partial Least Squares (PLS).
- Selalu sertakan nilai statistik penting seperti p-value, R-squared, t-statistic, dan F-statistic untuk memvalidasi signifikansi.
- Machine Learning Best Practices:
- Lakukan pembagian dataset (train-test split) secara ketat untuk menghindari kebocoran data (data leakage).
- Gunakan cross-validation (misal: K-Fold) untuk mengukur ketahanan model.
- Bandingkan minimal dua algoritma model berbeda (misal: Linear Regression vs Random Forest) untuk menunjukkan perbandingan performa.
- Professional Visualization:
- Semua plot/grafik yang dihasilkan wajib memiliki label sumbu X dan Y, legenda, judul, serta menggunakan skema warna yang elegan (misal: palet seaborn-v0_8 atau coolwarm).
- Simpan visualisasi hasil ke dalam format
.pngatau.pdfberkualitas tinggi di direktori proyek.
Workflow Execution
- Muat Dataset: Baca berkas data mentah yang ada di proyek (seperti
.csv,.json, atau.xlsx). - Eksekusi Analisis Statistik Deterministik (WAJIB): Sebelum menulis analisis kustom, jalankan skrip pembantu statistik untuk menghasilkan ringkasan angka faktual tanpa risiko halusinasi (Gunakan path absolut dari
run_stat_analysis.pydi direktori instalasi skill ini):
python "<PATH_KE_SKILL>/scripts/run_stat_analysis.py" --input dataset.csv --output stat_report.json
- Hardware Workload Pre-flight Check (Rekomendasi untuk Training Dataset Besar): Sebelum melatih model ML berat / deep learning, gunakan skill
hardware-workload-estimatoruntuk memeriksa CPU, System RAM, dan VRAM GPU lokal. Jika estimasi waktu > 20 menit atau berisiko OOM, tawarkan migrasi eksekusi ke Google Colab via Chrome DevTools MCP. - Eksplorasi Data (EDA): Gunakan angka pasti dari
stat_report.jsonuntuk menganalisis karakteristik dataset (mean, std, median, null count). - Penyusunan Script Analisis & Pemodelan Data (3-Tier Execution Hierarchy):
- Tier 1 (Python Native Stack - REKOMENDASI UTAMA): Gunakan Python (
pandas,statsmodels,scipy,pyreadstat,scikit-learn). Python mampu membaca file SPSS (.sav), Stata (.dta), dan Excel (.xlsx) secara native dan memberikan perhitungan statistik yang 100% akurat tanpa lisensi software komersial. - Tier 2 (Headless Batch Mode - SPSS/EViews/Stata/Excel): Jika pengguna mewajibkan software spesifik, panggil skill
computer-useuntuk mengeksekusi script batch (.sps,.prg,.do) di background via CLI. - Tier 3 (GUI Computer-Use Vision Fallback): Digunakan jika butuh simulasi navigasi antarmuka visual interaktif.
- Tier 1 (Python Native Stack - REKOMENDASI UTAMA): Gunakan Python (
- Eksekusi & Evaluasi: Jalankan skrip analisis tersebut, evaluasi metrik performa (R2, F1-Score, RMSE, p-value), dan pastikan bebas error.
- Interpretasi Riset & Visualisasi: Sajikan kesimpulan akademik berupa narasi ilmiah yang menjelaskan makna fungsional dari angka-angka hasil pemodelan, dan berikan tautan langsung ke berkas grafik visualisasi yang disimpan.
Common Mistakes
- Data Leakage: Melakukan proses scaling/normalisasi pada keseluruhan dataset sebelum membaginya menjadi data train dan test.
- Overfitting: Melaporkan akurasi latih yang tinggi tanpa memverifikasi performa model pada data pengujian independen.
- Uji Statistik Tanpa Asumsi: Melakukan uji parametrik (seperti T-Test atau ANOVA) tanpa terlebih dahulu memverifikasi asumsi normalitas data.