07 · ML Math

Matematika di Balik Machine Learning

Overview modul ML Math: optimization, loss functions, regularization, kernel methods, information theory, PCA, dan neural networks.

Tentang Modul Ini

ML bukan black box. Di balik setiap model.fit(), ada matematika yang bisa dijelaskan — dan yang lebih penting, harus dipahami jika kamu mau tahu apa yang sebenarnya terjadi.

Pernyataan kunci yang perlu kamu internalisasi:

ML is just optimization over parameterized function classes — the math is calculus + linear algebra + probability + statistics.

Semua yang ada di modul ini adalah kombinasi dari empat bidang itu yang sudah kamu pelajari sebelumnya. Tidak ada “math baru” — hanya aplikasi baru dari alat lama.

Why This Matters for Your Work

Sebagai ekonometrisian atau data researcher, kamu mungkin berpikir: “Saya sudah pakai ML, kenapa harus belajar mathnya?”

Jawabannya:

Diagnosis: Ketika model tidak perform, kamu perlu tahu mengapa. Apakah loss function-nya salah? Apakah ada numerical instability? Apakah regularization terlalu kuat? Tanpa math, kamu hanya bisa coba-coba.
Komunikasi dengan reviewer: Paper ML yang bagus selalu punya justifikasi teoritis. “Saya pakai XGBoost” tidak cukup — reviewer akan tanya mengapa bukan random forest, mengapa tidak regularization ini atau itu.
Custom solutions: Masalah riset sering tidak cocok dengan off-the-shelf solution. Kalau kamu paham mathnya, kamu bisa modifikasi loss function, tambah constraint, atau desain estimator sendiri.
Bridging econometrics and ML: Banyak koneksi yang powerful — OLS adalah ERM dengan squared loss, quantile regression adalah ERM dengan asymmetric absolute loss, ridge regression adalah MAP estimation dengan Gaussian prior. Koneksi ini jadi jelas ketika kamu paham math di balik keduanya.

Peta Koneksi

graph TD
    C[02 Calculus] --> GD[7.2 Gradient Descent]
    C --> NN[7.7 Neural Net Math]
    LA[03 Linear Algebra] --> REG[7.3 Regularization]
    LA --> PCA[7.6 PCA]
    LA --> KM[7.4 Kernel Methods]
    P[04 Probability] --> LF[7.1 Loss Functions]
    P --> IT[7.5 Information Theory]
    S[05 Statistics] --> LF
    S --> REG
    EM[06 Econometrics] --> LF
    EM --> REG

    LF --> GD
    GD --> NN
    REG --> KM
    IT --> NN

    style LF fill:#2563EB,color:#fff
    style GD fill:#2563EB,color:#fff
    style REG fill:#2563EB,color:#fff
    style KM fill:#7C3AED,color:#fff
    style IT fill:#7C3AED,color:#fff
    style PCA fill:#7C3AED,color:#fff
    style NN fill:#DC2626,color:#fff

Topics dalam Modul Ini

#	Topik	Konten Utama	Tingkat
7.1	Loss Functions & Risk Minimization	ERM, squared/absolute/log/hinge loss, bias-variance tradeoff	Fondasi
7.2	Gradient Descent & Optimization	GD, SGD, Adam, Newton’s method, convergence	Fondasi
7.3	Regularization: Ridge, LASSO, Elastic Net	L1/L2 penalty, Bayesian interpretation, geometry	Fondasi
7.4	Kernel Methods & RKHS	Feature maps, kernel trick, SVM, kernel ridge regression	Intermediate
7.5	Information Theory for ML	Entropy, KL divergence, cross-entropy, mutual information	Intermediate
7.6	PCA & Dimensionality Reduction	Eigendecomposition, SVD, scree plots, PCR	Intermediate
7.7	Neural Networks — The Math	Forward pass, backpropagation, universal approximation	Advanced

Rekomendasi Urutan Baca

Path standar (ikuti urutan 7.1 → 7.7): Mulai dari loss functions karena itu “objective” dari semua ML. Lalu gradient descent karena itu “algorithm”. Lalu regularization karena itu “constraint”. Sisanya bisa lebih fleksibel.

Kalau kamu dari econometrics background: - Mulai dari 7.1 (Loss Functions) — banyak koneksi ke OLS, quantile regression - Lalu 7.3 (Regularization) — koneksi ke shrinkage estimators dan variable selection - Lalu 7.2 (Gradient Descent) — untuk memahami proses fitting - Sisanya sesuai kebutuhan

Kalau kamu sudah familiar dengan supervised ML dan mau go deeper: - 7.4 (Kernels) — mathematical foundation SVM dan Gaussian process - 7.5 (Information Theory) — untuk memahami entropy, KL, dan VAE - 7.7 (Neural Networks) — backpropagation calculus

Kalau mau cepat ke deep learning: - 7.1 → 7.2 → 7.7 (bisa skip 7.3–7.6 untuk sekarang)

Prerequisite Check

Sebelum masuk modul ini, pastikan kamu comfortable dengan:

Calculus: Chain rule, partial derivatives, gradient $\nabla f$, Hessian $H$
Linear Algebra: Matrix multiplication, eigendecomposition, SVD, norms
Probability: Expectation, variance, conditional probability, Bayes theorem
Statistics: MLE, OLS, hypothesis testing

Kalau ada yang belum solid, kembali ke modul sebelumnya dulu.

Estimasi Waktu

Baca + latihan semua topik: 15–25 jam total
Per topik: 2–4 jam (topik fondasi lebih cepat, advanced lebih lama)
Fokus ke 7.1, 7.2, 7.3 dulu — itu paling high-leverage

--- title: "07 · ML Math" subtitle: "Matematika di Balik Machine Learning" description: "Overview modul ML Math: optimization, loss functions, regularization, kernel methods, information theory, PCA, dan neural networks." number-sections: false toc: true --- ## Tentang Modul Ini ML bukan black box. Di balik setiap `model.fit()`, ada matematika yang bisa dijelaskan — dan yang lebih penting, *harus* dipahami jika kamu mau tahu apa yang sebenarnya terjadi. Pernyataan kunci yang perlu kamu internalisasi: > **ML is just optimization over parameterized function classes — the math is calculus + linear algebra + probability + statistics.** Semua yang ada di modul ini adalah kombinasi dari empat bidang itu yang sudah kamu pelajari sebelumnya. Tidak ada "math baru" — hanya aplikasi baru dari alat lama. ::: {.callout-note title="Why This Matters for Your Work"} Sebagai ekonometrisian atau data researcher, kamu mungkin berpikir: *"Saya sudah pakai ML, kenapa harus belajar mathnya?"* Jawabannya: 1. **Diagnosis**: Ketika model tidak perform, kamu perlu tahu *mengapa*. Apakah loss function-nya salah? Apakah ada numerical instability? Apakah regularization terlalu kuat? Tanpa math, kamu hanya bisa coba-coba. 2. **Komunikasi dengan reviewer**: Paper ML yang bagus selalu punya justifikasi teoritis. "Saya pakai XGBoost" tidak cukup — reviewer akan tanya mengapa bukan random forest, mengapa tidak regularization ini atau itu. 3. **Custom solutions**: Masalah riset sering tidak cocok dengan off-the-shelf solution. Kalau kamu paham mathnya, kamu bisa modifikasi loss function, tambah constraint, atau desain estimator sendiri. 4. **Bridging econometrics and ML**: Banyak koneksi yang powerful — OLS adalah ERM dengan squared loss, quantile regression adalah ERM dengan asymmetric absolute loss, ridge regression adalah MAP estimation dengan Gaussian prior. Koneksi ini jadi jelas ketika kamu paham math di balik keduanya. ::: ## Peta Koneksi ```{mermaid} graph TD C[02 Calculus] --> GD[7.2 Gradient Descent] C --> NN[7.7 Neural Net Math] LA[03 Linear Algebra] --> REG[7.3 Regularization] LA --> PCA[7.6 PCA] LA --> KM[7.4 Kernel Methods] P[04 Probability] --> LF[7.1 Loss Functions] P --> IT[7.5 Information Theory] S[05 Statistics] --> LF S --> REG EM[06 Econometrics] --> LF EM --> REG LF --> GD GD --> NN REG --> KM IT --> NN style LF fill:#2563EB,color:#fff style GD fill:#2563EB,color:#fff style REG fill:#2563EB,color:#fff style KM fill:#7C3AED,color:#fff style IT fill:#7C3AED,color:#fff style PCA fill:#7C3AED,color:#fff style NN fill:#DC2626,color:#fff ``` ## Topics dalam Modul Ini | # | Topik | Konten Utama | Tingkat | |---|-------|-------------|---------| | 7.1 | [Loss Functions & Risk Minimization](01-loss-functions.qmd) | ERM, squared/absolute/log/hinge loss, bias-variance tradeoff | Fondasi | | 7.2 | [Gradient Descent & Optimization](02-gradient-descent.qmd) | GD, SGD, Adam, Newton's method, convergence | Fondasi | | 7.3 | [Regularization: Ridge, LASSO, Elastic Net](03-regularization.qmd) | L1/L2 penalty, Bayesian interpretation, geometry | Fondasi | | 7.4 | [Kernel Methods & RKHS](04-kernel-methods.qmd) | Feature maps, kernel trick, SVM, kernel ridge regression | Intermediate | | 7.5 | [Information Theory for ML](05-information-theory.qmd) | Entropy, KL divergence, cross-entropy, mutual information | Intermediate | | 7.6 | [PCA & Dimensionality Reduction](06-pca-dimensionality.qmd) | Eigendecomposition, SVD, scree plots, PCR | Intermediate | | 7.7 | [Neural Networks — The Math](07-neural-net-math.qmd) | Forward pass, backpropagation, universal approximation | Advanced | ## Rekomendasi Urutan Baca **Path standar** (ikuti urutan 7.1 → 7.7): Mulai dari loss functions karena itu "objective" dari semua ML. Lalu gradient descent karena itu "algorithm". Lalu regularization karena itu "constraint". Sisanya bisa lebih fleksibel. **Kalau kamu dari econometrics background:** - Mulai dari 7.1 (Loss Functions) — banyak koneksi ke OLS, quantile regression - Lalu 7.3 (Regularization) — koneksi ke shrinkage estimators dan variable selection - Lalu 7.2 (Gradient Descent) — untuk memahami proses fitting - Sisanya sesuai kebutuhan **Kalau kamu sudah familiar dengan supervised ML dan mau go deeper:** - 7.4 (Kernels) — mathematical foundation SVM dan Gaussian process - 7.5 (Information Theory) — untuk memahami entropy, KL, dan VAE - 7.7 (Neural Networks) — backpropagation calculus **Kalau mau cepat ke deep learning:** - 7.1 → 7.2 → 7.7 (bisa skip 7.3–7.6 untuk sekarang) ## Prerequisite Check Sebelum masuk modul ini, pastikan kamu comfortable dengan: - **Calculus**: Chain rule, partial derivatives, gradient $\nabla f$, Hessian $H$ - **Linear Algebra**: Matrix multiplication, eigendecomposition, SVD, norms - **Probability**: Expectation, variance, conditional probability, Bayes theorem - **Statistics**: MLE, OLS, hypothesis testing Kalau ada yang belum solid, kembali ke modul sebelumnya dulu. ## Estimasi Waktu - Baca + latihan semua topik: **15–25 jam** total - Per topik: **2–4 jam** (topik fondasi lebih cepat, advanced lebih lama) - Fokus ke 7.1, 7.2, 7.3 dulu — itu paling high-leverage