05 · Mathematical Statistics

Dari Estimasi sampai Inference — Dengan Rigor

statistics

module-overview

Modul mathematical statistics: estimation theory, hypothesis testing, confidence intervals, asymptotic theory, dan Bayesian inference untuk peneliti dan data analyst.

1 Selamat Datang di Mathematical Statistics

Mathematical statistics adalah jembatan antara probability theory dan applied data analysis. Di sini kamu akan belajar bukan hanya cara menggunakan tools, tapi kenapa tools tersebut bekerja dan kapan mereka gagal.

Why This Matters for Your Work

Ada perbedaan besar antara mengetahui cara menulis t.test() di R dan benar-benar memahami:

Kenapa t-test menggunakan t-distribution bukan z-distribution ketika $\sigma^2$ tidak diketahui?
Apa artinya “95% confidence interval” sebenarnya?
Kenapa OLS consistent? Kapan ia tidak konsisten?
Apa bedanya Bayesian credible interval dengan frequentist confidence interval?

“Knowing the difference between consistency and efficiency is the difference between a grad student and a serious researcher.”

Modul ini membangun pemahaman yang rigorous tentang statistical theory yang underlying semua tools empiris yang kamu gunakan sehari-hari.

2 Peta Konsep Modul

flowchart LR
    A[Probability Theory\n04-probability] --> B[Estimation Theory\n01-estimation]
    B --> C[Hypothesis Testing\n02-hypothesis-testing]
    C --> D[Confidence Intervals\n03-confidence-intervals]
    B --> E[Asymptotic Theory\n04-asymptotic-theory]
    E --> C
    B --> F[Bayesian Inference\n05-bayesian-inference]
    F --> D
    E --> G[Econometrics\n06-econometrics-math]
    C --> G

Alur belajar yang direkomendasikan: Mulai dari Estimation (01), karena konsep-konsep di sana digunakan di semua topik lainnya. Kemudian Hypothesis Testing (02) dan Confidence Intervals (03) bisa dibaca secara berurutan — keduanya terhubung erat. Asymptotic Theory (04) memberikan fondasi matematis untuk memahami kenapa large-sample inference bekerja. Bayesian Inference (05) bisa dibaca terakhir sebagai paradigma alternatif.

3 Daftar Topik

#	Topik	Deskripsi	Waktu
01	Theory of Estimation	MLE, OLS, GMM, dan sifat-sifat ideal estimator (unbiasedness, consistency, efficiency, Cramer-Rao bound)	2.5 jam
02	Hypothesis Testing	p-value, power, Type I/II errors, t-test, F-test, LR/Wald/Score trinity	2.5 jam
03	Confidence Intervals & Bootstrap	CI construction, pivotal method, bootstrap, delta method CIs	2 jam
04	Asymptotic Theory	Consistency dan asymptotic normality of OLS, sandwich estimator, HC standard errors	2 jam
05	Bayesian Inference	Bayes’ theorem, priors, posteriors, MCMC, ridge regression as Bayesian	2 jam

Total estimasi: 10-12 jam (termasuk latihan)

4 Prasyarat

Sebelum mulai modul ini, pastikan kamu sudah comfortable dengan:

Dari Modul 04 (Probability): - Random variables, expectation, variance - Normal, t, chi-squared, F distributions - Joint distributions, covariance, conditional expectation - LLN dan CLT (minimal intuisi)

Dari Modul 03 (Linear Algebra): - Matrix multiplication, transpose, inverse - Quadratic forms $x^TAx$ - Eigenvalues/eigenvectors (untuk PCA)

Tools: - R (semua contoh kode menggunakan R) - Familiar dengan lm(), t.test(), anova()

5 Notasi yang Digunakan

Simbol	Artinya
$\hat{\theta}$	Estimator dari parameter $\theta$
$\xrightarrow{p}$	Convergence in probability
$\xrightarrow{d}$	Convergence in distribution
$\ell(\theta)$	Log-likelihood function
$I(\theta)$	Fisher Information
$\text{plim}$	Probability limit
$H_0, H_1$	Null dan alternative hypothesis
$\alpha$	Significance level (Type I error rate)
$1-\beta$	Power
$\text{SE}(\hat{\theta})$	Standard error of estimator

6 Tips Belajar

1. Jangan skip contoh R: Setiap konsep abstract harus dikaitkan dengan implementasi konkret. Kode R membantu solidifikasi pemahaman.

2. Buat koneksi ke econometrics: Setiap konsep di sini punya aplikasi langsung di regression analysis. Aktif cari koneksinya.

3. Pahami asumsi: Setiap theorem punya asumsi. Mengetahui kapan asumsi dilanggar (dan apa konsekuensinya) adalah skill yang sangat valuable.

4. Practice problems: Jangan hanya baca. Kerjakan problems sebelum lihat jawaban.

--- title: "05 · Mathematical Statistics" subtitle: "Dari Estimasi sampai Inference — Dengan Rigor" description: "Modul mathematical statistics: estimation theory, hypothesis testing, confidence intervals, asymptotic theory, dan Bayesian inference untuk peneliti dan data analyst." categories: [statistics, module-overview] --- ## Selamat Datang di Mathematical Statistics Mathematical statistics adalah jembatan antara probability theory dan applied data analysis. Di sini kamu akan belajar **bukan hanya cara menggunakan tools**, tapi **kenapa tools tersebut bekerja** dan **kapan mereka gagal**. ::: {.callout-note title="Why This Matters for Your Work"} Ada perbedaan besar antara mengetahui cara menulis `t.test()` di R dan benar-benar memahami: - Kenapa t-test menggunakan t-distribution bukan z-distribution ketika $\sigma^2$ tidak diketahui? - Apa artinya "95% confidence interval" sebenarnya? - Kenapa OLS consistent? Kapan ia tidak konsisten? - Apa bedanya Bayesian credible interval dengan frequentist confidence interval? **"Knowing the difference between consistency and efficiency is the difference between a grad student and a serious researcher."** Modul ini membangun pemahaman yang rigorous tentang statistical theory yang underlying semua tools empiris yang kamu gunakan sehari-hari. ::: --- ## Peta Konsep Modul ```{mermaid} flowchart LR A[Probability Theory\n04-probability] --> B[Estimation Theory\n01-estimation] B --> C[Hypothesis Testing\n02-hypothesis-testing] C --> D[Confidence Intervals\n03-confidence-intervals] B --> E[Asymptotic Theory\n04-asymptotic-theory] E --> C B --> F[Bayesian Inference\n05-bayesian-inference] F --> D E --> G[Econometrics\n06-econometrics-math] C --> G ``` **Alur belajar yang direkomendasikan**: Mulai dari Estimation (01), karena konsep-konsep di sana digunakan di semua topik lainnya. Kemudian Hypothesis Testing (02) dan Confidence Intervals (03) bisa dibaca secara berurutan — keduanya terhubung erat. Asymptotic Theory (04) memberikan fondasi matematis untuk memahami kenapa large-sample inference bekerja. Bayesian Inference (05) bisa dibaca terakhir sebagai paradigma alternatif. --- ## Daftar Topik | # | Topik | Deskripsi | Waktu | |---|---|---|---| | 01 | [Theory of Estimation](01-estimation.qmd) | MLE, OLS, GMM, dan sifat-sifat ideal estimator (unbiasedness, consistency, efficiency, Cramer-Rao bound) | 2.5 jam | | 02 | [Hypothesis Testing](02-hypothesis-testing.qmd) | p-value, power, Type I/II errors, t-test, F-test, LR/Wald/Score trinity | 2.5 jam | | 03 | [Confidence Intervals & Bootstrap](03-confidence-intervals.qmd) | CI construction, pivotal method, bootstrap, delta method CIs | 2 jam | | 04 | [Asymptotic Theory](04-asymptotic-theory.qmd) | Consistency dan asymptotic normality of OLS, sandwich estimator, HC standard errors | 2 jam | | 05 | [Bayesian Inference](05-bayesian-inference.qmd) | Bayes' theorem, priors, posteriors, MCMC, ridge regression as Bayesian | 2 jam | **Total estimasi**: 10-12 jam (termasuk latihan) --- ## Prasyarat Sebelum mulai modul ini, pastikan kamu sudah comfortable dengan: **Dari Modul 04 (Probability)**: - Random variables, expectation, variance - Normal, t, chi-squared, F distributions - Joint distributions, covariance, conditional expectation - LLN dan CLT (minimal intuisi) **Dari Modul 03 (Linear Algebra)**: - Matrix multiplication, transpose, inverse - Quadratic forms $x^TAx$ - Eigenvalues/eigenvectors (untuk PCA) **Tools**: - R (semua contoh kode menggunakan R) - Familiar dengan `lm()`, `t.test()`, `anova()` --- ## Notasi yang Digunakan | Simbol | Artinya | |---|---| | $\hat{\theta}$ | Estimator dari parameter $\theta$ | | $\xrightarrow{p}$ | Convergence in probability | | $\xrightarrow{d}$ | Convergence in distribution | | $\ell(\theta)$ | Log-likelihood function | | $I(\theta)$ | Fisher Information | | $\text{plim}$ | Probability limit | | $H_0, H_1$ | Null dan alternative hypothesis | | $\alpha$ | Significance level (Type I error rate) | | $1-\beta$ | Power | | $\text{SE}(\hat{\theta})$ | Standard error of estimator | --- ## Tips Belajar **1. Jangan skip contoh R**: Setiap konsep abstract harus dikaitkan dengan implementasi konkret. Kode R membantu solidifikasi pemahaman. **2. Buat koneksi ke econometrics**: Setiap konsep di sini punya aplikasi langsung di regression analysis. Aktif cari koneksinya. **3. Pahami asumsi**: Setiap theorem punya asumsi. Mengetahui kapan asumsi dilanggar (dan apa konsekuensinya) adalah skill yang sangat valuable. **4. Practice problems**: Jangan hanya baca. Kerjakan problems sebelum lihat jawaban. --- ::: {.page-navigation} [← Module Overview (04-Probability)](../04-probability/index.qmd) | [Next: Theory of Estimation →](01-estimation.qmd) :::