Inequalities & Absolute Values

Tools untuk Bounding dan Estimasi

foundations

inequalities

Pertidaksamaan, nilai mutlak, AM-GM, Cauchy-Schwarz, dan triangle inequality.

Why This Matters for Your Work

Pertidaksamaan adalah tools utama dalam analisis statistik dan teori ML. Hampir semua bounds dalam teori statistik (confidence intervals, concentration inequalities) dibangun dari pertidaksamaan dasar.

Contoh: Chebyshev’s inequality digunakan untuk membuktikan Law of Large Numbers. Cauchy-Schwarz muncul dalam konteks correlation dan inner products.

1 Nilai Mutlak (Absolute Value)

\[|x| = \begin{cases} x & \text{jika } x \geq 0 \\ -x & \text{jika } x < 0 \end{cases}\]

1.1 Triangle Inequality

\[|x + y| \leq |x| + |y|\]

1.2 Reverse Triangle Inequality

\[|x - y| \geq ||x| - |y||\]

2 AM-GM Inequality

Arithmetic Mean - Geometric Mean Inequality

Untuk bilangan non-negatif $a_1, a_2, \ldots, a_n$: \[\frac{a_1 + a_2 + \cdots + a_n}{n} \geq \sqrt[n]{a_1 \cdot a_2 \cdots a_n}\]

dengan equality jika dan hanya jika $a_1 = a_2 = \cdots = a_n$.

Worked Example: AM-GM

Problem: Buktikan bahwa $a^2 + b^2 \geq 2ab$ untuk semua $a, b \in \mathbb{R}$.

Solution: \[a^2 + b^2 - 2ab = (a-b)^2 \geq 0\]

Jadi $a^2 + b^2 \geq 2ab$ ✓

Ini adalah kasus khusus AM-GM: $\frac{a^2 + b^2}{2} \geq \sqrt{a^2 \cdot b^2} = |ab|$.

3 Cauchy-Schwarz Inequality

Cauchy-Schwarz Inequality

Untuk vektor $\mathbf{u}, \mathbf{v} \in \mathbb{R}^n$: \[|\mathbf{u} \cdot \mathbf{v}| \leq \|\mathbf{u}\| \|\mathbf{v}\|\]

atau ekuivalen: \[\left(\sum_{i=1}^n u_i v_i\right)^2 \leq \left(\sum_{i=1}^n u_i^2\right)\left(\sum_{i=1}^n v_i^2\right)\]

Equality jika dan hanya jika $\mathbf{u}$ dan $\mathbf{v}$ proporsional (paralel).

Connection: Correlation Coefficient

Correlation coefficient antara $X$ dan $Y$: \[\rho = \frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)\text{Var}(Y)}}\]

Kenapa $|\rho| \leq 1$? Karena Cauchy-Schwarz! Covariance adalah inner product, dan Cauchy-Schwarz menjamin modulus inner product tidak melebihi produk norms.

4 Jensen’s Inequality

Jensen’s Inequality

Jika $f$ adalah fungsi convex dan $X$ adalah random variable: \[f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]\]

Jika $f$ concave: $f(\mathbb{E}[X]) \geq \mathbb{E}[f(X)]$

Connection: Jensen’s in Information Theory

Jensen’s inequality digunakan untuk membuktikan bahwa KL divergence $\geq 0$: \[D_{KL}(P \| Q) = \mathbb{E}_P\left[\ln\frac{P(x)}{Q(x)}\right] \geq 0\]

Karena $-\ln$ adalah convex, Jensen’s menjamin expectation of log $\geq$ log of expectation.

5 Key Takeaways

5.1 Poin Utama

Triangle inequality: $|x + y| \leq |x| + |y|$ — building block untuk norms
AM-GM: arithmetic mean ≥ geometric mean (equality iff all equal)
Cauchy-Schwarz: bounds inner products — kenapa correlation $\in [-1, 1]$
Jensen’s: $f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]$ untuk $f$ convex
Inequality proofs: sering dipakai dalam consistency dan efficiency proofs

Sebelumnya: ← Functions | Selanjutnya: Summation & Products →

--- title: "Inequalities & Absolute Values" subtitle: "Tools untuk Bounding dan Estimasi" description: "Pertidaksamaan, nilai mutlak, AM-GM, Cauchy-Schwarz, dan triangle inequality." categories: [foundations, inequalities] --- ::: {.callout-note title="Why This Matters for Your Work"} Pertidaksamaan adalah tools utama dalam analisis statistik dan teori ML. Hampir semua *bounds* dalam teori statistik (confidence intervals, concentration inequalities) dibangun dari pertidaksamaan dasar. Contoh: Chebyshev's inequality digunakan untuk membuktikan Law of Large Numbers. Cauchy-Schwarz muncul dalam konteks correlation dan inner products. ::: ## Nilai Mutlak (Absolute Value) $$|x| = \begin{cases} x & \text{jika } x \geq 0 \\ -x & \text{jika } x < 0 \end{cases}$$ ### Triangle Inequality $$|x + y| \leq |x| + |y|$$ ### Reverse Triangle Inequality $$|x - y| \geq ||x| - |y||$$ ## AM-GM Inequality ::: {.callout-important title="Arithmetic Mean - Geometric Mean Inequality"} Untuk bilangan non-negatif $a_1, a_2, \ldots, a_n$: $$\frac{a_1 + a_2 + \cdots + a_n}{n} \geq \sqrt[n]{a_1 \cdot a_2 \cdots a_n}$$ dengan equality jika dan hanya jika $a_1 = a_2 = \cdots = a_n$. ::: ::: {.callout-tip title="Worked Example: AM-GM" collapse="true"} **Problem:** Buktikan bahwa $a^2 + b^2 \geq 2ab$ untuk semua $a, b \in \mathbb{R}$. **Solution:** $$a^2 + b^2 - 2ab = (a-b)^2 \geq 0$$ Jadi $a^2 + b^2 \geq 2ab$ ✓ Ini adalah kasus khusus AM-GM: $\frac{a^2 + b^2}{2} \geq \sqrt{a^2 \cdot b^2} = |ab|$. ::: ## Cauchy-Schwarz Inequality ::: {.callout-important title="Cauchy-Schwarz Inequality"} Untuk vektor $\mathbf{u}, \mathbf{v} \in \mathbb{R}^n$: $$|\mathbf{u} \cdot \mathbf{v}| \leq \|\mathbf{u}\| \|\mathbf{v}\|$$ atau ekuivalen: $$\left(\sum_{i=1}^n u_i v_i\right)^2 \leq \left(\sum_{i=1}^n u_i^2\right)\left(\sum_{i=1}^n v_i^2\right)$$ Equality jika dan hanya jika $\mathbf{u}$ dan $\mathbf{v}$ proporsional (paralel). ::: ::: {.callout-caution title="Connection: Correlation Coefficient"} Correlation coefficient antara $X$ dan $Y$: $$\rho = \frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)\text{Var}(Y)}}$$ Kenapa $|\rho| \leq 1$? Karena Cauchy-Schwarz! Covariance adalah inner product, dan Cauchy-Schwarz menjamin modulus inner product tidak melebihi produk norms. ::: ## Jensen's Inequality ::: {.callout-important title="Jensen's Inequality"} Jika $f$ adalah fungsi **convex** dan $X$ adalah random variable: $$f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]$$ Jika $f$ **concave**: $f(\mathbb{E}[X]) \geq \mathbb{E}[f(X)]$ ::: ::: {.callout-caution title="Connection: Jensen's in Information Theory"} Jensen's inequality digunakan untuk membuktikan bahwa KL divergence $\geq 0$: $$D_{KL}(P \| Q) = \mathbb{E}_P\left[\ln\frac{P(x)}{Q(x)}\right] \geq 0$$ Karena $-\ln$ adalah convex, Jensen's menjamin expectation of log $\geq$ log of expectation. ::: ## Key Takeaways ::: {.key-takeaways} ### Poin Utama - Triangle inequality: $|x + y| \leq |x| + |y|$ — building block untuk norms - AM-GM: arithmetic mean ≥ geometric mean (equality iff all equal) - Cauchy-Schwarz: bounds inner products — kenapa correlation $\in [-1, 1]$ - Jensen's: $f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]$ untuk $f$ convex - Inequality proofs: sering dipakai dalam consistency dan efficiency proofs ::: **Sebelumnya:** [← Functions](03-functions.qmd) | **Selanjutnya:** [Summation & Products →](05-summation-products.qmd)