Taylor Series

Aproksimasi Fungsi dan Orde Aproksimasi

calculus

taylor-series

approximation

Taylor expansion, common series (e^x, ln(1+x), sin/cos), orde aproksimasi, dan aplikasi dalam delta method dan likelihood theory.

Why This Matters for Your Work

Taylor series adalah teknik “approximation” yang paling powerful dalam matematika terapan. Ide dasarnya: fungsi kompleks apa pun bisa didekati oleh polinomial (yang jauh lebih mudah dianalisis) di sekitar titik tertentu.

Aplikasi langsung dalam statistik dan ML: - Delta method: aproksimasi distribusi $g(\hat{\theta})$ menggunakan Taylor expansion of $g$ di sekitar $\theta_0$ - Newton’s method: mengaproksimasi fungsi dengan paraboloid (Taylor orde 2) untuk menemukan minimum - Score test (Lagrange Multiplier test): menggunakan Taylor expansion dari log-likelihood - Asymptotic theory: hampir semua asymptotic approximations dalam statistik dibangun dari Taylor expansions - Softmax numerical stability: $\ln \sum e^{x_i}$ diaproksimasikan secara numerik menggunakan log-sum-exp trick yang berakar dari Taylor series

1 Ide Dasar: Approximation dengan Polinomial

Bayangkan kita mau mengaproksimasi $f(x)$ di sekitar titik $a$. Kita ingin menemukan polinomial $p(x)$ sehingga: - $p(a) = f(a)$ - $p'(a) = f'(a)$ (slope yang sama) - $p''(a) = f''(a)$ (curvature yang sama) - dst.

Hasilnya adalah Taylor series!

2 Taylor’s Theorem

Taylor’s Theorem

Jika $f$ differentiable $n+1$ kali di sekitar $a$, maka:

\[f(x) = \sum_{k=0}^{n} \frac{f^{(k)}(a)}{k!}(x - a)^k + R_n(x)\]

\[= f(a) + f'(a)(x-a) + \frac{f''(a)}{2!}(x-a)^2 + \cdots + \frac{f^{(n)}(a)}{n!}(x-a)^n + R_n(x)\]

di mana remainder (Lagrange form): \[R_n(x) = \frac{f^{(n+1)}(c)}{(n+1)!}(x-a)^{n+1}\]

untuk suatu $c$ di antara $x$ dan $a$.

Kasus khusus $a = 0$: disebut Maclaurin series.

Interpretasi orde: - Orde 0: $f(x) \approx f(a)$ — aproksimasi konstan - Orde 1: $f(x) \approx f(a) + f'(a)(x-a)$ — linearisasi (tangent line) - Orde 2: $f(x) \approx f(a) + f'(a)(x-a) + \frac{f''(a)}{2}(x-a)^2$ — paraboloid

3 Maclaurin Series Penting

Hafal series-series ini — mereka muncul terus-menerus:

3.1 Exponential Function

\[e^x = \sum_{k=0}^{\infty} \frac{x^k}{k!} = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots\]

Berlaku untuk semua $x \in \mathbb{R}$.

3.2 Natural Logarithm

\[\ln(1 + x) = \sum_{k=1}^{\infty} \frac{(-1)^{k+1}}{k} x^k = x - \frac{x^2}{2} + \frac{x^3}{3} - \cdots\]

Berlaku untuk $|x| < 1$ (dan $x = 1$).

3.3 Geometric Series (via Taylor)

\[\frac{1}{1-x} = \sum_{k=0}^{\infty} x^k = 1 + x + x^2 + x^3 + \cdots \quad \text{untuk } |x| < 1\]

3.4 Trigonometric Functions

\[\sin x = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \cdots = \sum_{k=0}^{\infty} \frac{(-1)^k x^{2k+1}}{(2k+1)!}\] \[\cos x = 1 - \frac{x^2}{2!} + \frac{x^4}{4!} - \cdots = \sum_{k=0}^{\infty} \frac{(-1)^k x^{2k}}{(2k)!}\]

3.5 Binomial Series

\[(1+x)^\alpha = 1 + \alpha x + \frac{\alpha(\alpha-1)}{2!}x^2 + \cdots \quad \text{untuk } |x| < 1\]

Worked Example: Taylor Approximation for Log-Likelihood

Problem: Gunakan Taylor expansion orde 2 dari $\ell(\theta)$ di sekitar MLE $\hat{\theta}$ untuk mendapatkan aproksimasi Gaussian dari likelihood.

Setup: Di sekitar $\hat{\theta}$ (yang memenuhi $\ell'(\hat{\theta}) = 0$):

\[\ell(\theta) \approx \ell(\hat{\theta}) + \ell'(\hat{\theta})(\theta - \hat{\theta}) + \frac{1}{2}\ell''(\hat{\theta})(\theta - \hat{\theta})^2\]

Aplikasi: Karena $\ell'(\hat{\theta}) = 0$ (FOC untuk MLE): \[\ell(\theta) \approx \ell(\hat{\theta}) + \frac{1}{2}\ell''(\hat{\theta})(\theta - \hat{\theta})^2\]

Sehingga likelihood (bukan log): \[L(\theta) = e^{\ell(\theta)} \approx e^{\ell(\hat{\theta})} \cdot \exp\left\{\frac{1}{2}\ell''(\hat{\theta})(\theta - \hat{\theta})^2\right\}\]

Ini adalah bentuk Gaussian di $\theta$ dengan mean $\hat{\theta}$ dan “variance” $-1/\ell''(\hat{\theta}) = 1/\mathcal{I}(\hat{\theta})$ (observed Fisher information)!

Ini adalah basis teoritis dari Laplace approximation dan mengapa MLE punya distribusi asymptotically normal.

4 Big-O Notation untuk Remainder

Notasi yang sering muncul dalam asymptotic theory:

$f(x) = O(g(x))$ saat $x \to a$: ada konstanta $C$ sehingga $|f(x)| \leq C|g(x)|$ di sekitar $a$
$f(x) = o(g(x))$ saat $x \to a$: $\frac{f(x)}{g(x)} \to 0$ saat $x \to a$ (f “lebih kecil” dari g)

Dalam Taylor series: \[f(x) = f(a) + f'(a)(x-a) + O((x-a)^2)\]

artinya error dari linearisasi adalah orde $(x-a)^2$ — untuk $x$ dekat $a$, ini sangat kecil.

5 Multivariate Taylor Expansion

Untuk $f: \mathbb{R}^n \to \mathbb{R}$ di sekitar $\mathbf{a}$:

\[f(\mathbf{x}) \approx f(\mathbf{a}) + \nabla f(\mathbf{a})' (\mathbf{x} - \mathbf{a}) + \frac{1}{2}(\mathbf{x} - \mathbf{a})' H_f(\mathbf{a}) (\mathbf{x} - \mathbf{a}) + \cdots\]

di mana $H_f(\mathbf{a})$ adalah Hessian di $\mathbf{a}$.

Connection: Delta Method

Delta method menggunakan linearisasi Taylor (orde 1) untuk mengaproksimasi distribusi transformasi dari estimator.

Jika $\sqrt{n}(\hat{\theta} - \theta_0) \xrightarrow{d} \mathcal{N}(0, \sigma^2)$ dan $g$ differentiable di $\theta_0$, maka:

\[\sqrt{n}(g(\hat{\theta}) - g(\theta_0)) \xrightarrow{d} \mathcal{N}(0, [g'(\theta_0)]^2 \sigma^2)\]

Proof sketch: Taylor expansion di sekitar $\theta_0$: \[g(\hat{\theta}) \approx g(\theta_0) + g'(\theta_0)(\hat{\theta} - \theta_0)\]

Jadi $\sqrt{n}(g(\hat{\theta}) - g(\theta_0)) \approx g'(\theta_0) \cdot \sqrt{n}(\hat{\theta} - \theta_0) \xrightarrow{d} \mathcal{N}(0, [g'(\theta_0)]^2 \sigma^2)$.

Multivariate delta method: Jika $\hat{\boldsymbol{\theta}}$ asymptotically normal dan $g: \mathbb{R}^p \to \mathbb{R}^q$: \[\sqrt{n}(g(\hat{\boldsymbol{\theta}}) - g(\boldsymbol{\theta}_0)) \xrightarrow{d} \mathcal{N}(\mathbf{0}, J_g(\boldsymbol{\theta}_0) \Sigma J_g(\boldsymbol{\theta}_0)')\]

di mana $J_g$ adalah Jacobian dari $g$.

6 Konvergensi Taylor Series

Tidak semua fungsi punya Taylor series yang converge ke fungsi itu sendiri di semua titik. Radius of convergence menentukan di mana series berlaku.

Untuk series umum $\sum a_n (x-a)^n$, radius of convergence $R$ ditemukan dengan ratio test: \[R = \lim_{n\to\infty} \left|\frac{a_n}{a_{n+1}}\right|\]

Series converge untuk $|x - a| < R$ dan diverge untuk $|x - a| > R$.

7 Key Takeaways

7.1 Poin Utama

Taylor series: approximasi fungsi dengan polinomial — semakin tinggi orde, semakin akurat
Maclaurin series kunci yang harus hafal: $e^x$, $\ln(1+x)$, $\frac{1}{1-x}$, $\sin x$, $\cos x$
Orde 1 (linearisasi): $f(x) \approx f(a) + f'(a)(x-a)$ — basis delta method
Orde 2: $f(x) \approx f(a) + f'(a)(x-a) + \frac{f''(a)}{2}(x-a)^2$ — basis Newton’s method dan Laplace approximation
Big-O notation: $O((x-a)^k)$ = remainder orde $k$
Multivariate Taylor: gunakan gradient (orde 1) dan Hessian (orde 2)
Delta method = Taylor orde 1 untuk asymptotic distribution of transformations

Sebelumnya: ← Optimization | Selanjutnya: Linear Algebra Module →

--- title: "Taylor Series" subtitle: "Aproksimasi Fungsi dan Orde Aproksimasi" description: "Taylor expansion, common series (e^x, ln(1+x), sin/cos), orde aproksimasi, dan aplikasi dalam delta method dan likelihood theory." categories: [calculus, taylor-series, approximation] --- ::: {.callout-note title="Why This Matters for Your Work"} Taylor series adalah teknik "approximation" yang paling powerful dalam matematika terapan. Ide dasarnya: fungsi kompleks apa pun bisa didekati oleh polinomial (yang jauh lebih mudah dianalisis) di sekitar titik tertentu. Aplikasi langsung dalam statistik dan ML: - **Delta method**: aproksimasi distribusi $g(\hat{\theta})$ menggunakan Taylor expansion of $g$ di sekitar $\theta_0$ - **Newton's method**: mengaproksimasi fungsi dengan paraboloid (Taylor orde 2) untuk menemukan minimum - **Score test (Lagrange Multiplier test)**: menggunakan Taylor expansion dari log-likelihood - **Asymptotic theory**: hampir semua asymptotic approximations dalam statistik dibangun dari Taylor expansions - **Softmax numerical stability**: $\ln \sum e^{x_i}$ diaproksimasikan secara numerik menggunakan log-sum-exp trick yang berakar dari Taylor series ::: ## Ide Dasar: Approximation dengan Polinomial Bayangkan kita mau mengaproksimasi $f(x)$ di sekitar titik $a$. Kita ingin menemukan polinomial $p(x)$ sehingga: - $p(a) = f(a)$ - $p'(a) = f'(a)$ (slope yang sama) - $p''(a) = f''(a)$ (curvature yang sama) - dst. Hasilnya adalah Taylor series! ## Taylor's Theorem ::: {.callout-important title="Taylor's Theorem"} Jika $f$ differentiable $n+1$ kali di sekitar $a$, maka: $$f(x) = \sum_{k=0}^{n} \frac{f^{(k)}(a)}{k!}(x - a)^k + R_n(x)$$ $$= f(a) + f'(a)(x-a) + \frac{f''(a)}{2!}(x-a)^2 + \cdots + \frac{f^{(n)}(a)}{n!}(x-a)^n + R_n(x)$$ di mana **remainder** (Lagrange form): $$R_n(x) = \frac{f^{(n+1)}(c)}{(n+1)!}(x-a)^{n+1}$$ untuk suatu $c$ di antara $x$ dan $a$. **Kasus khusus $a = 0$**: disebut **Maclaurin series**. ::: **Interpretasi orde:** - **Orde 0**: $f(x) \approx f(a)$ — aproksimasi konstan - **Orde 1**: $f(x) \approx f(a) + f'(a)(x-a)$ — linearisasi (tangent line) - **Orde 2**: $f(x) \approx f(a) + f'(a)(x-a) + \frac{f''(a)}{2}(x-a)^2$ — paraboloid ## Maclaurin Series Penting Hafal series-series ini — mereka muncul terus-menerus: ### Exponential Function $$e^x = \sum_{k=0}^{\infty} \frac{x^k}{k!} = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots$$ Berlaku untuk semua $x \in \mathbb{R}$. ### Natural Logarithm $$\ln(1 + x) = \sum_{k=1}^{\infty} \frac{(-1)^{k+1}}{k} x^k = x - \frac{x^2}{2} + \frac{x^3}{3} - \cdots$$ Berlaku untuk $|x| < 1$ (dan $x = 1$). ### Geometric Series (via Taylor) $$\frac{1}{1-x} = \sum_{k=0}^{\infty} x^k = 1 + x + x^2 + x^3 + \cdots \quad \text{untuk } |x| < 1$$ ### Trigonometric Functions $$\sin x = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \cdots = \sum_{k=0}^{\infty} \frac{(-1)^k x^{2k+1}}{(2k+1)!}$$ $$\cos x = 1 - \frac{x^2}{2!} + \frac{x^4}{4!} - \cdots = \sum_{k=0}^{\infty} \frac{(-1)^k x^{2k}}{(2k)!}$$ ### Binomial Series $$(1+x)^\alpha = 1 + \alpha x + \frac{\alpha(\alpha-1)}{2!}x^2 + \cdots \quad \text{untuk } |x| < 1$$ ::: {.callout-tip title="Worked Example: Taylor Approximation for Log-Likelihood" collapse="true"} **Problem:** Gunakan Taylor expansion orde 2 dari $\ell(\theta)$ di sekitar MLE $\hat{\theta}$ untuk mendapatkan aproksimasi Gaussian dari likelihood. **Setup:** Di sekitar $\hat{\theta}$ (yang memenuhi $\ell'(\hat{\theta}) = 0$): $$\ell(\theta) \approx \ell(\hat{\theta}) + \ell'(\hat{\theta})(\theta - \hat{\theta}) + \frac{1}{2}\ell''(\hat{\theta})(\theta - \hat{\theta})^2$$ **Aplikasi:** Karena $\ell'(\hat{\theta}) = 0$ (FOC untuk MLE): $$\ell(\theta) \approx \ell(\hat{\theta}) + \frac{1}{2}\ell''(\hat{\theta})(\theta - \hat{\theta})^2$$ Sehingga likelihood (bukan log): $$L(\theta) = e^{\ell(\theta)} \approx e^{\ell(\hat{\theta})} \cdot \exp\left\{\frac{1}{2}\ell''(\hat{\theta})(\theta - \hat{\theta})^2\right\}$$ Ini adalah **bentuk Gaussian** di $\theta$ dengan mean $\hat{\theta}$ dan "variance" $-1/\ell''(\hat{\theta}) = 1/\mathcal{I}(\hat{\theta})$ (observed Fisher information)! Ini adalah basis teoritis dari **Laplace approximation** dan mengapa MLE punya distribusi asymptotically normal. ::: ## Big-O Notation untuk Remainder Notasi yang sering muncul dalam asymptotic theory: - $f(x) = O(g(x))$ saat $x \to a$: ada konstanta $C$ sehingga $|f(x)| \leq C|g(x)|$ di sekitar $a$ - $f(x) = o(g(x))$ saat $x \to a$: $\frac{f(x)}{g(x)} \to 0$ saat $x \to a$ (f "lebih kecil" dari g) **Dalam Taylor series:** $$f(x) = f(a) + f'(a)(x-a) + O((x-a)^2)$$ artinya error dari linearisasi adalah orde $(x-a)^2$ — untuk $x$ dekat $a$, ini sangat kecil. ## Multivariate Taylor Expansion Untuk $f: \mathbb{R}^n \to \mathbb{R}$ di sekitar $\mathbf{a}$: $$f(\mathbf{x}) \approx f(\mathbf{a}) + \nabla f(\mathbf{a})' (\mathbf{x} - \mathbf{a}) + \frac{1}{2}(\mathbf{x} - \mathbf{a})' H_f(\mathbf{a}) (\mathbf{x} - \mathbf{a}) + \cdots$$ di mana $H_f(\mathbf{a})$ adalah Hessian di $\mathbf{a}$. ::: {.callout-caution title="Connection: Delta Method"} **Delta method** menggunakan linearisasi Taylor (orde 1) untuk mengaproksimasi distribusi transformasi dari estimator. Jika $\sqrt{n}(\hat{\theta} - \theta_0) \xrightarrow{d} \mathcal{N}(0, \sigma^2)$ dan $g$ differentiable di $\theta_0$, maka: $$\sqrt{n}(g(\hat{\theta}) - g(\theta_0)) \xrightarrow{d} \mathcal{N}(0, [g'(\theta_0)]^2 \sigma^2)$$ **Proof sketch:** Taylor expansion di sekitar $\theta_0$: $$g(\hat{\theta}) \approx g(\theta_0) + g'(\theta_0)(\hat{\theta} - \theta_0)$$ Jadi $\sqrt{n}(g(\hat{\theta}) - g(\theta_0)) \approx g'(\theta_0) \cdot \sqrt{n}(\hat{\theta} - \theta_0) \xrightarrow{d} \mathcal{N}(0, [g'(\theta_0)]^2 \sigma^2)$. **Multivariate delta method:** Jika $\hat{\boldsymbol{\theta}}$ asymptotically normal dan $g: \mathbb{R}^p \to \mathbb{R}^q$: $$\sqrt{n}(g(\hat{\boldsymbol{\theta}}) - g(\boldsymbol{\theta}_0)) \xrightarrow{d} \mathcal{N}(\mathbf{0}, J_g(\boldsymbol{\theta}_0) \Sigma J_g(\boldsymbol{\theta}_0)')$$ di mana $J_g$ adalah Jacobian dari $g$. ::: ## Konvergensi Taylor Series Tidak semua fungsi punya Taylor series yang converge ke fungsi itu sendiri di semua titik. **Radius of convergence** menentukan di mana series berlaku. Untuk series umum $\sum a_n (x-a)^n$, radius of convergence $R$ ditemukan dengan **ratio test**: $$R = \lim_{n\to\infty} \left|\frac{a_n}{a_{n+1}}\right|$$ Series converge untuk $|x - a| < R$ dan diverge untuk $|x - a| > R$. ## Key Takeaways ::: {.key-takeaways} ### Poin Utama - Taylor series: approximasi fungsi dengan polinomial — semakin tinggi orde, semakin akurat - Maclaurin series kunci yang harus hafal: $e^x$, $\ln(1+x)$, $\frac{1}{1-x}$, $\sin x$, $\cos x$ - Orde 1 (linearisasi): $f(x) \approx f(a) + f'(a)(x-a)$ — basis delta method - Orde 2: $f(x) \approx f(a) + f'(a)(x-a) + \frac{f''(a)}{2}(x-a)^2$ — basis Newton's method dan Laplace approximation - Big-O notation: $O((x-a)^k)$ = remainder orde $k$ - Multivariate Taylor: gunakan gradient (orde 1) dan Hessian (orde 2) - Delta method = Taylor orde 1 untuk asymptotic distribution of transformations ::: **Sebelumnya:** [← Optimization](05-optimization.qmd) | **Selanjutnya:** [Linear Algebra Module →](../03-linear-algebra/index.qmd)