1  Modelos Estatísticos na abordagem clássica

Em teoria de probabilidades, conhecemos a medida de probabilidade, logo, fazemos descrições probabilísticas. \[(\Omega, \mathscr{A}, P)\stackrel{\text{X}}{\rightarrow}(\mathbb{R}, \mathscr{B}, P_{X})\] Na prática, contudo, não conhecemos a medida \(P\).

Definimos então uma família de medidas de probabilidades que possivelmente descrevem o comportamento aleatório dos dados.

O Modelo Estatístico é definido pela trinca \[(\Omega, \mathscr{A}, \mathcal{P})\] em que \(\Omega\) é o espaço amostral (evento certo), \(\mathscr{A}\) é a Sigma álgebra, uma família de subconjuntos ou eventos em \(\Omega\), e \(\mathcal{P}\) é uma família de medidas de probabilidade que possivelmente descrevem o comportamento aleatório dos dados ou eventos sob investigação.

1.1 Modelo Estatístico Paramétrico

Se \(\mathcal{P} = \{P_{\theta} : \theta \in \Theta\}\), em que \(\Theta \subseteq \mathbb{R}^{p}\) e \(p \in \mathbb{N}\), então dizemos que \((\Omega, \mathscr{A}, \mathcal{P})\) é um modelo estatístico Paramétrico.

Caso não exista \(\Theta \subseteq \mathbb{R}^{p}\) fixo, então dizemos que o modelo é não-paramétrico.

Observação

\(\Theta\) é o espaço paramétrico e \(\theta\) é o vetor de parâmetros. \(\theta\) Não é variável aleatória, apenas indexa as medidas de probabilidade.

1.1.1 Exemplos

1.1.1.1 Exemplo de Bernoulli

Considere um Ensaio de Bernoulli \[\Omega = \{S,F \}, \mathscr{A} = 2^\Omega\] Temos algum conhecimento prévio que sugere que as probabilidades de sucesso podem ser \(0.1, 0.5, 0.9\)

Nesse caso, \[\mathcal{P} = \{P_{1}, P_{2}, P_{3} \}\] em que \[\begin{cases} P_{1}(\{S\}) = 0.1;~ P_{1}(\{F\}) = 0.9;~ P_{1}(\Omega) = 1 \\ P_{2}(\{S\}) = 0.5;~ P_{2}(\{F\}) = 0.5;~ P_{2}(\Omega) = 1 \\ P_{3}(\{S\}) = 0.9;~ P_{3}(\{F\}) = 0.1;~ P_{3}(\Omega) = 1 \end{cases}\] Observe que \[\mathcal{P}=\{P_{\theta}: \theta \in \Theta \}\] em que \(\Theta=\{1,2,3 \}\subseteq \mathbb{R}\) Portanto, \((\Omega, \mathscr{A}, \mathcal{P})\) é um modelo paramétrico.

Usando de variáveis aleatórias,

Seja \(X : \Omega \rightarrow \mathbb{R}\) tal que \[X(\omega)=\begin{cases} 1, \omega = \text{S} \\ 0, c.c. \end{cases}\] \[E_\theta(X)=\sum\limits^{1}_{x=0}xP_\theta(X=x)\] \[\begin{cases} \theta = 1 \Rightarrow E_{1}(X)=0.1 \\ \theta = 2 \Rightarrow E_{2}(X)=0.5 \\ \theta = 3 \Rightarrow E_{3}(X)=0.9 \end{cases}\]

1.1.1.2 Exemplo de Exponencial

Seja \(\Omega=(0,\infty)\) e \(\mathscr{A}\) uma sigma-álgebra de \(\Omega\) (Sigma-Álgebra de Borel) \(\Omega\) representa o tempo até a ocorrência de um evento (uma reclamação, por exemplo) Temos conhecimento prévio de que as funções densidade de probabilidade que possivelmente descrevem esse evento são:

\[ \begin{aligned} f_{1}(\omega) &= \begin{cases} \mathrm{e}^{-1\omega}, \omega>0 \\ 0, c.c. \end{cases}\\ f_{2} (\omega) &= \begin{cases} 2\mathrm{e}^{-2\omega}, \omega>0 \\ 0, c.c. \end{cases}\\ f_{3} (\omega) &= \begin{cases} \frac{1}{2}\mathrm{e}^{-\frac{1}{2}\omega}, \omega>0 \\ 0, c.c. \end{cases}\\ f_{4} (\omega) &= \begin{cases} \frac{1}{10}\mathrm{e}^{- \frac{1}{10}\omega}, \omega>0 \\ 0, c.c. \end{cases} \end{aligned} \]

e \(P\)s, \[ \begin{aligned} P_{1}(A)&= \int_{A} f_{1}(\omega)d \omega \\ P_{2}(A)&= \int_{A} f_{2}(\omega)d \omega \\ P_{3}(A)&= \int_{A} f_{3}(\omega)d \omega \\ P_{4}(A)&= \int_{A} f_{4}(\omega)d \omega \\ \end{aligned}\] Dessa forma, \[P_{\theta}(A)= \int_{A}f_\theta(\omega)d \omega\] e \(\Theta= \{1,2,3,4 \}\) Seja \(X: \Omega \rightarrow \mathbb{R}\) tal que \[X(\omega)= \omega\] Note que \[E_\theta(X)=\int_{-\infty}^{\infty}xf_\theta(x)dx, \theta \in \{1,2,3,4 \}\] \[E_\theta(X)=\begin{cases} 1,~ \theta=1 \\ \frac{1}{2},~ \theta=2 \\ 2,~ \theta=3 \\ 10,~ \theta=4 \end{cases} \]

1.2 Principais Modelos Estatísticos

1.2.1 Modelo Estatístico de Bernoulli

Dizemos que \(X\) é uma variável aleatória com modelo de Bernoulli se, e somente se, \[ P_\theta(X=x)=\begin{cases} \theta^{x} \cdot(1-\theta)^{1-x}, x \in \{0,1 \} \\ 0, x \not \in \{0,1 \} \end{cases}\] O parâmetro é a probabilidade de sucesso \[\begin{cases} E_\theta(X)=\theta\\ \mathrm{Var}_{\theta}(X) = \theta(1-\theta) \\ P_\theta(X=1)=\theta, P_\theta(X=0)=1-\theta \end{cases} \]

Notação: \(\mathrm{Ber}(\theta)\) em que \(\theta \in \Theta=(0,1)\subseteq \mathbb{R}\)

1.2.2 Modelo Estatístico Binomial

Dizemos que \(X\) é uma variável aleatória com modelo binomial se, e somente se, \[ P_\theta(X=x)=\begin{cases} {n \choose x} \cdot \theta^{x}\cdot(1-\theta)^{n-x}, x \in \{0,1,\dots,n \} \\ 0, x \not \in \{0,1,\dots,n \} \end{cases}\] \[\begin{cases} E_\theta(X)=n\theta\\ \mathrm{Var}_{\theta}(X) = n\theta(1-\theta) \\ P_\theta(X=0)=(1-\theta)^{n},\dots, P_\theta(X=n)=\theta^n \end{cases}\]

Notação: \(\mathrm{Bin}(n,\theta)\) em que \(n\) é conhecido e fixado previamente, \(\theta\) é a probabilidade de sucesso (parâmetro do modelo) e \(\Theta =(0,1)\) é o espaço paramétrico

1.2.3 Modelo Estatístico Geométrico

Dizemos que \(X\), representando o número de fracassos até o primeiro sucesso, é uma variável aleatória com modelo estatístico geométrico se, e somente se, \[P_\theta(X=x)=\begin{cases} \theta (1-\theta)^{x-1}, x \in \{1,\dots\} \\ 0, x \not \in \{1,\dots\} \end{cases} \] \[ \begin{cases} E_\theta(X)=\frac{1}{\theta}\\ \mathrm{Var}_\theta(X) = \frac{1-\theta}{\theta^{2}} \end{cases} \] Notação: \(\mathrm{Geom}(\theta)\) em que \(\theta\) é o parâmetro do modelo (probabilidade de sucesso) e \(\Theta=(0,1)\) é o espaço paramétrico

1.2.4 Modelo de Poisson

Dizemos que \(X\) é uma variável aleatória com modelo estatístico Poisson, se, e somente se, \[ P_\theta(X=x)=\begin{cases} \mathrm{e}^{-\theta}\cdot \frac{\theta^{x}}{x!}, x \in \{0,1,\dots\} \\ 0, x \not \in \{0,1,\dots\} \end{cases} \] \[ \begin{cases} E_\theta(X)=\theta\\ \mathrm{Var}_\theta(X) = \theta \end{cases} \]

Notação: \(\mathrm{Poisson}(\theta)\) em que \(\theta\) é a taxa média de ocorrência do evento (parâmetro do modelo) e \(\Theta = (0, \infty)\), o espaço paramétrico.

1.2.5 Modelo Multinomial

Dizemos que \(\pmb{X} = (X_1,\dots,X_k)\) é um Vetor Aleatório com modelo estatístico Multinomial se, e somente se a função de probabilidade é \[ P_{\theta}(X_{1}=x_{1},\dots,X_{k} = x_{k})= \begin{cases} \frac{n!}{x_{1}!x_{2}!\dots x_{k}!} \cdot \theta^{x_{1}}_{1} \cdot \cdots \cdot\theta^{x_n}_{k} ~~~~ x_{1}+\dots+x_{k}=n\\ 0, c.c \end{cases} \]

\[ \begin{cases} E_\theta(X_{i})=n\theta_{i}\\ \mathrm{Var}_\theta(X_{i}) = n\theta_{i} (1-\theta_{i}) \\ \mathrm{Cov}(X_{i}X_{j})=-n\theta_{i}\theta_{j} \end{cases} \]

Notação: \(\mathrm{Multinomial}(n, \theta_1,\theta_2,\dots,\theta_k)\) em que \(\theta_{1}+\dots+\theta_{k}=1\) e \(0\leq \theta_{i} \leq 1\), \(\forall i = 1,2,\dots,k\), \(\Theta=\{(\theta_{1},,\dots,\theta_{k}) \in \mathbb{R}^{k} : 0\leq \theta_{i} \leq 1, i=1,\dots,k, \theta_{1}+\dots+\theta_{k} = 1 \}\)

Esse modelo tem aplicação em modelos de linguagem como o ChatGPT. (\(k\) como tamanho do vocabulário, \(n=1\), \(\theta_{1}=\) probabilidade de escolher o primeiro elemento do vocabulário e assim por diante.)

1.2.6 Modelo Uniforme contínuo

Dizemos que \(X\) é uma variável aleatória contínua com modelo estatístico Uniforme em \((\theta_{1}, \theta_{2}), \theta_{1}\leq x \leq\theta_{2}\), se, e somente se, a sua Função Densidade de Probabilidade é \[ f_\theta(x)=\begin{cases} \frac{1}{\theta_{2}-\theta_{1}}, x \in(\theta_{1}, \theta_{2}) \\ 0, c.c. \end{cases} \]

\[ \begin{cases} E_\theta(X)=\frac{\theta_2+\theta_1}{2}\\ \mathrm{Var}_\theta(X) = \frac{(\theta_2-\theta_1)^{2}}{12}\end{cases} \]

Notação: \(X \sim U(\theta_{1}, \theta_{2})\), em que \(\theta=(\theta_{1}, \theta_{2})\) é o vetor de parâmetros e \(\Theta = \{\theta \in \mathbb{R}^{2} : \theta_{2} > \theta_{1} \}\) é o espaço paramétrico.

1.2.7 Modelo Exponencial

Dizemos que \(X\) é uma variável aleatória contínua com modelo estatístico Exponencial se, e somente se, a sua Função Densidade de Probabilidade é dada por \[ f_\theta(x)=\begin{cases} \theta \mathrm{e}^{-\theta x}, x>0\\ 0, c.c. \end{cases} \]

\[ \begin{cases} E_\theta(X)=\frac{1}{\theta}\\ \mathrm{Var}_\theta(X) = \frac{1}{\theta^{2}} \end{cases} \]

Notação: \(X\sim \mathrm{Exp}(\theta), \theta> 0\) em que \(\theta>0, \Theta=\{\theta \in \mathbb{R}: \theta>0 \}\)

1.2.8 Modelo Normal

Dizemos que \(X\) é uma variável aleatória contínua com modelo estatístico Normal com média \(\mu\) e variância \(\sigma^{2}\) se, e somente se, a sua Função Densidade de Probabilidade é dada por \[ f_\theta(x)= \frac{1}{\sqrt{2\pi \sigma^{2}}}\cdot \mathrm{e}^{-\frac{1}{2\sigma^{2}}(x-\mu)^{2}}, x \in \mathbb{R} \] em que \(\theta= (\mu, \sigma^{2}) \in \Theta= \mathbb{R}\times \mathbb{R}^{+}\)

\[ \begin{cases} E_\theta(X)=\mu\\ \mathrm{Var}_\theta(X) = \sigma^{2} \end{cases} \]

Notação: \(X \sim N (\mu, \sigma^{2})\), em que \(\theta=(\mu, \sigma^{2})\) é o vetor de parâmetros.