\documentclass[11pt,french]{article}
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{lmodern}
\usepackage[a4paper]{geometry}
\usepackage{babel}
\usepackage[tbtags]{amsmath}
\usepackage{amsthm}
\usepackage{bbm} %package for the indicator
\usepackage{graphicx}
\usepackage{amssymb}
\usepackage{epstopdf}
\usepackage{dsfont}
\usepackage{fancyhdr}
\usepackage[svgnames]{xcolor}

\newtheorem{q}{Q}
\newtheorem{rem}{Remark}

\setlength{\paperwidth}{21cm} \setlength{\paperheight}{32cm}
\setlength{\evensidemargin}{-0cm} \setlength{\oddsidemargin}{-0.5cm}
\setlength{\topmargin}{-2cm} \setlength{\headsep}{0.7cm}
\setlength{\headheight}{1cm} \setlength{\textheight}{26.5cm}
\setlength{\textwidth}{17.5cm}
\setlength{\topskip}{0.cm}
\setlength{\footskip}{1cm}
\pagestyle{fancy}
\fancyhf{}
\fancyhead[L]{{\footnotesize  Teor\'ia asint\'otica}}
\fancyhead[R]{{\footnotesize Doctorado/Maestr\'ia 2019/2020}}


%Command specific to the paper
\usepackage{mathtools}
\DeclarePairedDelimiter{\ceil}{\lceil}{\rceil}
\newcommand{\esp}[1]{\mathbb{E}\left[#1\right]} % The expected value
\newcommand{\eps}{\varepsilon}
\newcommand{\var}[1]{\text{Var}\left(#1\right)} % The variance
\newcommand{\prob}[1]{\mathbb{P}\left(#1\right)} % The probability
\newcommand{\probi}[2]{\mathbb{P}_{#1}\left(#2\right)} % The probability with ind
\newcommand{\R}{\mathbb{R}} %The R set
\newcommand{\A}{\mathcal{A}}
\newcommand{\F}{\mathcal{F}}
\newcommand{\Sh}{\mathcal{S}}
\newcommand{\E}{\mathbb{E}}
\newcommand{\C}{\mathbb{C}} %The set of complexes
\newcommand{\N}{\mathbb{N}^*} %The integers
\newcommand{\ex}{\noindent \underline{Ex :} }
\newcommand{\1}[1]{\mathbbm{1}_{#1}} %The indicator
\newcommand{\X}{\mathcal{X}}
\newcommand{\funk}[5]{
\begin{displaymath}
#1:
  \begin{array}{rcl}
    #2 & \longrightarrow & #3 \\
    #4 & \longmapsto & #5 \\
  \end{array}
\end{displaymath}}

\date{}
\begin{document}
\begin{center}
\Huge{Tarea n$^{\circ}$4}
\end{center}
Nos interesamos a la teoría general de la M-estimación. En lo que sigue, supongamos dado una muestra \(X_1,\dots,X_n \in \mathcal{X}\) de datos de distribución desconocida \(P\). Notamos \(P_n\) la medida empírica asociada. Sea \(\Theta\) un espacio (un subespacio de un espacio métrico) que llamamos espacio de parámetros (posiblemente de dimensión infinita). Supongamos dada una función de perdida \(l:\Theta \times \mathcal{X} \to \R\). Denotaremos \(l_\theta(X)\) una valuación de la función \(l\) al punto \((\theta,X)\) de manera que \(l_\theta\) sea una función \(\mathcal{X}\to \R\). El \(M\)-estimador definido sobre la función de perdida \(l\) se define como
\begin{equation*}
  \hat{\theta}_n = \arg \max_{\theta\in \Theta} P_n [l_\theta].
\end{equation*}
Supongamos que \(\theta_0\) es un parámetro de \(\Theta\) único tal que
\begin{equation*}
  \theta_0 = \arg \max_{\theta\in \Theta} P [l_\theta]
\end{equation*}

\paragraph{P.1} Mostrar que la media empírica y la mediana empírica son \(M\)-estimadores.

\paragraph{P.2} Supongamos que \(\theta\mapsto P[l_\theta]\) es un mapeo continuo y que \(\F=\{l_\theta : \theta\in \Theta\}\) es P-Glivenko-Cantelli. Mostrar que \(\hat{\theta}_n\) es un estimador consistente de \(\theta_0\).

\paragraph{P.3} Mostrar que si el conjunto de parámetros \(\Theta\) es compacto (al respecto de una distancia \(d\)), que el mapeo \(\theta\mapsto P[l_\theta]\) es continuo y que el conjunto \(\F\) definido en el problema anterior tiene una envolvente \(F\in L_1(\mathcal{X})\), entonces el conjunto \(\F\) es \(P\)-Glivenko-Cantelli.

\paragraph{P.4} Supongamos que \(\Theta\subset \R^k\) es un conjunto convexo y que \(\theta\mapsto P[l_\theta]\) es un mapeo continuo y convexo.
Se supone que por un \(\eps>0\) dado \(F_\eps\) dado por
\begin{equation*}
  F_\eps=\sup_{\|\theta-\theta_0\|\le \eps}|l_\theta|
\end{equation*}
es tal que \(F_\eps\in L_1(\mathcal{X})\). Usando P.2 y P.3, mostrar que el pseudo-estimador \(\tilde{\theta}_n=\alpha\hat{\theta}_n+(1-\alpha)\theta_0\) donde \(\alpha=\frac{\eps}{\eps+\|\hat{\theta}_n-\theta_0\|}\) es consistente.
(\textbf{Hint:} Ver que se puede reducir al conjunto \(\tilde{\Theta}=\{\theta\in \Theta : \|\theta-\theta_0\|\le \eps\}\)). Concluir que \(\hat{\theta}_n\) es consistente.

\paragraph{P.5} (Ejemplo) Supongamos que las variables \(X_i\) toman la forma \(X_i=(Y_i,Z_i)\) donde \(Y_i\in \{0,1\}\) y \(Z_i\in \R\) una covariable. Supongamos que la muestra proviene de una distribución logística dada por
\begin{equation*}
  P_{\theta_0}(Y=1|Z=z)=\frac{1}{1+\exp (\alpha_0+\beta_0 z)}.
\end{equation*}
Mostrar, usando lo anterior, que el estimador MLE (máximo de verosimilitud) de \(\theta_0=(\alpha_0,\beta_0)\in \R^2\) es un estimador consistente.

\paragraph{P.6} (Normalidad asintótica) \(\Theta\subset \R\) y \(\theta_0\) pertenece al interior de \(\Theta\). Supongamos que \(\hat{\theta}_n\) es consistente. Supongamos que existe \(\eps>0\) dado tal que
\begin{enumerate}
  \item \(\forall \theta\) tal que \(|\theta-\theta_0|<\eps\), \(\forall x\in \X\), \(\theta\mapsto l_\theta(x)\) es derivable de derivada \(g_\theta(x)=\partial_\theta l_{\theta}(x)\).
  \item \(\F_{\eps}=\{g_\theta: |\theta-\theta_0|< \eps\}\) es \(P\)-Donsker y tal que la envolvente \(F_\eps \in L_2(\mathcal{X})\).
  \item Por \(\theta\to \theta_0\),
  \begin{equation*}
    P(g_\theta-g_{\theta_0})=\sigma(\theta-\theta_0)+o(|\theta-\theta_0|)
  \end{equation*}
  por un \(\sigma>0\).
  \item Se cumple que \(P(g_\theta-g_{\theta_0})^2\to 0\) cuando \(\theta\to \theta_0\) y denotamos \(J=P(g_{\theta_0}^2)\).
\end{enumerate}
Mostrar que \(\hat{\theta}_n\) cumple un teorema del limite central de varianza que se dará en función de \(\sigma\) y \(J\). (\textbf{Hint:} Mostrar que \(P_n(g_{\hat{\theta}_n})=0\) y usar una descomposición de este termino que involucra el termino \((P_n-P)(g_{\hat{\theta}_n}-g_{\theta_0})=o_P(n^{-1/2})\))
\end{document}
