Übungsblatt 2

Aufgabe 2

Es werde angenommen, dass die Lebensdauer \(Y\) von Autobatterien [in Jahren] der folgenden Verteilungsfunktion genügt: \[ F_{Y}(y|\lambda)=F_Y(y)=\left\{ \begin{array}{ccc} 0 & \text{für} & y\leq 0 \\[0.3cm] 1-\mathrm{e}^{-\lambda y^{2}} & \text{für} & y>0 \end{array} \right. ,\quad \lambda >0. \] Bei 8 PKW stellte man folgende Lebensdauern der Autobatterien fest: \[ 4, 3, 5, 7, 6, 9, 6, 8 \] Schätzen Sie den Parameter \(\lambda\) mit Hilfe der Momentenmethode.
Hinweis: \(\displaystyle\operatorname{E}(Y)=\frac{1}{2}\sqrt{\frac{\pi}{\lambda }}\).

Lösung einblenden

Momentenmethode: (vgl. SchlStat, F. 27-32)
Gleichsetzen von (ausreichend vielen) theoretischen Momenten (der Gestalt \(\operatorname{E}(Y^k)\)) mit den zugehörigen empirischen Momenten (der Gestalt \(\overline{X^k}\) bzw. \(\overline{x^k}\)), so dass ein den oder die Parameter eindeutig bestimmendes Gleichungssystem entsteht. Die Lösung dieses Systems liefert dann die Parameterschätzer nach der Momentenmethode.

In unseren Übungs- und Klausuraufgaben betrachten wir nur eindimensionale Parameterräume und es genügt dann in der Regel die Lösung der (einzelnen) Gleichung \[\operatorname{E}(Y)\stackrel{!}{=}{\overline{x}}\] nach dem (einzigen) Verteilungsparameter.

Hier erhält man \[ \frac{1}{2}\sqrt{\frac{\pi}{\lambda}}={\overline{x}}\stackrel{|\cdot 2}{\iff} \sqrt{\frac{\pi}{\lambda}}=2{\overline{x}}\stackrel{|()^2}{\iff} \frac{\pi}{\lambda}=4{\overline{x}}^2 \stackrel{|\cdot\lambda;:4{\overline{x}}^2}{\iff} \lambda = \frac{\pi}{4{\overline{x}}^2}\ , \] und mit \[ \overline{x}=\frac{1}{8}\sum_{i=1}^{8} x_{i} = \frac{1}{8}\left(4 + 3 + \cdots + 8\right) = 6 \] insgesamt \[ \widehat{\lambda}= \frac{\pi}{4\cdot 6^2} = 0.021817\ . \]

Aufgabe 3

Die Verteilung einer Zufallsvariablen \(Y\) sei in Abhängigkeit des unbekannten Parameters \(a>0\) durch die folgende Dichtefunktion gegeben: \[ f_Y(y|a)= \left\{\begin{array}{cl} \displaystyle\frac{2}{a^2}\cdot y & \text{für}\ 0\le y \le a \\[0.3cm] 0 & \text{sonst} \end{array}\right. \] Der Parameter \(a\) soll auf Grundlage einer einfachen Stichprobe \(X_1,\ldots,X_n\) vom Umfang \(n\) geschätzt werden.

  1. Zeigen Sie, dass \(\displaystyle\operatorname{E}(Y)=\frac{2}{3}\cdot a\) gilt.
    Lösung einblenden
    Es gilt \[ \operatorname{E}(Y) = \int_{0}^a \frac{2}{a^2}y\cdot y dx = \frac{2}{a^2} \int_{0}^a y^2 dx = \frac{2}{a^2} \left[\frac{1}{3}y^3\right]_0^a = \frac{2}{a^2}\cdot\frac{a^3}{3} = \frac{2}{3} a\ . \]
  2. Bestimmen Sie den Schätzer \(\widehat{a}_{MM}\) nach der Methode der Momente.
    Lösung einblenden
    Gleichsetzen von theoretischem und empirischem ersten Moment (Erwartungswert und Stichprobenmittelwert) liefert (vgl. Aufgabe 2) \[ \operatorname{E}(Y)=\frac{2}{3}a\stackrel{!}{=}\overline{x} \Rightarrow \widehat{a}_{MM} = \frac{3}{2}{\overline{x}}\ . \]
  3. Bestimmen Sie den Schätzer \(\widehat{a}_{ML}\) nach der Maximum-Likelihood-Methode.
    Lösung einblenden
    Zur näheren Erläuterung der Maximum-Likelihood-Methode mit zahlreichen Beispielen: siehe SchlStat, F. 33-50
    Bei der Maximum-Likelihood-Methode wird ein Parameter(vektor) dadurch geschätzt, dass die Verteilung aus der betrachteten Verteilungsfamilie gesucht wird, unter der die beobachtete Stichprobenrealisation am “wahrscheinlichsten” (bei stetigen Familien im übertragenen Sinne, daher Anführungszeichen) ist. Man bestimmt dazu über die sogenannte Likelihoodfunktion (zur erhaltenen Stichprobenrealisation) die “Wahrscheinlichkeit”, die beobachtete Stichprobenrealisation zu erhalten, in Abhängigkeit des/der unbekannten Parameter und maximiert diese Funktion.
    Die Suche nach der Maximumstelle (die gerade den resultierenden Schätzer liefert) ist vergleichbar mit der Lösung einer Extremwertaufgabe aus der Schulmathematik. Genau wie dort erhält man Lösungen oft als lokale Extremstellen, oft aber auch als Extremstellen am Rand. Am Ende dieser Lösungsskizze erhalten Sie wertvolle Tipps, wie Sie sehr leicht erkennen können, mit welcher Variante Sie zu rechnen haben.
    In dieser Aufgabe gilt für die Likelihoodfunktion (da \(X_1,\ldots,X_n\) eine einfache Stichprobe ist, vgl. SchlStat, F. 40) \[ L(a) = \prod_{i=1}^n f_{Y}(x_i) = \left\{\begin{array}{cl} \displaystyle\prod_{i=1}^n \frac{2}{a^2}x_i & \text{falls}\ 0\le x_i\le a\ \text{für alle}\ i\\[0.3cm] 0 & \text{sonst} \end{array}\right. \] und für die log-Likelihoodfunktion damit nur im Fall \(0\le x_i\le a\) für alle \(i\in\{1,\ldots,n\}\) \[\begin{eqnarray*} \ln L(a) & = & \sum_{i=1}^n \left(\ln(2) - 2\cdot\ln(a) + \ln(x_i)\right) \\ & = & n\ln(2) - 2n\ln(a) + \sum_{i=1}^n \ln(x_i)\ . \end{eqnarray*}\] Wichtig ist das Verständnis dafür, dass \(0\le x_i\le a\) für alle \(i\in\{1,\ldots,n\}\) in dieser Aufgabe nicht “automatisch” erfüllt sein muss. Ist beispielsweise in Wirklichkeit \(a=10\), so können in der Stichprobe Werte zwischen \(0\) und \(10\) enthalten sein, es könnte also zum Beispiel \(x_1=8.73\) in der Stichprobe auftreten. Wertet man dann die Likelihoodfunktion zum Beispiel an der Stelle \(5\) aus, erhält man offensichtlich \(L(5)=0\), da eben nicht alle \(x_i\) zwischen \(0\) und \(5\) liegen, was erforderlich wäre, um nicht im “0-sonst”-Fall zu landen.
    Die 1. Ableitung \[ \frac{\partial\ln L(a)}{\partial a} = -\frac{2n}{a} \] ist stets negativ und hat insbesondere keine Nullstelle. Damit ist die (logarithmierte) Likelihoodfunktion streng monoton fallend in \(a\), und zur Bestimmung des ML-Schätzers muss \(a\) möglichst klein gewählt werden, ohne die Bedingung \(0\le x_i\le a\) für alle \(i\in\{1,\ldots,n\}\) zu verletzen. Man erhält den ML-Schätzer damit als \[ \widehat{a}_{ML} = \max\{x_1,\ldots,x_n\}\ . \] Tipp 1: Bei der ML-Schätzung zu sämtlichen Verteilungen, die in Vorlesung, Übungs- sowie Klausuraufgaben betrachtet werden, lässt sich immer an der Gestalt der Dichtefunktion erkennen, ob wie in dieser Aufgabe die (log-)Likelihoodfunktion kein lokales Extremum hat und das Maximum daher “am Rand” angenommen wird, oder ob man eine Nullstelle der 1. Ableitung findet (die zusammen mit dem Hinweis dann die gesuchte Maximumstelle sein muss). Hierzu muss lediglich untersucht werden, ob wie in dieser Aufgabe der Bereich, in dem die Dichtefunktion positiv werden kann, vom gesuchten Parameter abhängt (dann spielt der “0 sonst”-Fall der Dichtefunktion bei der Bestimmung des ML-Schätzers eine wichtige Rolle und darf nicht vernachlässigt werden!), oder ob dies nicht der Fall ist (dann liegen nach Verteilungsannahme [mit W’keit 1] alle \(x_i\) “automatisch” in dem “Bereich positiver Dichte” und der “0-sonst”-Fall kann sofort vernachlässigt werden). Der erstgenannte Fall führt in unseren Anwendungen immer zu einem Randextremum, der zweitgenannte immer zu einem lokalen Extremum.
    Tipp 2: Weiß man bei Beachtung von Tipp 1, dass man ein Randextremum sucht, kann man nach der (vollständigen!) Darstellung der Likelihoodfunktion (inklusive “0-sonst”-Fall) auf die weitere Suche nach einer lokalen Extremstelle verzichten. Auch die log-Likelihoodfunktion muss nicht mehr aufgestellt werden, insbesondere wenn man sich in der Lage sieht, das Monotonieverhalten der Likelihoodfunktion “durch scharfes Hinsehen” ohne Berechnung der 1. Ableitung zu erkennen.

Hinweise:

  • Beachten Sie, dass Sie Teil b. mit dem angegebenen Resultat auch ohne die Bearbeitung von Teil a. lösen können.
  • Falls sich der ML-Schätzer als lokale Extremstelle einer differenzierbaren Funktion bestimmen lässt, muss nicht überprüft werden (z.B. mit Hilfe der 2. Ableitung), ob tatsächlich eine Maximalstelle vorliegt.

Aufgabe 4

Eine Zufallsvariable \(Y\) besitze für ein \(\theta\) mit \(0<\theta<1\) die folgende Dichtefunktion: \[ f_Y(y|\theta)=\left\{ \begin{array}{cl} \dfrac{1-\theta}{\theta}\cdot y^{\dfrac{1-2\theta}{\theta}} & \mbox{für}\ 0<y<1 \\[0.3cm] 0 & \mbox{sonst} \end{array}\right. \] Eine einfache Stichprobe \((X_{1},\ldots ,X_{n})\) zu \(Y\) ergab die Realisation \((x_{1},\ldots ,x_{n})\). Schätzen Sie den unbekannten Parameter \(\theta\) mit Hilfe der Maximum-Likelihoodmethode.

Hinweis: Falls sich der ML-Schätzer als lokale Extremstelle einer differenzierbaren Funktion bestimmen lässt, muss nicht überprüft werden (z.B. mit Hilfe der 2. Ableitung), ob tatsächlich eine Maximalstelle vorliegt.

Lösung einblenden
Für die Likelihoodfunktion gilt (nach Verteilungsannahme ist die Bedingung \(0<x_i<1\) für alle \(i\) erfüllt!) \[ L(\theta)=\prod_{i=1}^{n}\left(\dfrac{1-\theta}{\theta}\right) \cdot x_{i}^{\dfrac{1-2\theta }{\theta }} \] und für die log-Likelihoodfunktion damit: \[\begin{align*} \ln L(\theta) &= \sum_{i=1}^{n}\ln \left[ \left( \dfrac{1-\theta }{\theta }\right) x_{i}^{\dfrac{1-2\theta }{\theta }% }\right] \\ &= \sum_{i=1}^n \left[\ln\left(\frac{1-\theta}{\theta}\right) + \frac{1-2\theta}{\theta}\ln(x_i)\right] \\ &= n\cdot \ln \left( \dfrac{1-\theta }{\theta }\right) +\left( \dfrac{% 1-2\theta }{\theta }\right) \cdot \sum_{i=1}^{n}\ln (x_{i})\\ &= n\cdot \ln (1-\theta )-n\cdot \ln (\theta )+\dfrac{1}{\theta }% \sum_{i=1}^{n}\ln (x_{i})-2\sum_{i=1}^{n}\ln (x_{i}) \end{align*}\] Nullsetzen der ersten Ableitung ergibt \[\begin{align*} \dfrac{\partial\ \ln \ L(\theta)}{\partial\theta } &=& -\dfrac{n}{% 1-\theta }-\dfrac{n}{\theta }-\dfrac{1}{\theta ^{2}}\sum_{i=1}^{n}\ln (x_{i}) &\stackrel{!}{=} 0 & &| \cdot(1-\theta)\cdot\theta^2 \\ &\Leftrightarrow& -n\theta ^{2}-n\theta (1-\theta )-(1-\theta )\sum_{i=1}^{n}\ln (x_{i}) &\stackrel{!}{=} 0 & & \\ &\Leftrightarrow& -n \theta - \left(\sum_{i=1}^{n}\ln (x_{i})\right) + \theta \left(\sum_{i=1}^{n}\ln (x_{i})\right) &= 0 & &| +\sum_{i=1}^n \ln(x_i) \\ &\Leftrightarrow& \theta \cdot \left( \left(\sum_{i=1}^{n}\ln (x_{i})\right)-n\right) &= \sum_{i=1}^{n}\ln (x_{i}) & &| :\left(\left(\sum_{i=1}^n\ln(x_i)\right)-n\right) \end{align*}\] und damit den ML-Schätzer: \[ \widehat{\theta}=\dfrac{\sum_{i=1}^{n}\ln (x_{i})}{\left(\sum_{i=1}^{n}\ln (x_{i})\right)-n} \]

Aufgabe 5

Die Verteilung der Zufallsvariablen \(Y\), die vom unbekannten Parameter \(\phi>0\) abhängt, sei durch die Dichtefunktion \[\begin{equation*} f_Y(y|\phi)=\left\{ \begin{array}{ccc} \sqrt{\dfrac{\phi }{2\pi y^{3}}}\mathrm{e}^{-\phi \dfrac{(y-1)^{2}}{2y}} & \text{für} & y>0 \\[0.2cm] 0 & \text{für} & y\leq 0% \end{array}% \right. \end{equation*}\] gegeben.

Der Parameter \(\phi\) soll auf der Grundlage der einfachen Stichprobe \((X_{1},\ldots ,X_{n})\) vom Umfang \(n\) zu \(Y\) mit Hilfe der Maximum-Likelihood-Methode geschätzt werden.

  1. Stellen Sie die logarithmierte Likelihoodfunktion \(\ln L(\phi)\) auf.
    Lösung einblenden
    Nach Verteilungsannahme gilt für eine Realisation \((x_{1},\ldots ,x_{n})\) von \((X_{1},\ldots ,X_{n})\) stets \(x_{i}>0\) für alle \(i\), man erhält daher die Likelihoodfunktion \[ L(\phi)=\prod_{i=1}^{n}\sqrt{\frac{\phi }{2\pi x_{i}^{3}% }}\mathrm{e}^{-\phi \dfrac{(x_{i}-1)^{2}}{2x_{i}}}=\prod_{i=1}^{n}\left( \frac{\phi }{2\pi x_{i}^{3}}\right) ^{1/2}\mathrm{e}^{-\phi \dfrac{(x_{i}-1)^{2}}{2x_{i}}} \] und damit die logarithmierte Likelihoodfunktion \[\begin{eqnarray*} \ln L(\phi) &=&\sum_{i=1}^{n}\left( \frac{1}{2}\ln \frac{\phi }{2\pi x_{i}^{3}}-\phi \frac{(x_{i}-1)^{2}}{2x_{i}}\right) \\ &=&\frac{n}{2}\ln \phi -\frac{1}{2}\sum_{i=1}^{n}\ln (2\pi x_{i}^{3})-\phi \sum_{i=1}^{n}\frac{(x_{i}-1)^{2}}{2x_{i}}\ . \end{eqnarray*}\]
  2. Berechnen Sie den ML-Schätzer \(\widehat{\phi}\) für \(\phi\).
    Lösung einblenden
    Ableiten der logarithmierten Likelihoodfunktion ergibt \[ \frac{\partial \ln L(\phi)}{\partial \phi }=\frac{n}{2}% \cdot \frac{1}{\phi }-\sum_{i=1}^{n}\frac{(x_{i}-1)^{2}}{2x_{i}} \] und man erhält durch Nullsetzen und Multiplikation mit \(\displaystyle\frac{2}{n}\) auf beiden Seiten \[ \frac{1}{\phi }=\frac{2}{n}\sum_{i=1}^{n}\frac{(x_{i}-1)^{2}}{2x_{i}}=\frac{1% }{n}\sum_{i=1}^{n}\frac{(x_{i}-1)^{2}}{x_{i}} \] und daraus den ML-Schätzer \[ \widehat{\phi }=\frac{n}{\sum_{i=1}^{n}\frac{(x_{i}-1)^{2}}{x_{i}}}\ , \] da die 2. Ableitung \(\displaystyle\frac{\partial^2 \ln L(\phi)}{(\partial \phi)^2 }=-\frac{n}{2\phi^2}\) (sogar) für alle \(\phi>0\) negativ ist.

Aufgabe 6

Die Verteilung einer Zufallsvariablen \(Y\) sei in Abhängigkeit des unbekannten Parameters \(a>0\) durch die folgende Dichtefunktion gegeben: \[ f_Y(y|a) = \left\{\begin{array}{cl} \displaystyle a^{2} \cdot \left(y - 1\right) \cdot e^{-a \cdot \left(y - 1\right)} & \text{für}\ y > 1 \\[0.3cm] 0 & \text{sonst} \end{array}\right. \] Der Parameter \(a\) soll auf Grundlage einer einfachen Stichprobe \(X_1,\ldots,X_n\) vom Umfang \(n\) geschätzt werden.

  1. Bestimmen Sie den Schätzer \(\widehat{a}_{ML}\) nach der Maximum-Likelihood-Methode.
    Lösung einblenden
    Für die Likelihoodfunktion gilt (da \(X_1,\ldots,X_n\) eine einfache Stichprobe ist) \[ L(a) = \prod_{i=1}^n f_{Y}(x_i|a) = \left\{\begin{array}{cl} \displaystyle\prod_{i=1}^n a^{2} \cdot \left(x_i - 1\right) \cdot e^{-a \cdot \left(x_i - 1\right)} & \text{falls}\ x_i\ge 1\ \text{für alle}\ i\\[0.3cm] 0 & \text{sonst} \end{array}\right.\ . \] Da nach der Verteilungsannahme \(x_i>1\) für alle \(i\in\{1,\ldots,n\}\) gilt, kann der “0-sonst”-Fall vernachlässigt werden und man erhält für den relevanten Teil der log-Likelihoodfunktion damit \[\begin{eqnarray*} \ln L(a) & = & \sum_{i=1}^n \left(2 \cdot \ln a + \ln \left(x_i - 1\right) - a \cdot \left(x_i - 1\right)\right) \\ & = & 2 \cdot n \cdot \ln a + \left(\sum_{i=1}^n\ln \left(x_i - 1\right)\right) - a \cdot \left(\sum_{i=1}^n\left(x_i - 1\right)\right)\ . \end{eqnarray*}\] Nullsetzen der 1. Ableitung liefert \[ \frac{\partial\ln L(a)}{\partial a} = \frac{2 \cdot n}{a} - \sum_{i=1}^n\left(x_i - 1\right) \stackrel{!}{=} 0 \quad\Leftrightarrow\quad a = \frac{2 \cdot n}{\sum_{i=1}^n\left(x_i - 1\right)} = \frac{2}{{\overline{x}}- 1} \] und damit den ML-Schätzer \[ \widehat{a}_{ML} = \frac{2 \cdot n}{\sum_{i=1}^n\left(x_i - 1\right)} = \frac{2}{{\overline{x}}- 1}\ . \]
  2. Man kann zeigen, dass \(\displaystyle\operatorname{E}(Y)=\frac{2}{a} + 1\) gilt. Bestimmen Sie damit den Schätzer \(\widehat{a}_{MM}\) nach der Methode der Momente.
    Lösung einblenden
    Gleichsetzen von theoretischem und empirischem ersten Moment (Erwartungswert und Stichprobenmittelwert) liefert \[ \operatorname{E}(Y)=\frac{2}{a} + 1 \stackrel{!}{=}{\overline{x}}\quad\Leftrightarrow\quad\frac{2}{a} = {\overline{x}}- 1\quad\Rightarrow\quad\widehat{a}_{MM} = \frac{2}{{\overline{x}}- 1}\ . \]

Hinweise:

  • Beachten Sie, dass Sie Teil (b) auch ohne die Bearbeitung von Teil (a) lösen können.
  • Falls sich der ML-Schätzer als lokale Extremstelle einer differenzierbaren Funktion bestimmen lässt, muss nicht überprüft werden (z.B. mit Hilfe der 2. Ableitung), ob tatsächlich eine Maximalstelle vorliegt.