Math

Statistik

Statistik Links

Eine Einführung in die Statistik, ausdrücklich auch für Nichtmathematiker, ziemlich unkonventionell, inklusive (etwas flachem) Humor aber bzw. gerade deshalb sehr angenehm zu lesen: Buch Keine Panik vor Statistik.

Statistik Begriffe

Verzerrung, Bias: Systematischer Fehler

Daten

Skalenniveau

Skalenniveau

Qualitative Skalen

Nominalskala: Die Daten können nur auf Gleichheit verglichen werden, aber z.B. nicht sortiert. Beispiel: Haarfarbe. Ordinal- oder Rangskala: Die Daten können auch noch sortiert werden, aber man kann z.B. nicht mit ihnen rechnen. Beispiel: Windstärke

Quantitative Skalen

Intervallskala: Zusätzlich ist es es möglich, den Abstand zwischen zwei Merkmalen zu bestimmen, aber z.B. nicht multiplizieren. Beispiel: Jahreszahl Verhältnisskala: Jetzt ist auch Multiplikalten, Division möglich. Beispiel Körpergewicht. Intervallskalen und Verhältnisskalen nennt man auch Metrische Skalen

Diskrete und Stetige Merkmale

Diskrete Merkmale: Abzählbar viele Ausprägungen (z.B. Schulnoten) Stetige Merkmale: Überabzählbar viele Ausprägungen (z.B. Temperatur)

Kombinatorik

Bestimme die Anzahl der möglichen Kombinationen von (nicht) unterscheidbaren Objekten, wobei die Reihenfolge der Objekten eine (keine) Rolle spielt. Man hat eine Menge von n Objekten und möchte k Objekte auswählen.

Permutation

Permutation, wie viele mögliche Reihenfolgen gibt es, alle n Objekte anzuordnen. Für den ersten Platz kann man n Objekte auswählen, für den zweiten (n-1), ... Es gibt als so viele Möglichkeiten:

Falls es Objekte gibt, die nicht unterscheidbar sind, zählt man für jede nicht unterscheidbare Gruppe, wie viele Element davon gibt: v1, v2, v3, ... So berechnet man dann die Anzahl der möglichen Permutationen, falls es nicht unterscheidbare Elemente gibt, deren Vertauschung untereinander nicht als unterschiedliche Permutation gezählt werden soll:

Beispiel, wir haben 7 Münzen: 2 * 1 Cent 1 * 2 Cent 3 * 5 Cent 1 * 10 Cent 1 * 50 Cent Uns interessiert, wie kann man diese Münzen anordnen. n=7

Aber die 2 * 2 Cent und die 3 * 5 Cent Münzen sind ja gleich, deren Vertauschung untereinander interessiert uns nicht. v1=2, v2=3

Variation ohne Zurücklegen

Man hat n Objekte und zieht nacheinander k Objekte ohne diese nach der Ziehung zurückzulegen. Die Reihenfolge der gezogenen Objekte soll relevant sein, wie viele Möglichkeiten gibt es dann?

Variation mit Zurücklegen

Man hat n Objekte und zieht nacheinander k Objekte die sofort danach wieder zurückgelegt werden (sie können also mehrfach gezogen werden). Die Reihenfolge der gezogenen Objekte soll relevant sein. Wie viele Varianten gibt es dann?

Kombination ohne Zurücklegen

Man hat n Objekte und zieht nacheinander k Objekte ohne diese nach der Ziehung zurückzulegen. Die Reihenfolge der gezogenen Objekte soll nicht relevant sein.

Beispiel Lotto Zahlen: (49 über 6)=49!/(6!*(49-6)!)=13.983.816 Taschenrechner: n Cr k, also 49 Cr 6

Kombinationen mit Zurücklegen

Man hat n Objekte und zieht nacheinander k Objekte, die sofort danach wieder zurückgelegt werden (also mehrfach gezogen werden können). Die Reihenfolge der gezogenen Objekte soll nicht relevant sein.

Taschenrechner: n Pr k

Beschreibende Deskriptive Statistik

Man hat n Daten, z.B. Messwerte und will die übersichtlich darstellen.

Stamm-Blatt-Diagramm

Man teil für ein Stamm-Blatt-Diagramm oder auch Stengel-Blatt-Diagramm oder Stängel-Blatt-Diagramm, die Daten in verschiedene Äquivalenzklassen auf (Richtwert 10*lg(n)), z.B. bei Dezimalzahlen als Daten die Zahl vor dem Komma als Klasse und die Nachkommastelle um das Merkmal zu repräsentieren.

Absolute Häufigkeit

Man listet alle verschiedenen vorkommenden Daten auf, zusammen mit der Information, wie oft jedes Datum vorgekommen ist (absolute Häufigkeit). Das kann man dann auch graphisch auftragen.

Relative Häufigkeit

Wie bei der absoluten Häufigkeit, nur dass jede absolute Häufigkeit durch n geteilt wird, um die relative Häufigkeit zu berechnen. Vorteil: Verschiedene Teilmengen der Daten lassen sich leicht vergleichen.

Prozentuale Häufigkeit

Wie relative Häufigkeit, nur dass die relativen Häufigkeiten noch mit 100 multipliziert werden.

Klassenbildung

Wenn sehr viele verschiedene Werte in den Daten vorkommen ist die Angabe der Häufigkeiten nicht mehr sehr hilfreich. Daher bildet man Klassen indem man nahe zusammen liegende Werte zusammenfasst, z.B. alles zwischen 1 und 2 in eine Klasse, alles zwischen 2 und 3, usw. Zählt man dann wie viele Daten in den Klassen liegen erhält man die absoluten oder relativen Klassenhäufigkeiten. Vorgehen: Jeder Datenwert muss genau in eine Klasse fallen Möglichst keine offene Klassen (alles von 8 bis Unendlich) Möglichst alle Klassen gleich breit Richtwert, bis 1000 Datensätze n^0.5 Klassen, danach 10*lg(n)

Histogramm

In einem Histogramm trägt man die Klassen mit ihren relativen Häufigkeiten auf. Auf der x Achse werden die Intervallgrenzen der Klassen markiert, darüber dann ein Rechteck dass sich in der y Achse bis zur Höhe der relativen Häufigkeit der Klasse erstreckt. Die Fläche aller Rechtecke ist dann zusammen 1 groß.

Empirische Dichte

Die empirische Dichte f(x) ist 0 für alle x die außerhalb einer Klasse liegen und ansonsten die relative Häufigkeit / Breite der Klasse, in der x liegt.

Summenhäufigkeit

Wenn man die Daten bzw. ihre Klassen sortieren kann, gibt man für jede Klasse nicht nur relative bzw. absolute Häufigkeit an, sondern die Summe aus der aller kleiner Klassen plus die der eigenen.

Empirische Verteilungsfunktion

Die empirische Verteilungsfunktion F(x) ist 0 für alle x kleiner als die kleinste Klasse und 1 für alle x größer als die größte Klasse. Ansonsten ist F(x) die Summe aller relativen Häufigkeiten aller Klassen die kleiner oder gleich der Klasse von x sind.

Die Lage von Daten

Modus, Modalwert: Der Wert, der am häufigsten in den Daten vorkommt.

Quantil

Quantil teilt eine sortierte Liste von Daten in Bereiche auf. Median, x_Q0.5=x_Qmed, teilt die Liste in zwei gleich große Teile auf. Der Median kann bereits bestimmt werden, wenn die kleinsten 50% der Werte bereits vorliegen, z.B. bei einem Wettrennen. Für den Mittelwert muss man dagegen auf den letzten Wert warten. Quartil, x_Q0.25, x_Q0.5, x_Q0.75 teilt die Liste in 4 gleich große Teile Quintile, x_Q0.2, x_Q0.4, x_Q0.6, x_Q0.8 teilt die Liste in 5 gleich große Teile Dezile, x_Q0.1, x_Q0.2, ..., x_Q0.9 teilt die Liste in 10 gleich große Teile Perzentile, teilt die Liste in 1/100 auf. x_35%=x_Q.35, links davon liegen 35% der Liste. Berechnung von x_Qp für eine Liste von n Daten: Nimmt Eintrag n*p aus der Liste oder den berechneten Wert 0.5*(x(n*p)+x((n*p)+1)) falls n*p keine ganze Zahl ist.

Mittelwert

Arithmetisches Mittel

Gewichteter Mittelwert

Dabei haben alle Daten eine Gewichtung gx. Falls das Gewicht immer 1 ist, dann Arithmetisches Mittel. Geometrisches Mittel

Anwendung, Daten die relative Änderungen durch Faktoren beschreiben, z.B. Prozente Harmonisches Mittel:

Anwendung, die Daten werden als Verhältnis ausgedrückt (z.B. km/h) und in den Werten ist der Zähler konstant, der Nenner unterscheidet sich

Es gilt: Harmonisches Mittel <= Geometrisches Mittel <= Arithmetisches Mittel

Box-Whisker-Plot

In einem Boxplot werden alle Daten zwischen x_Q0.25 und x_Q0.75 in einer Box zusammengefasst. In dieser Box liegen 50% aller Daten. In der Box wird noch x_Q.0.5 markiert. Die Werte außerhalb der Box von x_Q0.1 bis x_Q0.9 werden durch einen Strich an der Box zusammengefasst (Schnurrhaare, Whiskers). Alle anderen Werte werden einzeln markiert. Stellt man jetzt verschiedene Datensätze nebeneinander jeweils in einer Box dar, sind diese leicht vergleichbar.

Die Streuung von Daten

Spannweite

Differenz zwischen kleinstem und größtem Wert.

Quartisabstand, Interquartisanstand

Siehe Quantil

Mittlere Abweichung vom Median

Summiere für jeden Datenpunkt den Abstand zum Median auf und teile alles durch die Anzahl der Datenpunkte. Leicht zu berechnen aber nicht so aussagekräftig.

Varianz

Pro Datensatz werden die quadrierten Abstände zum Mittelwert aufsummiert und durch die Anzahl der Datenpunkte - 1 geteilt

Standardabweichung

Die Wurzel aus der Varianz, Vorteil, der Wert ist in der gleichen Einheit wie die Datensätze und damit leicht zu verstehen.

Gewichtete Varianz / Standardabweichung Es gibt für jeden Wert x_i ein Gewicht g_i mit dem ausgedrückt wird, wie stark der Wert gewichtet werden soll.

Falls alle Gewichte g_i 1 sind:

Variationskoeffizient

Man teilt die Standardabweichung durch den Mittelwert (darf nicht 0 sein) und erhält ein einheitenloses Maß. Z.B. bei Längeneinheiten praktisch weil universell. Multipliziert man das Ergebnis mit 100 ist die Angabe in Prozent.

Bivariante Statistik

Man hat statt einem Merkmal (z.B. Größe von Personen) noch ein zweites Merkmal (z.B. Gewicht)

Kontingenztabelle

Eine Kontingenztabelle ist eine Matrix in der für jede Kombination x_iy_j die relative Häufigkeit=(absolute Häufigkeit / Anzahl an Messwerten) aufgetragen wird. Pro Zeile und pro Spalte wird noch die Randhäufigkeit ausgerechnet, d.h. die Summe der relativen Häufigkeiten in der Zeile bzw. in der Spalte.

Korrelation

Korrelation: Man hat n mal zwei Merkmale erfasst und möchte wissen ob die beiden Merkmale miteinander korrelieren, also im Zusammenhang stehen. Falls die Werte so aussehen als würden sie korrelieren, in Wirklichkeit sind sie aber unabhängig, hat man eine Scheinkorrelation. Man kann z.B. in einen Graph eines der Merkmale auf die x Achse und das andere auf die y Achse auftragen, jeder erfasste Datensatz Merkmal 1, Merkmal 2 ist dann ein Punkt. Liegen alle Punkte z.B. auf einer annähernden Gerade kann man eine lineare Korrelation vermuten. <h6><a href="#h6-Korrelationskoeffizient" name="h6-Korrelationskoeffizient" id="h6-Korrelationskoeffizient">Korrelationskoeffizient Der Korrelationskoeffizient gibt an wie gut zwei Merkmale linear korrelieren. Man bestimmt für beide Merkmale den Mittelwert x_Mittelwert, y_Mittelwert und die beiden Varianzen s_x, s_y.

Ist das Ergebnis nahe an +1 sind beide positiv linear korreliert (je größer x, um so größer y), ist es nahe an -1 dann ist es negativ linear korreliert (je größer x, um so kleiner y). Ist der Wert nahe 0 dann liegt kein lineare Zusammenhang vor, aber möglicherweise ein nicht linearer.

Ist eines der Merkmale nur ordinal skaliert (man kann nicht damit rechnen, nur nach Größe ordnen) kann man den Koeffizienten natürlich nicht ausrechnen. Dann gibt es mit dem Rangkorrelationskoeffizient aber einen Trick, um das zu umgehen. Man sortiert einfach jeweils beide Merkmale. Der kleinste erhält den Wert 1, der zweite 2, ..., der größte n. Sind mehrere Merkmale gleich, nimmt man alle Plätze die sie belegen würden, bildet den Mittelwert und weist allen diesen Mittelwert zu. Wären sie z.B. auf Platz 2,3 oder 4 dann erhalten alle (2+3+4)/3=3. Mit diesen Werten kann man jetzt vorgehen als wären es Merkmale einer Intervallskala. <h6><a href="#h6-Regression" name="h6-Regression" id="h6-Regression">Regression Man hat zwei linear korrelierende Merkmale und sucht eine Formel für eine Gerade

die den Zusammenhang ausdrückt, damit man mit einem Merkmal das zweite berechnen kann. Dabei ist

und

Wahrscheinlichkeitsrechnung

Klassische Wahrscheinlichkeit nach Laplace, nur anwendbar, wenn alle Ergebnisse gleich wahrscheinlich sind

Sind die Ergebnisse nicht gleich wahrscheinlich, kann man die empirische Wahrscheinlichkeit nutzen, dabei führt man einfach ein paar Experimente durch und zählt dabei die Ergebnisse. Dann teilt man wieder die Anzahl der ausgewählten Ergebnisse / Anzahl durchgeführter Experimente. Je mehr Experimente man durchführt, um so besser wird die empirische Wahrscheinlichkeit (Gesetz der großen Zahlen).

Wahrscheinlichkeitsgesetze

Siehe auch Wahrscheinlichkeitstheorie

Die der Wahrscheinlicheiten aller möglichen Ergebnisse ist 1.

Man hat eine eine Menge von möglichen Ergebnissen. Zieht man von diesen Ergebnissen das mögliche Ergebnis A ab, so nennt man das das Komplement von A.

Die Wahrscheinlichkeit der Vereinigungsmenge ist die Summe der Einzelwahrscheinlichkeiten minus die Wahrscheinlichkeit der Schnittmenge (weil deren Wahrscheinlichkeit sonst doppelt einbezogen würde).

Die bedingte Wahrscheinlichkeit ist die Wahrscheinlichkeit, dass A eintritt, wenn B bereits eingetreten ist.

Beispiel: Man hat bereits eine As Karte vom Stapel gezogen P(B), wie groß ist die Wahrscheinlichkeit, ein weiteres As zu ziehen P(A): P(A|B). Daraus folgt auch:

Ist ein Ergebnis (stochastisch) unabhängig von eine anderen ist

Bayes-Theorem zeigt einen Zusammenhang zwischen P(A|B) und P(B|A)

Wahrscheinlichkeitsverteilung

Eine Zufallsvariable ist eine Funktion die die möglichen Ergebnissen eines zufälligen Ereignisses eine Zahl zuordnet. Die einzelnen Ausprägungen einer Zufallsvariable nennt man Realisation. Man schreibt die Realisationen als x_i

Beispiele diskrete Zufallsvariablen

Münzwurf, liegt Kopf oben

2 Münzen, wieviele haben Kopf oben

Beispiele stetige Zufallsvariablen

Weitsprung, wieviele Meter gesprungen

Wahrscheinlichkeitsverteilung berechnen

Mit der Wahrscheinlichkeitesfunktion P(X) wird jeder denkbaren Ausprägung eine eine Wahrscheinlichkeit zugeordnet. Beispiel:

Die Summe aller P(X) für alle denkbaren Realisationen muss 1 ergeben (eine davon muss eintreten).

Schreibweise

Beispiel, ein Würfel, wie hoch Wahrscheinlich eine 3 zu würfeln.

Diskrete Verteilungsfunktion Man nimmt nicht nur die Wahrscheinlichkeit für die aktuelle Realisation, sondern addiert auch die der kleineren mit dazu. Beispiel 2 Münzen, wie viele haben Kopf oben:

Diskreter Erwartungswert Das ist der Mittelwert, den man erhält, wenn man den Versuch immer wieder durchführt

Beispiel 2 Münzen, wie viele zeigen Kopf:

Es kann also erwartet werden dass 1 Münze Kopf zeigt. Das kann auch einen Wert ergeben, der zwischen 2 möglichen Werten liegt, z.B. Erwartungswerte 0,5 Münzen.

Diskrete Varianz Hat man erst mal den Diskreten Erwartungswert E(X) bestimmt, z.B. E(X)=1, kann man auch die diskrete Varianz bestimmen

Für 2 Münzen, wie viele Kopf:

Diskrete Standardabweichung

Je kleiner die Standardabweichung je einfacher ist es, das Ergebnis vorherzusagen.

Stetige Zufallsvariablen sind etwas schwieriger. Hier ist die Wahrscheinlichkeit, dass ein ganz bestimmter Wert erreicht wird immer 0, weil es unendlich viele mögliche Werte gibt. Man berechnet daher die Wahrscheinlichkeit dass ein bestimmtes Intervall erreicht wird, indem man darüber integriert.

Bernoulli

Ein Ereignis tritt mit der Wahrscheinlichkeit p ein (oder mit 1-p nicht ein). Z.B. Kopf oben bei einem Münzwurf

Binominalverteilung

Beurteilende Statistik

Parameterschätzung

FIXME

Hypothesentests

FIXME

Chi Quadrat Test

• Chi Quadrat Test
• http://matheguru.com/stochastik/248-chi-quadrat-test.html
• http://www.evanmiller.org/ab-testing/chi-squared.html

Man hat Häufigkeiten die unter verschiedenen Bedingungen gemessen wurden. Der Chi-Quadrat-Test sagt aus, ob die beobachteten Häufigkeiten unter den verschiedenen Bedingungen sich signifikant von denen unterscheiden, die man erwarten würde.

T-Test

• T-Test

Zwei Mengen. Aus deren Mittelwert und Standardabweichung soll entschieden werden ob zwischen beiden ein Unterschied besteht.

Statistik Anwendungen

Benfordsches Gesetz

Das Benfordsches Gesetz sagt etwas über die Wahrscheinlichkeit des Auftretens der verschiedenen Ziffern an der n. Stelle einer Zahl in empirischen Datensätzen aus. Beispielsweise ist es viel wahrscheinlicher, dass eine Zahl mit einer 1 beginnt, als dass eine Zahl mit 9 beginnt. Anwendungsbeispiele sind z.B. der Nachweis von Manipulationen bei Wahlen oder Abrechnungen.

German tank problem

Das German tank problem behandelt das Problem, dass man eine unbekannte Anzahl (N) an produzierten Einheiten hat, die alle eine aufsteigende Seriennummer aufgedruckt haben. Man nimmt dann eine bestimmte Anzahl (k) an Stichproben und ermittelt von allen Stichproben die höchste Seriennummer (m).

Dann erhält man so eine ziemlich gute Schätzung für die höchste Seriennummer (die der Anzahl der produzierten Einheiten entspricht):

Anwendung, z.B. wieviele Panzer wurden produziert.

Element anhand von Bewertungen sortieren

How not to sort by average rating

Beispiel

Element	Positive	Negative	(Positive - Negative)	(Positive ratings) / (Total ratings)
A	600	400	200	67%
B	5500	4500	1000	55%
C	2	0	2	100%
D	100	1	99	99%

Sortieren über den Abstand würde B vor A sortieren ob prozentual mehr positive Bewertungen in A sind. Sortieren über den prozentuellen Anteil würde C von D sortieren, obwohl viel mehr positive Bewertungen in D enthalten sind.

Lösung: Sortieren über die untere Schranke (- bei +/- in der Formel nehmen) des Wilson-Intervalls für einen Bernoulli Parameter nehmen.

Beispiel für mindestens eine positive oder negative Bewertung (Quelle)

Non statistics

Merge 2 scores into one

https://en.wikipedia.org/wiki/Harmonic_mean

SHARP Calculator EL-W506

Manual

Delete a character

Use function above left / right

Show results always as decimal numbers not as fraction

Save current value

Get a stored value

Constants

Calculate into different unit (e.g. inch into meters)