Naiver Bayes

Naiver Bayes-Klassifikator

Der naive Bayes-Klassifikator ist ein einfacher und schneller Klassifikator, der auf dem Satz von Bayes basiert. Er verwendet Wahrscheinlichkeiten, um neue Datenpunkte einer Klasse zuzuordnen.

Grundidee

• Der naive Bayes-Klassifikator berechnet die Wahrscheinlichkeit, dass ein neuer Datenpunkt zu jeder Klasse gehört.
• Der Datenpunkt wird der Klasse mit der höchsten Wahrscheinlichkeit zugeordnet.
• Um die Berechnungen zu vereinfachen, geht der naive Bayes-Klassifikator davon aus, dass alle Merkmale eines Datenpunkts stochastisch unabhängig voneinander sind. Diese Annahme ist oft nicht erfüllt, daher der Name “naiv”.
• Zusätzlich wird angenommen, dass die Werte der Merkmale durch eine Verteilung, wie z. B. die Normalverteilung, beschrieben werden können.

Naiver Bayes

Um zu berechnen, wie wahrscheinlich der neue Punkt zu einer Klasser gehört, wird die Bedingte Wahrscheinlichkeit benötigt. Der Satz von Bayes besagt

$$P(A|B)=\frac{P(A)\cdot P(B|A)}{P(B)}$$

Funktionsweise (am Beispiel der Fischklassifizierung)

1. Problem: Ein Fischverarbeitungsbetrieb möchte Wolfsbarsch und Lachs automatisch anhand von Kamerabildern sortieren.
2. Merkmale: Länge und Helligkeit der Fische werden als Merkmale für die Klassifizierung ausgewählt.
   • Die gegebene Beobachtung:
   $$B=(Helligkeit=7,L\ddot{a}nge=10)$$
3. Neue Messung: Für einen neuen Fisch wird die Helligkeit mit 7 und die Länge mit 10 gemessen.

$$P(Barsch|Helligkeit=7,L\ddot{a}nge=10)$$

4. Bedingte Wahrscheinlichkeiten: Der naive Bayes-Klassifikator berechnet die bedingten Wahrscheinlichkeiten, dass der Fisch ein Lachs oder ein Barsch ist, gegeben sind die gemessene Helligkeit und Länge.

   $$P(A|B)=\frac{P(A)\cdot P(B|A)}{P(B)}$$

5. Satz von Bayes: Der Satz von Bayes wird verwendet, um die bedingten Wahrscheinlichkeiten zu berechnen.

   • Lachs
   $$P(Lachs|H.=7,L.=10)=\frac{P(Lachs)\cdot P(H.=7,L.=10|Lachs)}{P(H.=7,L.=10)}$$
   • Barsch
   $$P(Barsch|H.=7,L.=10)=\frac{P(Barsch)\cdot P(H.=7,L.=10|Barsch)}{P(H.=7,L.=10)}$$

6. Vereinfachung: Der Nenner im Satz von Bayes ist für beide Klassen gleich und kann daher ignoriert werden.

   • Lachs
   $$P(Lachs|H.=7,L.=10)=\frac{P(Lachs)\cdot P(H.=7,L.=10|Lachs)}{\cancel{P(H.=7,L.=10)}}$$
   • Barsch
   $$P(Barsch|H.=7,L.=10)=\frac{P(Barsch)\cdot P(H.=7,L.=10|Barsch)}{\cancel{P(H.=7,L.=10)}}$$

7. Wie wird das alles berechnet?

   • 1. Schätzung der Wahrscheinlichkeiten: Die Wahrscheinlichkeiten für $P(Lachs)$ und $P(Barsch)$ werden aus den Trainingsdaten geschätzt.
     • Lachs
     $$P(Lachs)\approx \frac{AnzahlLachs}{Gesamtanzahl}$$
     • Barsch
     $$P(Barsch)\approx \frac{AnzahlBarsch}{Gesamtanzahl}$$
   • 2. Naive Annahme: Die Wahrscheinlichkeit
     • $P(H.=7,L.=10|Lachs)$ und
     • $P(H.=7,L.=10|Barsch)$
       lässt sich nicht so einfach berechnen, weil sie ja gleich von zwei Zufallsvariablen abhängit. Der naive Bayes-Klassifikator geht davon aus, dass Helligkeit und Länge unabhängig voneinander sind, was die Berechnung der Wahrscheinlichkeit vereinfacht.
     • $P(H.=7,L.=10|Lachs)=P(H.=7|Lachs)\cdot P(L.=10|Lachs)$

8. Klassifizierung: Die Klasse mit der höheren Wahrscheinlichkeit wird ausgewählt.

Vorteile

• Einfach und schnell.
• Funktioniert gut mit wenigen Trainingsdaten.
• Geeignet für hochdimensionale Daten.

Nachteile

• Die vereinfachenden Grundannahmen sind oft nicht gegeben

Naiver Bayes in Python

from sklearn.naive_bayes import GaussianNB
 
model = GaussianNB()
model.fit(X_train, y_train)
 
print(model.score(X_test, y_test))

---

Quiz Naiver Bayes

Frage 1: Was ist die zentrale Annahme des naiven Bayes-Klassifikators, die ihm seinen Namen gibt?

a) Dass alle Merkmale eines Datensatzes normalverteilt sind.
b) Dass alle Merkmale eines Datensatzes voneinander stochastisch unabhängig sind.
c) Dass die Trainingsdaten vollständig und fehlerfrei sind.

Lösung

b) Dass alle Merkmale eines Datensatzes voneinander stochastisch unabhängig sind.
Erläuterung: Der naive Bayes-Klassifikator geht davon aus, dass die Merkmale eines Datensatzes, die zur Klassifizierung verwendet werden, keinen Einfluss aufeinander haben. Diese Annahme der Unabhängigkeit vereinfacht die Berechnungen erheblich.

Frage 2: Welche Wahrscheinlichkeit berechnet der naive Bayes-Klassifikator, um einen neuen Datenpunkt zu klassifizieren?

a) Die Wahrscheinlichkeit, dass der Datenpunkt zu einer bestimmten Klasse gehört, gegeben seine Merkmale.
b) Die Wahrscheinlichkeit, dass der Datenpunkt bestimmte Merkmale hat, gegeben seine Klasse.
c) Die Wahrscheinlichkeit, dass der Datenpunkt zufällig ausgewählt wird.

Lösung

a) Die Wahrscheinlichkeit, dass der Datenpunkt zu einer bestimmten Klasse gehört, gegeben seine Merkmale.
Erläuterung: Der naive Bayes-Klassifikator berechnet die bedingte Wahrscheinlichkeit (P(Klasse | Merkmale)), also die Wahrscheinlichkeit, dass der Datenpunkt zu einer bestimmten Klasse gehört, unter der Bedingung, dass er die gegebenen Merkmale aufweist.

Frage 3: Welchen mathematischen Satz nutzt der naive Bayes-Klassifikator, um die bedingte Wahrscheinlichkeit zu berechnen?

a) Den Satz des Pythagoras
b) Den Satz von Bayes
c) Den zentralen Grenzwertsatz

Lösung

b) Den Satz von Bayes
Erläuterung: Der Satz von Bayes ermöglicht es, die bedingte Wahrscheinlichkeit (P(A | B)) aus den Wahrscheinlichkeiten (P(A)), (P(B)) und (P(B | A)) zu berechnen. Im Kontext des naiven Bayes-Klassifikators steht (A) für die Klasse und (B) für den Vektor der Merkmale.

Frage 4: In den Quellen wird das Beispiel der Fischklassifizierung verwendet, um den naiven Bayes-Klassifikator zu erklären. Welche Merkmale werden in diesem Beispiel zur Unterscheidung von Wolfsbarsch und Lachs herangezogen?

a) Gewicht und Farbe
b) Länge und Breite
c) Länge und Helligkeit

Lösung

c) Länge und Helligkeit
Erläuterung: Im Fischklassifizierungsbeispiel werden die Länge und die Helligkeit der Fische als Merkmale verwendet, um sie als Wolfsbarsch oder Lachs zu klassifizieren.

Frage 5: Nennen Sie zwei Vorteile des naiven Bayes-Klassifikators.

a) Er ist robust gegenüber Ausreißern und verrauschten Daten.
b) Er ist einfach zu implementieren und schnell in der Ausführung.
c) Er kann mit sehr vielen Trainingsdaten umgehen.

Lösung

b) und c)
Erläuterung: Der naive Bayes-Klassifikator ist bekannt für seine Einfachheit und Effizienz. Er benötigt relativ wenig Rechenleistung und kann daher auch auf großen Datensätzen angewendet werden.

Frage 6: Was ist ein wesentlicher Nachteil des naiven Bayes-Klassifikators?

a) Er benötigt eine große Menge an Trainingsdaten.
b) Er ist anfällig für Überanpassung.
c) Die Annahme der Unabhängigkeit der Merkmale ist oft nicht realistisch.

Lösung

c) Die Annahme der Unabhängigkeit der Merkmale ist oft nicht realistisch.
Erläuterung: Die Annahme, dass alle Merkmale eines Datenpunkts unabhängig voneinander sind, ist in vielen realen Anwendungen nicht gegeben. Dies kann die Genauigkeit des Klassifikators beeinträchtigen.