Zwei Übungen mit der Schlange - Übung 2, Textklassifizierung

TF IDF mit Python3

Anhand verschiedener Quellen, von denen die wichtigsten zwei die folgenden sind (weitere, unsortierte Quellenangaben am Ende dieses Posts), habe ich mir eine eigene Textklassifizierungs-Maschine gebastelt:

https://stackabuse.com/text-classification-with-python-and-scikit-learn/
https://blog.codecentric.de/2019/03/natural-language-processing-basics/


Drei Ausgaben von drei Klassifizierungsversuchen:

Reden von Bundestagspräsidenten

Es werden Reden der folgenden Personen verwendet (speech = Anzahl der Reden):


                  speech
person                  
Norbert Lammert      178
Wolfgang Thierse     205

Typ: binary
Es werden zwei Klassen gebildet.
Die Klassifizierung beginnt!
Die Klassifizierung ist abgeschlossen!
So steht es um die Qualität der Vorhersage:

[[51  4]
 [ 2 58]]
                  precision    recall  f1-score   support

 Norbert Lammert       0.96      0.93      0.94        55
Wolfgang Thierse       0.94      0.97      0.95        60

        accuracy                           0.95       115
       macro avg       0.95      0.95      0.95       115
    weighted avg       0.95      0.95      0.95       115 

0.9478260869565217

Reden von Bundespräsidenten

Die Texte sind importiert!
2045 Texte sind importiert!
Es werden Reden der folgenden Personen verwendet (speech = Anzahl der Reden):


                        speech
person                        
Christian Wulff            204
Horst Köhler               528
Joachim Gauck              588
Johannes Rau               568
Richard von Weizsäcker      23
Roman Herzog               134

Typ: multiclass
Es werden mehr als zwei Klassen gebildet.
Die Klassifizierung beginnt!
Die Klassifizierung ist abgeschlossen!
So steht es um die Qualität der Vorhersage:

[[ 27  18  16   5   0   0]
 [ 11 123  15  13   0   1]
 [  7  11 150   5   0   0]
 [  2  11   7 141   0   1]
 [  0   0   1   1   5   0]
 [  0   3   0   4   0  36]]
                        precision    recall  f1-score   support

       Christian Wulff       0.57      0.41      0.48        66
          Horst Köhler       0.74      0.75      0.75       163
         Joachim Gauck       0.79      0.87      0.83       173
          Johannes Rau       0.83      0.87      0.85       162
Richard von Weizsäcker       1.00      0.71      0.83         7
          Roman Herzog       0.95      0.84      0.89        43

              accuracy                           0.79       614
             macro avg       0.82      0.74      0.77       614
          weighted avg       0.78      0.79      0.78       614

0.7850162866449512

Reden von Mitgliedern der Bundesregierungen

Die Texte sind importiert!
2906 Texte sind importiert!
Es werden Reden der folgenden Personen verwendet (speech = Anzahl der Reden):


                     speech
person                     
Angela Merkel          1128
Bernd Neumann           323
Christina Weiss         204
Gerhard Schröder        417
Hans Martin Bury         42
Helmut Kohl             332
Joschka Fischer          32
Julian Nida-Rümelin      48
Michael Naumann          64
Monika Grütters         246
Rolf Schwanitz           25
Thomas de Maizière       45

Typ: multiclass
Es werden mehr als zwei Klassen gebildet.
Die Klassifizierung beginnt!
Die Klassifizierung ist abgeschlossen!
So steht es um die Qualität der Vorhersage:
 

[[349   2   0   2   0   0   0   0   0   0   0   0]
 [  2  83   4   0   0   0   0   0   0   2   0   0]
 [  0   2  47   2   0   0   0   0   0   1   0   0]
 [  1   3   1 116   0   1   0   0   0   0   0   0]
 [  0   0   0   2   8   0   0   0   0   0   0   0]
 [  1   0   0   0   0  92   0   0   0   0   0   0]
 [  0   0   0   4   0   0   6   0   0   0   0   0]
 [  1   3   5   0   0   1   0   9   0   0   0   0]
 [  1   0   3   0   0   0   0   1  15   0   0   0]
 [  0   6   0   0   0   0   0   0   0  75   0   0]
 [  0   1   0   0   1   0   0   0   0   0   5   1]
 [  2   0   1   4   0   0   0   0   0   0   0   6]]
                     precision    recall  f1-score   support

      Angela Merkel       0.98      0.99      0.98       353
      Bernd Neumann       0.83      0.91      0.87        91
    Christina Weiss       0.77      0.90      0.83        52
   Gerhard Schröder       0.89      0.95      0.92       122
   Hans Martin Bury       0.89      0.80      0.84        10
        Helmut Kohl       0.98      0.99      0.98        93
    Joschka Fischer       1.00      0.60      0.75        10
Julian Nida-Rümelin       0.90      0.47      0.62        19
    Michael Naumann       1.00      0.75      0.86        20
    Monika Grütters       0.96      0.93      0.94        81
     Rolf Schwanitz       1.00      0.62      0.77         8
 Thomas de Maizière       0.86      0.46      0.60        13

           accuracy                           0.93       872
          macro avg       0.92      0.78      0.83       872
       weighted avg       0.93      0.93      0.93       872

0.930045871559633

Der vollständige Code zur ersten (siehe oben!) Ausgabe

# Eigenen Untersuchungs-Datenframe aus Bundestagspräsidentenreden erstellen

# Um alle Warnungen zu sehen (vor dem Import der verwendeten Module!):

import warnings
warnings.filterwarnings('always')  # "error", "ignore", "always", "default", "module" or "once"

# Module importieren

import os
import numpy as np
import pandas as pd
import xmltodict
from IPython.display import clear_output
import re
import nltk
from sklearn.datasets import load_files
nltk.download('stopwords')
import pickle
from nltk.corpus import stopwords
import sklearn.datasets
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import confusion_matrix, classification_report, accuracy_score


# Einlesen der Daten aus xml-File

xml_path = '/home/zarko/Dokumente/Python-Notebooks/NLP/German-Political-Speeches-Corpus/Bundestagspräsidenten.xml'
with open(xml_path, mode="rb") as file:
    xml_document = xmltodict.parse(file)
    text_nodes = xml_document['collection']['text']
    df = pd.DataFrame({'person' : [t['@person'] for t in text_nodes],
                        'speech' : [t['rohtext'] for t in text_nodes]})

# Ausfiltern der Personen, die weniger als 22 Reden gehalten haben
# Abgewandeltes Beispiel von hier:
# https://blog.codecentric.de/2019/03/natural-language-processing-basics/

df = df.groupby("person") \
        .apply(lambda g: g.sample(0 if len(g) < 22 else len(g))) \
        .reset_index(drop=True)
df = df[df['person'] != 'k.A.']


# Import des DataFrames in Data und Labels

print('Der Import der Texte beginnt!')

X = []
y = []

for i in range(len(df)):
    print('Text Nr.:',i)
    speech = df.iloc[i]['speech']
    person = df.iloc[i]['person']
    X.append(df.iloc[i]['speech'])
    y.append(df.iloc[i]['person'])

    if i/10 == int(i/10):
        clear_output(wait=True)

        
# encode the labels, converting them from strings to integers
le = LabelEncoder()
y = le.fit_transform(y)


clear_output()
print('Die Texte sind importiert!')
print(len(df),'Texte sind importiert!')
print('Es werden Reden der folgenden Personen verwendet (speech = Anzahl der Reden):\n\n')
print(df.groupby("person").count())

print('Die Vorverarbeitung der Texte beginnt (Bereinigung und Lemmatisierung)!')

import treetaggerwrapper
import pprint

tagger = treetaggerwrapper.TreeTagger(TAGLANG='de')

documents = []

def lemmagerman(document):
    tagged = tagger.tag_text(document,tagonly=True)
    lemmas = []
    for tag in tagged:
        lemma = re.sub(r'^.*\t(.*)$', r'\1', tag)
        lemmas.append(lemma)
    return lemmas

textnr = 0
textanzahl = len(X)

for sen in range(0, textanzahl):
    
    textnr += 1
    print('Text Nr.:',textnr,'\t\tvon',textanzahl,'Texten')
    
    # Remove all the special characters
    document = re.sub(r'\W', ' ', str(X[sen]))
    
    # remove all single characters
    document = re.sub(r'\s+[a-zA-Z]\s+', ' ', document)
    
    # Remove single characters from the start
    document = re.sub(r'\^[a-zA-Z]\s+', ' ', document) 
    
    # Substituting multiple spaces with single space
    document = re.sub(r'\s+', ' ', document, flags=re.I)
    
    # Removing prefixed 'b'
    document = re.sub(r'^b\s+', '', document)
    
    # Converting to Lowercase
    document = document.lower()
    
    # Lemmatization
    document = document.split()
    
    document = lemmagerman(document)
    document = ' '.join(document)
    
    documents.append(document)
    
    if textnr/10 == int(textnr/10):
        clear_output(wait=True)
    
clear_output()
print('Die Textvorverarbeitung ist abgeschlossen!')
print(len(documents),'Texte sind verarbeitet.')

# Das Model wird gebildet, trainiert und getestet


# Zwei oder mehr als zwei Targets

from sklearn.utils.multiclass import type_of_target

type_of_target = type_of_target(y)

if type_of_target is 'binary':
    print('Typ:',type_of_target)
    print('Es werden zwei Klassen gebildet.')
elif type_of_target is 'multiclass':
    print('Typ:',type_of_target)
    print('Es werden mehr als zwei Klassen gebildet.')


# Beginn der Klassifizierung

print('Die Klassifizierung beginnt!')

from sklearn.feature_extraction.text import CountVectorizer

vectorizer = CountVectorizer(max_features=1500, min_df=5, max_df=0.7, stop_words=stopwords.words('german'))
XX = vectorizer.fit_transform(documents).toarray()

from sklearn.feature_extraction.text import TfidfTransformer

tfidfconverter = TfidfTransformer()
XX = tfidfconverter.fit_transform(XX).toarray()

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(XX, y, test_size=0.3, random_state=0)

from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import LinearSVC

classifier = OneVsRestClassifier(LinearSVC(random_state=0))
classifier.fit(X_train, y_train)

y_pred = classifier.predict(X_test)

print('Die Klassifizierung ist abgeschlossen!')

# Ausgabe der Ergebnisse

print('So steht es um die Qualität der Vorhersage:\n')

print(confusion_matrix(y_test,y_pred))
print(classification_report(y_test,y_pred,target_names=le.classes_))
print(accuracy_score(y_test, y_pred)) 

(nicht ganz konsequent und superstimmig kommentiert) 

Verwendete Links

pandas.DataFrame.groupby — pandas 0.25.1 documentation

Natural Language Processing — Einsteigen und loslegen! - codecentric AG Blog

Selektieren von Daten in DataFrames · Data Science Architect

Toolkits & Services für Semantische Textanalysen – Data Science Blog

How To Filter Pandas Dataframe By Values of Column? — Python and R Tips

pandas.DataFrame.filter — pandas 0.25.1 documentation

Mismatch size of labels and classes · Issue #13055 · scikit-learn/scikit-learn · GitHub

matplotlib - How to plot confusion matrix with string axis rather than integer in python - Stack Overflow

python - How can I plot a confusion matrix? - Stack Overflow

python - Number of classes, 4, does not match size of target_names, 6. Try specifying the labels parameter - Stack Overflow

sklearn.metrics.classification_report — scikit-learn 0.21.3 documentation

SyntaxError bei LabelEncoder - Das deutsche Python-Forum

scikit learn - python sklearn cross_validation /number of labels does not match number of samples - Stack Overflow

raise warning if labels and target_names have different length in classification_report · Issue #7751 · scikit-learn/scikit-learn · GitHub

Number of classes, 42, does not match size of target_names, 43. Try specifying the labels parameter. · Issue #11 · etano/productner · GitHub

1.12. Multiclass and multilabel algorithms — scikit-learn 0.21.3 documentation

sklearn.model_selection.train_test_split — scikit-learn 0.21.3 documentation

machine learning - How to split data on balanced training set and test set on sklearn - Stack Overflow

Classifier comparison — scikit-learn 0.21.3 documentation

python - NameError: name 'fit_classifier' is not defined - Stack Overflow

python - How to stop program if there is a warning - Stack Overflow

Multilabel classification — scikit-learn 0.21.3 documentation

python - Classification Report - Precision and F-score are ill-defined - Stack Overflow

sklearn.metrics.f1_score — scikit-learn 0.21.3 documentation

sklearn.utils.multiclass.type_of_target — scikit-learn 0.21.3 documentation

python - UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no predicted samples - Stack Overflow

python - ipython notebook clear cell output in code - Stack Overflow

nlp - Chunking with Python-Treetaggerwrapper - Stack Overflow

TreeTagger Python Wrapper’s documentation! — TreeTagger Python Wrapper 2.3 documentation

pprint — Data pretty printer — Python 3.8.0 documentation

python - Reverse / invert a dictionary mapping - Stack Overflow

Lemmatization of German language text | WZB Data Science Blog

nltk.stem.wordnet — NLTK 3.4.5 documentation

Einstieg in Natural Language Processing – Teil 2: Preprocessing von Rohtext mit Python – Data Science Blog

nltk.stem package — NLTK 3.4.5 documentation

Python3-Tutorial: Dictionaries

How do I create a sklearn.datasets.base.Bunch object in scikit-learn from my own data? - Stack Overflow
 

sklearn.metrics.confusion_matrix — scikit-learn 0.21.3 documentation