Konzept-Informationen
Durch Clustering werden Datensätze einer Tabelle auf Basis ähnlicher Werte in einem oder mehreren Schlüsselfeldern gruppiert. Ähnliche Werte sind Werte, die im Kontext des gesamten Datasets dicht aneinander liegen oder ähnlich sind. Diese ähnlichen Werte bilden Cluster, die nach ihrer Entdeckung Muster innerhalb der Daten zeigen.
Hinweis
Wenn Sie Clustering regelmäßig in Ihrem Analyseprogramm verwenden möchten, empfehlen wir Ihnen in der Diligent Akademie den Kurs Finden von Datengruppen mit dem CLUSTER-Befehl in Analytics (ACL 361) (hierfür ist eine Kundenanmeldung notwendig).
Unterschied von Clustering gegenüber anderen Analytics-Gruppierungsbefehlen:
Das Clustering unterscheidet sich von anderen Analytics-Gruppierungsbefehlen wie folgt:
- Für das Clustering ist keine Gruppierung auf Basis vorher bestehender Datenkategorien notwendig (wie Transaktionstyp oder Händlerkategoriecode) oder auf Basis vordefinierter Schichten mit festen numerischen Begrenzungen. Stattdessen werden Daten durch Clustering anhand ähnlicher numerischer Werte innerhalb der Daten selbst gruppiert, also Werte, die dicht aneinander liegen.
- Clustering auf Basis mehrerer Felder gibt Ergebnisse aus, die nicht verschachtelt (nicht hierarchisch) sind.
Auswahl der Felder für das Clustering
Das Clustering von Daten ermöglicht Ihnen, organische Gruppierungen in Daten zu entdecken, die Sie sonst möglicherweise nicht kennen würden. Insbesondere Cluster auf Basis mehrerer numerischer Felder (mehrdimensionale Cluster) wären ohne maschinelles Lernen nur schwer zu erkennen. In diesem Sinne ist Clustering eine Untersuchungsmethode und ein Beispiel für ein nicht überwachtes maschinelles Lernen.
Damit die Ausgabe-Cluster sinnvoll sind, muss eine aussagekräftige Beziehung zwischen den Feldern bestehen, die Sie für das Clustering auswählen.
Clustering eines einzelnen Felds
Das Clustering eines einzelnen Felds ist recht einfach. Sie konzentrieren sich auf eine einzelne Datenmenge, und durch das Clustering werden die Werte auf Basis ihrer Nähe gruppiert. Sie können beispielsweise Cluster für ein Betragsfeld erstellen, um herauszufinden, auf welchen Wertebereich sich die Beträge konzentrieren.
Der Vorteil von Clustering gegenüber einem traditionellen Ansatz wie der Schichtung besteht darin, dass Sie zuvor keine Annahmen treffen müssen, wo sich die Konzentration befindet. Sie müssen auch keine willkürlichen numerischen Grenzen erstellen. Durch das Clustering werden die Begrenzungen für eine beliebige Anzahl von Clustern automatisch ermittelt.
Beispiel anzeigen
Beispiel für Clustering eines einzelnen numerischen Felds
Sie führen Clustering für die Tabelle „VLL_Trans“ und das Feld Rechnungsbetrag durch, um herauszufinden, auf welchen Wertebereich sich die Beträge konzentrieren. Sie erwarten, dass sich die meisten Beträge am unteren Ende des Bereichs häufen. Das Clustering wird bestätigen, ob Ihr erwartetes Muster der Tatsache entspricht.
Sie entscheiden sich, das Feld Rechnungsbetrag in fünf Cluster zu gruppieren und für die Cluster eine Summenstruktur zu erstellen. Dadurch möchten Sie feststellen, wie viele Datensätze sich in jedem Cluster befinden.
Die Ausgabeergebnisse
In den folgenden angezeigten Ausgabeergebnissen sind die ersten fünf Datensätze systemerstellt, entsprechend der gewünschten, von Ihnen festgelegten Anzahl von Clustern. Im Feld Rechnungsbetrag zeigen die fünf Datensätze den Schwerpunkt oder Mittelpunkt, den der Clustering-Algorithmus für jeden der fünf Cluster mit Rechnungsbeträgen berechnet. Der Schwerpunkt von Cluster 3 ( C3 ) ist beispielsweise 2.969,04. Weitere Informationen finden Sie unter Funktionsweise des Clustering-Algorithmus.
Unter den systemerstellten Feldern befinden sich die Quelldatenfelder. Sie sind in Cluster gruppiert und beginnen mit Cluster 0. Der Wert im Feld Abstand ist der Abstand vom tatsächlichen Rechnungsbetrag zum berechneten Schwerpunkt des Clusters. In Datensatz 6 ergibt der Rechnungsbetrag 618,30 abzüglich der Distanz 64,935317 beispielsweise den Schwerpunktwert von 553,36.
Hinweis
Je nachdem, ob der tatsächliche Wert größer oder kleiner als der Schwerpunkt ist, subtrahieren Sie den Abstand oder addieren ihn.
Cluster zusammenfassen
Wenn Sie für das Feld Cluster eine Summenstruktur erstellen und die zusammengefasste Ausgabe nach Anzahl sortieren, erhalten Sie die folgenden Ergebnisse, die bestätigen, dass die Werte wie von Ihnen erwartet verteilt sind. Insgesamt tendieren die Rechnungsbeträge stark zu niedrigeren Werten. (Für einen einfacheren Vergleich wurden Schwerpunkte der Tabelle hinzugefügt.)
Der einzige große Wert in einem Cluster scheint ein Ausreißer zu sein, der wahrscheinlich untersucht werden sollte.
| Cluster | Anzahl | Schwerpunkt |
|---|---|---|
| 0 | 73 | 553,36 |
| 3 | 16 | 2.969,04 |
| 4 | 8 | 8.061,46 |
| 2 | 4 | 18.010,28 |
| 1 | 1 | 56.767,20 |
Cluster mit mehreren Feldern
Wenn Sie Cluster für zwei oder mehrere Felder erstellen, müssen Sie sich fragen, welche Beziehung die Felder aufweisen könnten. Sie könnten Clustering nutzen, um eine Hypothese zu testen. Beispielsweise könnte ein Unternehmen über seine Mitarbeiterfluktuation besorgt sein. Möglicherweise denkt die Unternehmensleitung, dass sich die Fluktuation auf jüngere Mitarbeiter mit geringerem Gehalt konzentriert.
Sie könnten Clustering nun verwenden, um herauszufinden, ob eine starke Beziehung besteht zwischen:
- Dauer der Mitarbeiterbindung und Alter des Mitarbeiters (zweidimensionales Clustering)
- Dauer der Mitarbeiterbindung, Alter des Mitarbeiters und Gehalt (dreidimensionales Clustering)
Hinweis
Für diese Analyse müssen Sie alle Felder meiden, die keine klare Beziehung zur Hypothese aufweisen, wie beispielsweise die Anzahl der Krankheitstage.
Bewertung der Ausgabe-Cluster
Der Clustering-Algorithmus gibt stets eine Tabelle mit der angegebenen Anzahl von Clustern aus. Jeder Datensatz in der Ausgabetabelle wird sich in einem Cluster befinden.
Sie müssen nun beurteilen, ob die Cluster eine analytische Bedeutung aufweisen. Dass der Algorithmus Datensätze in einem Cluster gruppiert, bedeutet nicht unbedingt, dass die Gruppierung wesentlich ist. Sie müssen sich fragen, ob die Cluster ein wesentliches Muster ergeben. Sagen sie etwas aus?
Tipp
Eine Darstellung der Cluster-Ausgabetabelle als Streudiagramm in einem Berichterstellungstool mit einer unterschiedlichen Farbe pro Cluster ist die einfachste Möglichkeit, um die Ausgabe-Cluster insgesamt rasch zu beurteilen.
Die folgenden Eigenschaften können Ihnen dabei helfen, die Aussagekraft von Ausgabe-Clustern zu bewerten:
- Clusterkohärenz Befinden sich die einzelnen Werte eines Clusters alle recht dicht am Schwerpunkt oder ist der Cluster etwas diffuser? Je kohärenter ein Cluster ist, umso stärker ist die Beziehung zwischen den Werten des Clusters.
- Clustergröße Befinden sich die Werte überwiegend in einem oder zwei großen Clustern? In diesem Fall ist das Dataset stark verzerrt, wenn man es mit einem Dataset vergleicht, in dem die Werte relativ gleichmäßig auf eine Reihe von Clustern verteilt sind.
- Ausreißer Betrachten Sie die Werte, die sich einer Aufnahme in die wesentlichen Cluster widersetzen. Bei diesen Ausreißern kann es sich um Elemente handeln, die eine besondere Sorgfalt rechtfertigen. Achten Sie auch auf „interne Ausreißer“, also Werte, die sich in einem wesentlichen Cluster befinden, aber äußere Extremwerte des Clusters darstellen.
Hinweis
Die oben dargestellten Eigenschaften sind menschliche oder subjektive Methoden der Clusterbewertung. Es gibt auch zahlreiche mathematische Methoden der Clusterauswertung, die jedoch den Rahmen der Analytics-Hilfe sprengen würden.
Funktionsweise des Clustering-Algorithmus
In Analytics wird Clustering durch den K-Means-Clustering-Algorithmus realisiert, der ein beliebter Algorithmus für maschinelles Lernen ist. Detaillierte Beschreibungen von K-Means-Clustering finden Sie im Internet.
Es folgt eine Zusammenfassung des Algorithmus.
Mehr anzeigen
Der K-Means-Clustering-Algorithmus verwendet zur Optimierung von Clustern einen iterativen Prozess:
| 1 | Anzahl der Cluster eingeben |
|
|---|---|---|
| 2 | Cluster-Schwerpunkte initialisieren |
|
| 3 | Jedem Datenpunkt den nächstgelegenen Schwerpunkt zuweisen |
|
| 4 | Schwerpunkte erneut berechnen |
|
| 5 | Iteration |
|
Anzahl der Cluster wählen (K-Wert)
Um die optimale Anzahl von Clustern für ein Clustering von Daten herauszufinden, sind unter Umständen einige Tests und Experimente notwendig. Eine genaue Antwort gibt es für kein Dataset.
Mehr anzeigen
Richtlinien, um die optimale Anzahl von Clustern festzulegen:
- Mit den Daten vertraut werden Machen Sie sich vorab mit dem Dataset vertraut, um allgemein eine Vorstellung über das Datenprofil und offensichtliche Wertkonzentrationen zu erhalten.
- Anfangs hohen Wert wählen Wählen Sie anfangs eine relativ hohe Anzahl von Clustern, zum Beispiel 8 bis 10.
- Unterschiedliche Anzahl von Clustern wählen Führen Sie das Clustering mehrmals durch, und geben Sie jedes Mal einen anderen K-Wert an. Eine Überprüfung der Ausgabeergebnisse lässt Sie einschätzen, ob Sie mehr oder weniger Cluster benötigen.
- Ellbogen-Methode Verwenden Sie die Ellbogen-Methode, um programmgesteuert die optimale Anzahl von Clustern zu ermitteln. Die optimale Zahl liegt vor, wenn Sie die beste Clusterkohärenz erreichen, jedoch den nachgebenden Nutzen zusätzlicher Cluster vermeiden, welche die Kohärenz nur geringfügig auf Kosten des Aufteilens bereits kohärenter Cluster verbessern.
Die Ergebnisse der Ellbogen-Methode können Sie in einem Liniendiagramm darstellen lassen, um „den Ellbogen“ oder Wendepunkt zu erkennen, ab dem zusätzliche Cluster die Kohärenz der Werte in den Clustern nicht mehr erheblich verbessern.
Ein Skript für die Ellbogen-Methode steht in SkriptHub zum Herunterladen und zur Nutzung in Analytics zur Verfügung: Ellbogenmethode - Summe der quadratischen Fehler (SSE) für K (hierfür ist eine Kundenanmeldung notwendig)
Kann ich Cluster für Zeichen- oder Datumzeit-Felder erstellen?
Im Allgemeinen können Sie für Zeichen- oder Datumzeit-Felder keine Cluster erstellen. Der Clustering-Algorithmus nimmt nur Zahlen entgegen und führt Berechnungen mit Zahlen durch (euklidischer Abstand, Mittelwert).
Mehr anzeigen
Kategorische Zeichendaten
Möglicherweise liegen Ihnen kategorische Zeichendaten als Zahlen vor, wie beispielsweise Ortskennungen. Sie könnten auch ein Kalkulationsfeld verwenden, um Zeichenkategorien bestimmten numerischen Codes zuzuordnen, die Sie erstellen. Diese Daten könnten Sie auf einen numerischen Datentyp konvertieren und ihn für Clustering nutzen. Die sich ergebenden Cluster wären aber ungültig, da sie mathematische Berechnungen für Zahlen ausführen würden, die nicht numerische Sachverhalte repräsentieren.
Falls beispielsweise ein Schwerpunkt auf Basis des Durchschnitts einer Liste mit Standortkennungen berechnet wird, ist dies eine bedeutungslose Zahl. Die Berechnung basiert auf der ungültigen Annahme, dass der mathematische Abstand zwischen Standortkennungen in der Realität einem tatsächlich messbaren Abstand entspricht.
In Bezug auf einen physischen Abstand macht die Aussage keinen Sinn, dass der Abstand zwischen Standort 1 und Standort 9 aufgrund der Kennung doppelt so groß wie zwischen Standort 1 und Standort 5 ist. Die Standorte 1 und 9 könnten in Wahrheit direkt nebeneinanderliegen, während Standort 5 meilenweit entfernt ist.
Für eine Clusteranalyse des Standorts und des physischen Abstands wären geografische Koordinaten die korrekten Daten.
Kategorische Daten, die eine Skala darstellen
Sie könnten Cluster für kategorische Daten erstellen, die eine Skala wiedergeben. Ein Beispiel wäre eine Ratingskala von „schwach“ bis „hervorragend“ mit entsprechenden numerischen Codes von 1 bis 5. In diesem Fall hätte der Durchschnitt dieser numerischen Codes eine Bedeutung.
Datumzeit-Daten
Sie können Analytics-Funktionen verwenden, um Datumzeit-Daten auf numerische Daten zu konvertieren. Die sich ergebenden numerischen Daten sind jedoch nicht kontinuierlich. Für die Clusteranalyse ist dies ein Problem, da sie von einer kontinuierlichen Zahlenabfolge ausgeht.
Die folgenden drei Zahlen sind als Datumswerte beispielsweise jeweils einen Tag voneinander entfernt. Bei den Zahlen selbst besteht jedoch eine beträchtliche Lücke bzw. ein großer Abstand zwischen der ersten und der zweiten Zahl.
- 20181130
- 20181201
- 20181202
Sie könnten serielle Datumswerte in der Clusteranalyse verwenden. Serielle Datumswerte sind kontinuierliche ganze Zahlen. Sie repräsentieren die Anzahl der Tage seit dem 1. Januar 1900.
Schritte
Hinweis
Wenn die Menüoptionen für maschinelles Lernen deaktiviert sind, ist die Python Engine wahrscheinlich nicht installiert. Weitere Informationen finden Sie unter Installieren Sie ACL für Windows.
Einstellungen für den Clustering-Algorithmus festlegen
- Öffnen Sie die Tabelle mit den Daten, für die Sie Cluster erstellen möchten.
- Wählen Sie aus dem Analytics-Hauptmenü Maschinelles Lernen > Cluster.
- Unter Anzahl der Cluster (K-Wert) geben Sie die Anzahl der Cluster an, die für die Gruppierung der Daten verwendet werden sollen.
- In Maximale Anzahl Iterationen geben Sie eine Obergrenze für die Anzahl der Iterationen an, die der Clustering-Algorithmus durchführen soll.
- In Anzahl Initialisierungen legen Sie fest, wie oft eine erste Menge zufälliger Schwerpunkte erstellt werden soll.
- Optional. Wählen Sie Grundwert und geben Sie eine Zahl ein.
Methode zur Datenvorverarbeitung festlegen
Wenn Sie Cluster für mehr als ein Schlüsselfeld erstellen, sollten Sie die Funktion Vorverarbeitung nutzen. Dadurch standardisieren Sie die Skalierung der Felder vor dem Clustering.
Die Skalierung und die Einheiten unterschiedlicher numerischer Felder weichen oft ab. Ein Gehaltsfeld, das Gehälter in Dollar pro Jahr angibt, könnte beispielsweise von 20.000 bis 100.000 reichen, während ein Altersfeld in Jahren die Werte 18 bis 70 aufweisen könnte. Wenn Sie nun Clustering mit den Gehalts- und Altersfeldern ohne eine Skalierung durchführen, werden die Ausgabe-Cluster im Wesentlichen Gehaltscluster sein und keine Gehalts-/Alterscluster. Dabei findet eine Verzerrung statt, weil die Gehaltszahlen größer als die Alterswerte sind.
Durch eine Vorverarbeitung werden alle Werte in allen Schlüsselfeldern des Clustering mit den unten erläuterten Methoden skaliert, damit sie im Rahmen des Clusteringprozesses gleich gewichtet werden.
| Option „Vorverarbeitung“ | Beschreibung |
|---|---|
| Standardisieren |
Schlüsselfeldwerte werden rund um einen Mittelwert von null (0) zentriert und skaliert. Durch diesen Prozess werden die Werte auf ihren entsprechenden z-Wert konvertiert (Standardpunktzahl). Der z-Wert ist eine Maßzahl für die Anzahl der Standardabweichungen, die in jedem Feld den Rohwert vom Rohmittelwert trennen. Im skalierten Feld ist der Mittelwert eine null (0). Die z-Werte sind positiv, falls ihre entsprechenden Rohwerte größer als der Rohmittelwert des Felds sind bzw. negativ, falls diese unter dem Rohmittelwert liegen. Hinweis Verwenden Sie diese Option, wenn die Schlüsselfelder überwiegend keine Nullwerte enthalten („dichte Matrizen“). Beispiel anzeigen
Beispiel für die Berechnung eines z-WertsIn einem skalierten Altersfeld entspricht der Rohwert des Alters von 55 einem z-Wert von 1,038189.
|
| Skala an Varianz der Einheit anpassen |
Schlüsselfeldwerte werden skaliert, indem sie durch ihre Standardabweichung geteilt werden. Sie werden jedoch nicht rund um einen Mittelwert von null (0) zentriert. Hinweis Verwenden Sie diese Option, falls ein oder mehrere Schlüsselfelder eine große Anzahl von Nullwerten (0) enthalten („dünnbesetzte Matrizen“). Beispiel anzeigen
Beispiel für Skalierung ohne ZentrierungIn einem skalierten Altersfeld entspricht der Rohwert des Alters von 55 einem skalierten Wert von 4,406077.
|
| Keine | Schlüsselfeldwerte werden nicht zentriert und nicht skaliert. Das Clustering verwendet zur Berechnung der Cluster die nicht zentrierten und nicht skalierten Rohwerte. |
Felder auswählen
- Wählen Sie aus der Liste Cluster für ein oder mehrere Schlüsselfelder für das Clustering der Datensätze in der Tabelle aus.
Schlüsselfelder müssen numerisch sein.
- Optional. Aus der Liste Andere Datenfelder wählen Sie ein oder mehrere zusätzliche Felder aus, die in die Ausgabetabelle aufgenommen werden sollen.
Tipp
Sie können mehrere, nicht angrenzende Felder auswählen, indem Sie die Steuerungstaste gedrückt halten und auf die betreffenden Felder klicken. Halten Sie die Umschalttaste gedrückt, und klicken Sie auf angrenzende Felder, um diese auszuwählen.
Befehlseingaben abschließen
-
Falls Einträge in der aktuellen Ansicht vorhanden sind, die Sie von der Verarbeitung ausschließen wollen, dann tragen Sie eine Bedingung in das Textfeld Wenn ein oder klicken Sie auf Wenn, um mittels Ausdruck-Generator eine IF-Anweisung zu erstellen.
Hinweis
Die Wenn-Bedingung wird nur für Datensätze ausgewertet, die nach Anwendung von Bereichsoptionen (Erste, Nächste, Solange) in einer Tabelle übrig sind.
Die IF-Anweisung berücksichtigt alle Datensätze in der Ansicht und filtert diejenigen heraus, die der angegebenen Bedingung nicht entsprechen.
- Geben Sie im Textfeld Nach den Namen der Ausgabetabelle ein.
- Optional. Auf der Registerkarte Weiter:
- Um festzulegen, dass lediglich eine Teilmenge der Datensätze verarbeitet wird, wählen Sie eine der Optionen unter Bereich aus.
- Wählen Sie die Option Ausgabetabelle verwenden, wenn die Ausgabetabelle automatisch geöffnet werden soll.
- Klicken Sie auf OK.
