Dublettenprüfung: Doppelte Datensätze finden und vermeiden

Dublettenprüfung: Doppelte Datensätze finden und vermeiden

Von Matthias Mut in Datenmanagement — 15. Oktober 2026

Photo of Matthias Mut

CEO & Datenstrategie - Matthias Mut

Dublettenprüfung

Datenqualität

Stammdaten

CRM

Was ist eine Dublettenprüfung?

Eine Dublette ist ein doppelter Datensatz: zwei oder mehr Einträge, die dasselbe reale Objekt beschreiben – denselben Kunden, denselben Lieferanten, dieselbe Rechnung. Die Dublettenprüfung – auch Dublettencheck oder Dublettenabgleich genannt – sucht solche Mehrfacheinträge, bewertet, ob es sich wirklich um dasselbe Objekt handelt, und führt sie zusammen oder verhindert, dass sie überhaupt entstehen.

Das Schwierige daran: Echte Dubletten sind selten exakt gleich. „Müller GmbH, Hauptstr. 5“ und „Mueller GmbH, Hauptstraße 5“ meinen dieselbe Firma, sind für eine einfache Datenbankabfrage aber zwei verschiedene Kunden. Eine gute Dublettenprüfung arbeitet deshalb mit unscharfem Abgleich (Fuzzy Matching) statt mit exakter Übereinstimmung. Sie ist ein wirksamer Hebel, um die Datenqualität zu verbessern.

Wie entstehen Dubletten?

  • Manuelle Erfassung: Ein Kollege legt einen Kunden neu an, weil er ihn unter der gewohnten Schreibweise nicht findet.
  • Importe: Messe-Leads, zugekaufte Adresslisten oder Webformulare landen ungeprüft im CRM.
  • Mehrere Systeme: CRM, ERP und Buchhaltung pflegen dieselben Kunden getrennt. Jede Übertragung ohne Abgleich erzeugt neue Dubletten.
  • Veränderungen: Firmen firmieren um, ziehen um oder werden übernommen – der alte Datensatz bleibt, ein neuer kommt dazu.
  • Migrationen: Beim Umzug in ein neues System werden Bestände zusammengeführt, ohne sie vorher abzugleichen.

Was Dubletten kosten

Dubletten wirken klein, ziehen aber Kreise:

  • Doppelte Arbeit und Post: Kunden erhalten Angebote, Mailings und Kataloge doppelt, und der Vertrieb spricht dieselbe Firma zweimal an.
  • Falsche Zahlen: Umsatz je Kunde, Kundenzahl und Kreditlimits stimmen nicht, wenn sich ein Kunde auf mehrere Datensätze verteilt.
  • Doppelte Zahlungen: Eine doppelt erfasste Eingangsrechnung führt schnell zu einer doppelten Überweisung.
  • Datenschutzrisiken: Widerspricht eine Person der Direktwerbung, dürfen ihre Daten dafür nicht mehr verwendet werden [1]. Hängt der Widerspruch nur an einer von zwei Dubletten, geht das nächste Mailing trotzdem raus. Auch eine vollständige Auskunft nach Art. 15 DSGVO [2] wird schwierig, wenn die Daten einer Person über mehrere Datensätze verstreut sind.

So funktioniert eine Dublettenprüfung

Eine Dublettenprüfung vereinheitlicht zuerst die Daten, bewertet dann die Ähnlichkeit möglicher Paare und ordnet die Treffer schließlich ein. Für den Vergleich, im Fachjargon Matching, gibt es verschiedene Verfahren, die meist kombiniert werden:

VerfahrenWas es erkenntBeispiel
Exakter Abgleichidentische Wertezweimal dieselbe E-Mail-Adresse
NormalisierungSchreibvarianten nach festen Regeln„Hauptstr.“ wird zu „Hauptstraße“, Rechtsformen werden einheitlich geschrieben
Phonetischer Abgleichgleich klingende NamenMeier, Maier, Mayer und Meyer ergeben mit der Kölner Phonetik denselben Code [3]
ÄhnlichkeitsmaßeTippfehler und Buchstabendreher„Schmidt“ und „Schmitd“ unterscheiden sich nur in zwei Zeichen
Kennnummernsehr starke Hinweisegleiche USt-ID, IBAN oder Handelsregisternummer samt Registergericht
KI-gestützter AbgleichÄhnlichkeit über viele Felder zugleichdieselbe Firma trotz neuer Firmierung und anderer Ansprechpartner

Auch gleiche Kennnummern beweisen allein noch keine Dublette: Niederlassungen derselben Firma haben in der Regel dieselbe USt-ID und Handelsregisternummer, werden aber oft bewusst getrennt geführt, und bei Factoring oder einer zentralen Konzernzahlstelle hinterlegen mehrere Partner dieselbe IBAN.

Aus den einzelnen Vergleichen entsteht eine Punktzahl. Liegt sie über einer oberen Schwelle, gilt das Paar als sichere Dublette. Liegt sie in einem Graubereich, entscheidet ein Mensch. Darunter ist es kein Treffer. Die Schwellen bestimmen das Ergebnis: Sind sie zu streng, bleiben Dubletten unentdeckt. Sind sie zu locker, werden verschiedene Kunden fälschlich zusammengelegt. Deshalb sollte jede Dublettenprüfung mit einer Stichprobe beginnen, an der die Regeln justiert werden.

Prüfen bei der Eingabe und im Bestand

Eine Dublettenprüfung hat zwei Einsatzorte:

  • Bei der Eingabe: Beim Anlegen eines Datensatzes prüft das System, ob es ihn schon gibt, und schlägt den vorhandenen vor. Das verhindert neue Dubletten an der Quelle.
  • Im Bestand: Ein Abgleich über alle Datensätze findet die Dubletten, die sich über Jahre angesammelt haben. Er ist vor Migrationen, nach Importen und als regelmäßige Kontrolle sinnvoll.

Beides gehört zusammen: Ohne Prüfung bei der Eingabe füllt sich der bereinigte Bestand wieder. Ohne Bereinigung im Bestand bleiben die Altlasten.

Lose Puzzleteile als Sinnbild für verstreute Datensätze, die zusammengeführt werden

Dublettenbereinigung: zusammenführen statt löschen

Wer Dubletten einfach löscht, verliert Informationen: Aufträge, Rechnungen, Notizen und Ansprechpartner hängen oft an beiden Datensätzen. Der bessere Weg ist das Zusammenführen:

  1. Führenden Datensatz bestimmen: Welcher Eintrag bleibt? Meist der vollständigste oder der aus dem führenden System.
  2. Werte zusammenführen: Für jedes Feld legen Sie fest, welcher Wert gewinnt – etwa die aktuellste Anschrift oder die geprüfte Bankverbindung. So entsteht der Golden Record.
  3. Verknüpfungen umhängen: Aufträge, Rechnungen, Aktivitäten und Kontakte wandern zum führenden Datensatz.
  4. Dublette stilllegen und protokollieren: Der überzählige Datensatz wird archiviert oder als Dublette markiert, die Zusammenführung wird dokumentiert. Enthält er personenbezogene Daten, gelten für das Archiv die Fristen Ihres Löschkonzepts.

Wie der Golden Record entsteht, beschreibt unser Beitrag zum Stammdatenmanagement. Bei großen Beständen übernimmt das unsere Datenkonsolidierung für Stammdaten.

Dublettenprüfung in CRM, ERP und Buchhaltung

  • CRM – Kunden und Kontakte: erfahrungsgemäß die häufigste Baustelle. Meist geht es um die Dublettenprüfung von Adressen: Firmierung, Straße, Postleitzahl und Ort werden vereinheitlicht und abgeglichen, bei Personen zusätzlich Name und E-Mail-Adresse.
  • ERP – Lieferanten und Artikel: Doppelte Lieferanten verzerren Einkaufsvolumen und Konditionen, doppelte Artikel führen zu doppelten Beständen und Bestellungen.
  • Buchhaltung – Eingangsrechnungen: gleicher Lieferant, gleiche Rechnungsnummer, gleicher Betrag. Eine Prüfung vor der Zahlungsfreigabe verhindert doppelte Überweisungen.

Viele CRM- und ERP-Systeme bringen eine Dublettenprüfung bereits mit. Prüfen Sie, ob sie aktiv ist und welche Felder sie vergleicht. Welche weiteren Softwaregruppen helfen, zeigt unser Leitfaden Datenqualität verbessern.

In fünf Schritten zur dublettenfreien Datenbank

  1. Datenart wählen: Beginnen Sie mit der Datenart, deren Dubletten am meisten stören – meist die Kundendaten.
  2. Regeln festlegen: Was gilt als Dublette? Welche Felder werden verglichen, welche Schwellen gelten?
  3. Bestand prüfen: Sichere Treffer automatisch zusammenführen, Grenzfälle von Hand entscheiden.
  4. Zusammenführen: Golden Record bilden, Verknüpfungen umhängen, Dubletten stilllegen.
  5. Eingabe absichern und messen: Die Prüfung beim Anlegen aktivieren und die Dublettenquote regelmäßig erheben – so sehen Sie, ob neue Dubletten nachwachsen.

Die Dublettenquote ist eine der Kennzahlen, mit denen ein Datenqualitätsmanagement arbeitet.

Wie viele Dubletten stecken in Ihren Daten? Unser Datenhygiene-Audit prüft Ihre Datenbanken auf Dubletten und Inkonsistenzen und liefert einen priorisierten Bereinigungsleitfaden. Am schnellsten geht es im direkten Gespräch: 30-Minuten-Kennenlernen buchen.

Häufige Fragen zur Dublettenprüfung

Was ist der Unterschied zwischen einer Dublette und einem Duplikat?

Oft werden beide Begriffe gleich verwendet. Wo man sie unterscheidet, meint ein Duplikat eine exakte Kopie, eine Dublette dagegen jeden Mehrfacheintrag desselben Objekts – auch wenn sich Schreibweise oder einzelne Angaben unterscheiden.

Was ist eine Dublettenprüfung von Adressen?

Dabei werden Anschriften auf Mehrfacheinträge geprüft. Weil dieselbe Adresse unterschiedlich geschrieben sein kann, werden Straße, Hausnummer, Postleitzahl, Ort und Firmierung zuerst vereinheitlicht und dann unscharf verglichen. Typisch ist sie im CRM und vor Mailings.

Kann man Dubletten einfach löschen?

Besser nicht. An Dubletten hängen oft Aufträge, Rechnungen und Notizen. Führen Sie die Datensätze zusammen und archivieren Sie den überzähligen – so geht nichts verloren, und die Historie bleibt nachvollziehbar. Für archivierte personenbezogene Daten gelten die Fristen Ihres Löschkonzepts.

Wie oft sollte man eine Dublettenprüfung durchführen?

Bei der Eingabe laufend, im Bestand vor Migrationen, nach größeren Importen und als regelmäßige Kontrolle über die Dublettenquote.

Fazit

Dubletten entstehen in fast jedem Unternehmen – durch Eingaben, Importe, Umfirmierungen und Systemwechsel. Entscheidend ist, sie systematisch zu finden, sauber zusammenzuführen und mit einer Prüfung bei der Eingabe gar nicht erst nachwachsen zu lassen. Wer mit den Kundendaten beginnt, klare Regeln festlegt und die Dublettenquote regelmäßig misst, kann die Lage oft schon in wenigen Wochen spürbar verbessern – und schafft eine verlässliche Basis für Vertrieb, Buchhaltung und KI.

References

  1. (Art. 21 DSGVO – Widerspruchsrecht)
  2. (Art. 15 DSGVO – Auskunftsrecht der betroffenen Person)
  3. (Kölner Phonetik – Verfahren nach Hans Joachim Postel, 1969)

Share

Newsletter

Bleiben Sie über Neuigkeiten, Einblicke und Updates informiert. Abonnieren Sie unseren Newsletter und verpassen Sie nichts mehr.

Mit der Anmeldung stimmen Sie zu, dass wir Ihre E-Mail-Adresse zum Versand des Newsletters verwenden. Sie können sich jederzeit abmelden.

Lassen Sie uns sprechen

Bleiben Sie mit uns in Kontakt

Ob konkretes Projekt oder erste Orientierung — wir freuen uns auf den Austausch.