Duplicate Content: So finden und vermeiden Sie doppelte Inhalte

Einer der wichtigsten Grundsätze bei der Suchmaschinenoptimierung lautet: Einzigartige Inhalte, sogenannter Unique Content, sorgen für ein gutes Ranking bei Suchmaschinen sowie eine positive Nutzererfahrung und sind Grundlage für eine erfolgreiche Content-Strategie.

Das Gegenteil von einzigartigen Inhalten ist sogenannter Duplicate Content. Dieser Begriff bezeichnet Textbausteine oder ganze Webseiten, die unter mehreren URLs zu finden sind. Diese Content-Art zu vermeiden ist von ebenso großer Bedeutung für die Suchmaschinenoptimierung wie das Erstellen von Unique Content. Doppelte Inhalte wirken sich negativ auf das Ranking und die Usability aus.

Der Begriff Duplicate Content bedeutet übersetzt „doppelte Inhalte“ und bezeichnet ganze Seiten oder Textpassagen, die unter mehr als einer URL zu finden sind.

Dabei unterscheidet man zwei Arten:

• Interner Duplicate Content bezeichnet Inhalte, die auf einer Domain mehrfach vorkommen.
• Externer Duplicate Content hingegen ist domainübergreifend zu finden.

Beide Begriffe betreffen ohne Anpassung übernommene Seiten und wiederkehrende Textbausteine. Wenn Inhalte nicht zu 100 Prozent übereinstimmen, aber nahezu identisch sind, spricht man von Near Duplicate Content.

Die meisten Website-Betreiber sind sich über die negativen Auswirkungen von Duplicate Content bewusst und vermeiden daher, Inhalte doppelt zu nutzen. Dennoch lässt sich bei den meisten Webseiten interner Duplicate Content finden. Sich wiederholende Inhalte innerhalb einer Domain haben häufig technische Ursachen. Mehr dazu finden Sie im Abschnitt „Technische Ursachen für Duplicate Content“.

In vielen Fällen ist tatsächlich mehrfach der gleiche Inhalt auf mehreren Unterseiten einer Domain zu finden. Mit diesem Problem kämpfen vor allem Onlineshops. Ist ein Produkt mehreren Kategorien zugeordnet oder in verschiedenen Variationen verfügbar, ist die gleichbleibende Produktbeschreibung unter mehr als einer URL erreichbar und wird somit als Duplicate Content gewertet. Häufig unterschätzt sind auch PDFs, die Produktinformationen enthalten. Stimmen die Inhalte mit den Produkt-Landingpages überein, werden diese als Duplicate Content gewertet. Auf anderen Websites ist auch die Firmenphilosophie ein gängiges Beispiel für Inhalte, die auf mehreren Unterseiten erscheinen.

Auch von externem Duplicate Content sind häufig Onlineshops betroffen. Wenn Sie Ihr Produktsortiment von einem Großhandel beziehen, nutzen möglicherweise auch andere Händler die dazugehörigen Produktbeschreibungen auf ihren Webseiten. In diesem Fall wirken sich identische Inhalte nicht nur auf das Ranking bei Suchmaschinen negativ aus, sondern auch auf die Kaufentscheidung potenzieller Kunden. Unterscheidet sich die Produktpräsentation zwischen verschiedenen Händlern nicht, entscheidet im Zweifelsfall der Preisunterschied über den Kauf. Daher ist es in jedem Fall ratsam, einzigartige Produktbeschreibungen zu nutzen und regelmäßig zu prüfen, ob andere Händler diese übernehmen.

Externer Duplicate Content entsteht auch dann, wenn Sie fremde Inhalte im Rahmen einer Kooperation und mit dem Einverständnis des Urhebers übernehmen. Auch wenn verschiedene Länder- und Sprachversionen Ihrer Website unter abweichenden Domain-Namen erreichbar sind, ist die Gefahr von externem Duplicate Content groß.

Suchmaschinen wie Google bewerten mit einem Algorithmus alle potenziell relevanten Webseiten und legen anhand bestimmter Kriterien fest, in welcher Reihenfolge die Suchergebnisse aufgeführt sind. Ziel dieser Auswertung ist es, dem Nutzer die relevantesten Inhalte möglichst weit oben im Ranking zu präsentieren.

Für die Auswertung der Suchmaschinen ist es problematisch, wenn auf mehreren Webadressen dieselben Inhalte vorkommen. Dies erschwert die Zuordnung von Trust, Relevanz und Authority und daraus resultierend auch die Erstellung eines Rankings. Suchmaschinen vermeiden deshalb grundsätzlich, dieselben Inhalte mehrfach zu indexieren und in den Suchergebnissen anzuzeigen, da diese keinen Mehrwert für Nutzer bieten. Daraus folgt, dass das Ranking von Seiten sinkt, die Duplicate Content enthalten.

Wegen der negativen Auswirkungen von Duplicate Content sind sogenannte Scraper bzw. das Web Scraping gefürchtet. Dabei handelt es sich um Software, die Webseiten 1:1 kopiert. Eine Suchmaschine wie Google erkennt Scraper Sites inzwischen allerdings anhand verschiedener Parameter und unterscheidet diese von „echten“ Websites.

Bei rund 25 bis 35 Prozent des Inhalts aller Webseiten handelt es sich um Duplicate Content. Doppelte Inhalte sind nicht in jeder Form als etwas Negatives anzusehen. Dieses Video erklärt, wie Google mit doppelten Inhalten umgeht und was es auf jeden Fall zu vermeiden gilt:

Es ist in jedem Fall ratsam, die eigene Website regelmäßig auf Duplicate Content zu prüfen. Dieser entsteht in vielen Fällen ohne das Wissen des Website-Betreibers, beispielsweise durch die Neuerstellung von Seiten oder wenn interne Verlinkungen inkonsistent sind. Im Folgenden zeigen wir Ihnen die gängigsten Methoden, mit denen Sie Duplicate Content aufspüren können.

Wenn Ihre Website aus einer begrenzten Anzahl an Unterseiten besteht, bietet es sich an, diese manuell zu prüfen. Achten Sie dabei vor allem auf Textabschnitte, die Sie mehrfach auf Ihrem Webauftritt verwenden. Dies sind typischerweise die Unternehmensvorstellung oder Call-to-Actions, die Sie auf mehreren Unterseiten nutzen.

Sie haben die Vermutung, dass ein bestimmter Textbaustein mehrfach vorkommt? In diesem Fall hilft eine Google-Suche weiter. Geben Sie den Textabschnitt in Anführungszeichen in das Suchfeld ein und prüfen Sie, ob verschiedene URLs Ihrer Website in den Suchergebnissen angeführt sind.

Manuelle Methoden sind bei einer großen Anzahl an Unterseiten oder im eCommerce-Bereich häufig nur mit erheblichem Zeitaufwand umsetzbar. Da viele Website-Betreiber vor diesem Problem stehen, gibt es entsprechende Tools, die eine automatisierte Suche nach Duplicate Content anbieten.

Die Google Search Console ist ein kostenloses und hilfreiches Analysetool, das Sie bei der Suchmaschinenoptimierung wie auch bei der Suche nach internem Duplicate Content unterstützt. Recherchieren Sie zunächst die stärksten Keywords, unter denen Ihre Website gefunden und aufgerufen wird. Anschließend filtern Sie nach exakten Anfragen. Listet das Tool viele Unterseiten auf, ist es ratsam, diese auf doppelte Inhalte zu prüfen. Im Report „Indexabdeckung“ finden Sie unter „Ausgeschlossene Seiten“ auch jene Unterseiten, die als Duplikat identifiziert und infolgedessen ausgeschlossen wurden.

Um auch externen Duplicate Content zu finden, benötigen Sie ein Analysetool wie Copyscape oder Siteliner. Bei diesen Tools geben Sie eine konkrete URL ein und erhalten als Ergebnis alle internen und externen Seiten angeführt, deren Inhalte mit Ihrer URL übereinstimmen.

Sie wissen nun, wie Sie bestehenden Duplicate Content finden. Es ist grundsätzlich ratsam, diesen präventiv zu vermeiden. Die folgenden Tipps helfen Ihnen dabei:

• Erstellen Sie thematisch eindeutig zugeordnete Unterseiten und verwenden Sie auf jeder Seite ein anderes Main-Keyword. Am besten behalten Sie den Überblick, wenn Sie zuvor eine Keyword-Strategie erarbeiten.
   
• Vermeiden Sie es, allgemeingültige Absätze auf mehreren Unterseiten zu platzieren.
   
• Kopieren Sie keine vorgefertigten Textbausteine (außer es handelt sich um gekennzeichnete Zitate und/oder rechtliche Texte).
   
• Achten Sie bei internen Links auf Konsistenz und vermeiden Sie verschiedene Angaben für ein und dieselbe URL. Diese entstehen typischerweise durch den Zusatz index.htm bei der Startseiten-URL oder durch Varianten mit und ohne Trailing-Slash (/).
   
• Nutzen Sie bei mehreren Sprach- und Länderversionen Top-Level-Domains wie 'https://www.example.com' anstatt Unterverzeichnisse wie 'https://www.example.org/en'.

Generell keinen Einfluss auf die Entstehung von externem Duplicate Content haben Sie, wenn andere Webmaster Ihre Inhalte kopieren. Daher ist es nach der Erstellung einer neuen Seite ratsam, das Crawling manuell anzustoßen. Ist Ihre Webseite mit dem jeweiligen Inhalt als erste Seite indexiert, wird sie sehr wahrscheinlich als Original eingestuft.

Technische Ursachen führen häufig dazu, dass interner Duplicate Content ohne das Wissen der Website-Betreiber entsteht. Daher ist es ratsam, Ihre Onlinepräsenz auf die folgenden Punkte hin zu überprüfen:

Wenn Sie als Webmaster auf das verschlüsselte HTTPS (Hypertext Transfer Protocol Secure) umstellen, ist es wichtig, eine Weiterleitung von der alten Webadresse einzurichten. Bleibt Ihre Website zusätzlich unter http:// erreichbar, entsteht ein 100 Prozent deckungsgleicher Duplicate Content!

Prüfen Sie außerdem, ob Ihre Website unter verschiedenen Schreibweisen erreichbar ist. Typische Beispiele sind:

• Ihre Startseite ist mit index.php sowie mit und ohne Trailing-Slash erreichbar.
• Ihre Website ist mit und ohne www in der URL erreichbar.
• Eine URL ist über Groß- und Kleinschreibung erreichbar.

Wenn Sie zwei oder mehr URLs finden, die zur selben Unterseite führen, richten Sie bei allen Varianten eine 301-Weiterleitung auf die Hauptseite ein.

• Wenn unterschiedliche Sprach- oder Länderversionen Ihrer Website existieren, zeichnen Sie diese mit dem hreflang-Attribut aus, um Duplicate Content zu vermeiden.
   
• Prüfen Sie Ihre URL-Parameter. Durch diese entsteht häufig eine große Anzahl an einzigartigen URLs, die zum selben Inhalt führen. Dies ist vor allem bei Filterfunktionen in Onlineshop eine häufige Ursache für Duplicate Content.
   
• Achten Sie auf Session-IDs, die als Parameter Teil der URL sind. Dies hat möglicherweise zur Folge, dass Crawler bei jedem Aufruf einer Unterseite eine neue ID erhalten und damit eine neue URL erreichen.
   
• Schließen Sie druckerfreundliche Versionen von Webseiten von der Indexierung aus.

Manipulatives und vorsätzliches Kopieren fremder Inhalte ist aus urheberrechtlichen Gründen und auch laut Google-Richtlinien untersagt. Grundsätzlich ist das Vorkommen von Duplicate Content im Internet jedoch etwas Natürliches, das nicht direkt abgestraft wird. Dennoch ist es ratsam, doppelte Inhalte wann immer möglich zu vermeiden.

Wenn Ihre Website zwei oder mehr Unterseiten mit ähnlichem oder identischem Content enthält, führen Sie die Inhalte auf einer Seite zusammen oder bauen Sie die jeweiligen Unterseiten mit einzigartigen Inhalten und individuellen Keywords aus, um so den SEO-Content zu optimieren. Welche Option die bessere Wahl ist, hängt von der Relevanz der beiden Seiten ab und ob die Möglichkeit besteht, unterschiedliche Keywords zu stärken.

Verwenden Sie wichtige Keywords in den Überschriften, der Meta-Description und dem Meta-Title. Dadurch vermeiden Sie die Einstufung als Duplicate Content und verbessern zudem Ihr Ranking bei den Suchmaschinen. Um bestehende Texte abzuwandeln und voneinander zu differenzieren, nutzen Sie Bullet-Points, Listen und Tabellen oder integrieren Sie Medien wie Bilder und Videos.

Falls Sie bereits existierenden Content, beispielsweise einen Blogartikel oder eine Pressemitteilung, auf anderen Seiten teilen wollen, nutzen Sie das Canonical-Tag rel="canonical" im Head-Bereich. Damit deklarieren Sie die ausgewählte URL als Standard-Ressource bzw. Original-URL. Das Tag ist für User unsichtbar und macht dennoch für Suchmaschinen deutlich, in welcher Verbindung die Seiten zueinanderstehen.