Einzelne Seite für Suchmaschinen sperren

lucky909091 schrieb am 09.03.2016 um 14:28 Uhr

Hallo Leute,

habe zum Thema bereits einiges hier gelesen, aber leider nicht die genaue Anleitung zu meinem Problem gefunden.

ich möchte von einer Webseite mit 5 Seiten die Seite 4 für Suchmaschinen sperren. Wenn ich die "robots.txt" Datei auf dem Server ändere, dann wird die vollständige Webseite nicht gefunden.

Wie kann ich im Web Designer 11 Premium auf einfache Art eine einzelne Unterseite für Suchmaschinen nicht zugänglih machen?

Ich danke für eure Hilfe.

Kommentare

BeRo schrieb am 09.03.2016 um 15:04 Uhr

Wirf mal einen Blick in diesen Thread, vermutlich ist Dein Problem dann gelöst...

Viel Erfolg

Zuletzt geändert von BeRo am 09.03.2016, 15:04, insgesamt 1-mal geändert.

Auf den Tag genau gehen heute, am 14.08.2021, 10 Jahre online Support für die Community zu Ende.
Ich freue mich auf eine neue, berufliche Herausforderung, die sich gerade ergeben hat. Leider bleibt dann keine Zeit mehr für die Community übrig, aber Ihr seid bei den aktiven Mitgliedern in besten Händen.
Sicher schaue ich auch ab und zu nochmal rein... 🤓

lucky909091 schrieb am 09.03.2016 um 17:17 Uhr

Erstmal danke für den Link, aber SO war meine Frage nicht gemeint.

In Deinem Link geht es darum, eine Seite vor dem End-Nutzer zu verstecken, nicht vor Google.

 

Bei meiner Frage dreht es sich darum, die komplette Seite mit allen 5 Unterseiten für den End-Nutzer zu veröffentlichen, aber nur der Inhalt von Seite 4 soll von den Suchmaschinen nicht entdeckt werden.

Trotzdem danke.

BeRo schrieb am 09.03.2016 um 17:41 Uhr

[...] nur der Inhalt von Seite 4 soll von den Suchmaschinen nicht entdeckt werden. [...] In Deinem Link geht es darum, eine Seite vor dem End-Nutzer zu verstecken […]

Das ist nicht ganz korrekt..

Wenn Du Dir die Mühe machst und den Beitrag von @Markus73 genau liest, dann siehst Du wie er das Problem gelöst hat...


Wenn Du den verlinkten Thread wirklich gelesen hast, dann konntest Du auch die alternative Lösung (Passwort Schutz für die Seite) die @BilderMacher hier, im selben Thread vorgeschlagen, nicht übersehen.

In dem Fall müsstest Du das Passwort zum Öffnen der Seite4 auf der Seite veröffentlichen. Damit kann jeder Besucher die Seite ansehen, nur der Google Spider nicht.

Problem gelöst?

Zuletzt geändert von BeRo am 09.03.2016, 17:41, insgesamt 1-mal geändert.

Auf den Tag genau gehen heute, am 14.08.2021, 10 Jahre online Support für die Community zu Ende.
Ich freue mich auf eine neue, berufliche Herausforderung, die sich gerade ergeben hat. Leider bleibt dann keine Zeit mehr für die Community übrig, aber Ihr seid bei den aktiven Mitgliedern in besten Händen.
Sicher schaue ich auch ab und zu nochmal rein... 🤓

lucky909091 schrieb am 09.03.2016 um 17:53 Uhr

BeRo, es ist sehr nett von Dir, dass Du Dich mit meinem Problem beschäftigst. Erstmal danke dafür.

Ich habe den Beitrag mit Deinen Lösungen bereits heute vormittag gelesen und vorhin nochmals, aber nicht die zündende Idee für mein Problem gefunden.

Denn:

ich wollte kein Passwort vergeben oder die Seite aus dem Navigationsmenu herausnehmen. Sie soll über die Navigation ohne PW für jedermann anklickbar sein, lediglich der Textinhalt soll auf der besagten Seite 4 nicht von Suchmaschinen erkennbar sein.

Weisst Du hierzu einen Rat?

BeRo schrieb am 09.03.2016 um 18:06 Uhr

[...] lediglich der Textinhalt soll auf der besagten Seite 4 nicht von Suchmaschinen erkennbar sein. [...]

Wie schon in dem verlinkten Thread deutlich gesagt wurde, ist es nicht möglich, eine Seite (und den Inhalt der Seite) vor dem Google Spider zu verstecken, wenn sie ganz normal und ohne Passwort über einen Link zu öffnen ist.

Was Dir bleibt, ist die Darstellung des Textes als Grafik. die kann von jedem menschlichen Besucher gelesen werden aber definitiv nicht vom Google Spider.

Der WD wandelt Text vollautomatisch in eine Grafik um, wenn Du den Text komplett markierst und mit sich selbst gruppierst. Beim Export- und bei der Veröffentlichung wird der Text dann als Grafik abgelegt...

Viel Erfolg

Zuletzt geändert von BeRo am 09.03.2016, 18:06, insgesamt 1-mal geändert.

Auf den Tag genau gehen heute, am 14.08.2021, 10 Jahre online Support für die Community zu Ende.
Ich freue mich auf eine neue, berufliche Herausforderung, die sich gerade ergeben hat. Leider bleibt dann keine Zeit mehr für die Community übrig, aber Ihr seid bei den aktiven Mitgliedern in besten Händen.
Sicher schaue ich auch ab und zu nochmal rein... 🤓

marboe schrieb am 09.03.2016 um 23:15 Uhr

 

Ich habe gute Erfahrungen mit einem Eintrag von "noindex, nofollow" im Head der Seite (nicht Website).  Damit sperre ich zuverlässig zum Beispiel Formulare von der Googlesuche aus. Ich poste dir morgen gerne eine Anleitung. Gruß Marboe

BeRo schrieb am 10.03.2016 um 00:34 Uhr

@marboe

[...] Ich habe gute Erfahrungen mit einem Eintrag von "noindex, nofollow" im Head der Seite [...]

Auf die einfachste Lösung hätte ich ja auch kommen können.

Aber, ist es nicht so, dass der Meta Tag Eintrag von den Crawlern nur als Empfehlung verstanden wird?!
IMHO halten sich nicht alle Crawler daran und dann ist die gewünschte "Geheimhaltung" schnell dahin, oder siehst Du das anders?

 

Zuletzt geändert von BeRo am 10.03.2016, 00:34, insgesamt 1-mal geändert.

Auf den Tag genau gehen heute, am 14.08.2021, 10 Jahre online Support für die Community zu Ende.
Ich freue mich auf eine neue, berufliche Herausforderung, die sich gerade ergeben hat. Leider bleibt dann keine Zeit mehr für die Community übrig, aber Ihr seid bei den aktiven Mitgliedern in besten Händen.
Sicher schaue ich auch ab und zu nochmal rein... 🤓

marboe schrieb am 10.03.2016 um 10:40 Uhr

Aber, ist es nicht so, dass der Meta Tag Eintrag von den Crawlern nur als Empfehlung verstanden wird?!

Ja, das ist nach meinem Kenntnisstand schon richtig. Aber ...
da ich dies seit Jahren so mache, würde ich eher sagen: Google nimmt diese Empfehlung sehr ernst. Das funktioniert bei mir in mehreren Projekten absolut zuverlässig.

Meiner Interpretation nach ist die Aussage "wir betrachten das "nur" als Emfpehlung" einfach eine rechtliche Sicherheit damit Websiteprogrammierer Google nicht die Bude einrennen im Sinne von " ihr habt doch zugesagt, dass ...".

Betrachtet man es nüchtern, müsste man sagen:
1. Content, der nicht allen auf der Welt bekannt werden soll oder nur einen kleinen Gruppe Auserwählter zugänglich, gehört nicht so einfach ins Netz, sondern hinter eine Einwahl. Stichwort "Passwortgeschützt".
2. Content, der gar nicht öffentlich sein soll, gehört schon gar nicht ins Netz.

Man sagt Google und Co mit diesem Metatag deutlich: hier ist kein Mehrwert auf der betreffenden Seite, wenn jemand zielgerichtet nach Informationen sucht. Ich finde diese bestimmte Seite als nicht sinnvoll in den SERPs angezeigt zu werden.
Google wäre ein bisschen doof, wenn sie das nicht ernst nehmen. Sie wollen ja gerade dem User die besten inhaltsreichen Seiten anbieten. Deswegen funktioniert die Empfehlung sehr gut, die man mit diesem Metatag ausdrückt.
Über andere Suchmaschinen kann ich nichts sagen. Ich richte mich immer nur nach Google, weil die anderen relevanten Suchmaschinen letztlich auch darauf zurückgreifen was Google macht und findet.

IMHO halten sich nicht alle Crawler daran und dann ist die gewünschte "Geheimhaltung" schnell dahin, oder siehst Du das anders?

Wenn Geheinhaltung im eigentlichen Sinne gewollt ist, dann ist das absolut korrekt so. Geheimes gehört nicht öffentlich.

 

Wenn ich also eine Page habe mit vll. ca. 50 Seiten, dann gibt es innerhalb des Internetauftritts zB geschätzte 30 Seiten mit wirklich textlichem Inhalt, der Sinn macht für alle User, die nach Informationen suchen. Aber es gibt immer auch Seiten wie Formularseiten, AGB, Disclaimer oder auch zB Bilderseiten ohne Text. Diese sperrt man bestenfalls von der Googlesuche aus und stärkt damit die anderen 30 Seiten, die dann wirklich Inhalt haben und auch untereinander gut verlinkt sind.

Das MetaTag "noindex, nofollow" kann natürlich nur gelesen werden vom Bot, wenn der Zugriff über die robots.txt nicht pauschal in der übergeordneten Hirarchie bereits verboten wurde. Möchte man also nur einzelne Seiten ausnehmen, sollte die robots.txt von Anweisungen dieser Art frei sein. Dann erst ist der Bot in der Lage die robots im Rootverzeichnis zu lesen (= kein Inhalt oder gar nicht vorhanden) --> dann die einzelnen Seiten zu erkunden um dann festzustellen, dass die Seite 1-10 erlaubt ist zu lesen; die Seite 11 aber zB eben genau nicht; die Seite 12 bis 15 darf er wieder beschnüffeln ... usw.

Wie man das einträgt, zeigen die nächten Bilder.
Eine einzelne Seite sperrt man folgendermaßen vom Suchroboter aus:

Es wird also im Head der Seite (!) folgendes eingegeben:

<meta name="robots" content="noindex, nofollow" />

Dies betrifft hier im Beispiel also nur die Gästebuchseite des Internetauftritts.

Möchte man die gesamte Page vom Crawlen aussperren, wäre der gleiche Meta-Text unter dem Head der "Website" einzutragen. Das ist in der Regel nicht zu empfehlen.

Beim Eintrag in der Einzelseite ergibt dies nach Veröffentlichung folgenden Eintrag im Quellcode:

Ein Eintrag dieser Art bedingt auch, dass alle ausgehenden Links dieser Seite nicht großartig beachtet werden; also ihre Linkpower verlieren. Google liest aber selbstverständlich alles, was auf dem Server zu finden ist. Er verwendet es nur dann nicht.   Big Brother ...

Gruß Marboe

lucky909091 schrieb am 10.03.2016 um 22:02 Uhr

@BeRo: herzlichen Dank nochmal für Deine Hilfe. ich habe einiges daraus gelernt.

 

@Marnoe: ich glaube , ich kenne Dich noch aus dem ur-alten Magix-Forum. Deine Antwort ist momentan die hilfreichste, auch wenn die Ausführung nicht garantiert ist.

Vielen Dank für die tolle Unterstützung per Bild und die genaue Anweisung mit Text. Ich werde es genaus so versuchen und hoffe, dass es klappt. Ich danke Dir.

marboe schrieb am 11.03.2016 um 00:20 Uhr

ich glaube , ich kenne Dich noch aus dem ur-alten Magix-Forum

Das ist sehr gut möglich   Viel Erfolg!