Über den DR Homes Crawler

Wer wir sind, wie wir crawlen und wie du dich an- oder abmelden kannst.

Wer wir sind

DR Homes (homes.islatodo.com) ist ein Immobilienaggregator für die Dominikanische Republik, entwickelt von IslaTodo — ein lokal betriebener Reiseführer zur DR aus Sosúa. Wir verlinken auf jede Quelle, die wir indexieren, und zeigen immer den ursprünglichen Makler an.

User-Agent

Unser Crawler stellt sich selbst vor als:

Mozilla/5.0 (compatible; IslaTodo-MLS-Aggregator/1.0; +https://homes.islatodo.com/about-crawler)

Wie wir crawlen

• Nur Sitemap-Entdeckung. Wir lesen sitemap.xml-Dateien, die Verleger bereits für Suchmaschinen bereitstellen. Keine Brute-Force-URL-Aufzählung, kein ID-Scanning.
• Rate Limit: maximal 1 Anfrage pro Sekunde pro Portal.
• robots.txt wird beachtet. Wenn deine robots.txt den * User-Agent von deinen Sitemap-Pfaden blockiert, überspringen wir dein Portal automatisch.
• Einmal nächtlich. Unser vollständiger Crawl läuft um 3 Uhr dominikanische Zeit (7 Uhr UTC), außerhalb der Spitzenzeiten.
• Nur Deep-Links. Wir parsen strukturierte Daten (schema.org RealEstateListing, OpenGraph), die du bereits für Google bereitstellst — das gleiche Portal.

Was wir speichern — und was nicht

• Fakten: Titel, Preis, Zimmer, Bäder, Koordinaten, Immobilientyp, Stadt.
• Fotos: Nur URL-Verweise (verlinkt von deinem CDN, niemals kopiert auf unsere Server).
• Snippets: maximal 200 Zeichen der Beschreibung, zitiert als Auszug mit Link zurück zu deinem ursprünglichen Angebot (Fair Use).
• Attribution: Jedes angezeigte Angebot zeigt deinen Quellnamen + einen prominenten „Original ansehen bei [dein Portal] →"-Button, der den Besucher auf deine Seite zurückbringt.

Abmelden

Wenn du möchtest, dass wir dein Portal nicht indexieren, dann entweder:

1. Füge ein Disallow: / unter User-agent: IslaTodo-MLS-Aggregator in deine robots.txt ein — wir überspringen dich beim nächsten Durchlauf.
2. Schreib eine E-Mail an [email protected] und wir entfernen dein Portal innerhalb von 24 Stunden aus unserer Crawler-Konfiguration.

ANMELDEN — für Makler und Agenturen

Wenn du ein Immobilienmakler in der DR bist und deine Angebote gerne direkt präsentiert haben möchtest (ohne auf einen Sitemap-Crawl zu warten), kannst du einen XML-/CSV-/JSON-Feed veröffentlichen und wir fragen ihn alle 6 Stunden ab. Kostenlos. Vollständig zugeschrieben. Leads werden zu deinem WhatsApp / Telefon geleitet. Schreib uns eine E-Mail an [email protected], um das einzurichten.

Kontakt

Heath Wilson · Sosúa, Dominikanische Republik · [email protected]