Beim Uwe gibt es eine robots.txt einen Super Tip um sich, diese hier speziell für WordPress, vor doppelten Content zu schützen, damit man auch bei unserer lieben Tante Google bleiben darf : )
User-agent: Googlebot Disallow: /wp-content/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /feed/ Disallow: /archives/ Disallow: /sitemap.xml Disallow: /index.php Disallow: /*? Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: */feed/ Disallow: */trackback/ Disallow: /page/ Disallow: /tag/ Disallow: /category/ Disallow: /?s* User-agent: Googlebot-Image Disallow: /wp-includes/ User-agent: Mediapartners-Google* Disallow: User-agent: duggmirror Disallow: / User-Agent: Googlebot Disallow: /link.php Disallow: /gallery2 Disallow: /gallery2/ Disallow: /category/ Disallow: /page/ Disallow: /pages/ Disallow: /feed/ Disallow: /feed
