Bei all meiner Skepsis gegenüber dem AI-Firlefanz bin ich aber bisher noch nicht auf die Idee gekommen AI-Bots über die robots.txt zu verscheuchen.
Bei Dark Visitors nimmt man das wohl ziemlich ernst und es werden AI Agent gesammelt. Wenn man sich registriert, kann mit einem Wordpress Plugin über die API von Dark Visitors eine robots.txt mit den Agents aus deren Sammlung erstellt werden.
Ja, ich weiss auch nicht ob man das unbedingt haben muss. Mir persönlich ist es ja ziemlich Wumpe, ob ein AI Data Scraper mein Gerde abholt. Und die Fotos sind eh Public Domain.