无视网站反AI抓取政策,Anthropic爬虫引起多个网站所有者不满

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。
这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,
“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”
“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24 小时内访问我们的服务器 100 万次吗?你不仅在不付费的情况下获取我们的内容,还占用了我们的 devops 资源,一点都不酷!”
“如果你想要跟我们谈谈内容许可和商业用途的话,我们就在这呢。”

iFixit 的使用条款政策声明,“未经公司事先明确的书面许可,严格禁止复制、复制或分发”网站上的任何内容,特别包括“用于训练机器学习或 AI 模型”。
Wiens 此后表示,iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。
然而,iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示,他们的网站也曾被 Anthropic 的爬虫频繁抓取。
这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月,Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。
关键词: ClaudeBotAI爬蟲
更多推荐

在如今高速发展的移动通信时代,4G网络已成为我们日常生活中不可或缺的一部分。无论是刷视频、玩游戏,还是在线办公,稳定的4G网络连接都是这些活动顺畅进行的基石。而在这背后,默默支撑着这一切的,便是我们今天要深入探讨的主角——4G天线。 天线

了解更多 >

近期,随着青少年网络防沉迷新规的正式实施,社会各界的反响呈现出复杂而深刻的变化。这一政策旨在减缓青少年沉迷虚拟世界带来的负面影响,保护他们的身心健康。刚开始的时候,很多家长和教育者都抱有一丝期待,渴望看到青少年能从沉迷中抽身,重新找到生活的

了解更多 >

在数字时代,互联网已深刻改变了青少年的生活方式,这个曾经遥远的新世界变得触手可及。网络游戏、社交媒体、视频直播……这些丰富多彩的内容不仅丰富了他们的娱乐生活,也带来了前所未有的便利与挑战。伴随而来的,是社会各界对青少年沉迷网络问题的高度关注

了解更多 >

随着新能源车的普及,越来越多的车主开始关心如何在高速行驶中更加高效地使用电能,确保既省电又安全。今天,安图就为大家揭秘新能源车高速最优开法,助你成为节能减排的先行者! 一、合理规划行程,避免“临时抱佛脚” 高速行驶前,合理规划行程至关重

了解更多 >

登山是一项既令人振奋又充满挑战的活动。在与大自然亲密接触的过程中,登山者不仅能享受到壮丽的风景、体验到身体的力量、更能在高空中感受到心灵的自由。但这其中藏匿的风险也是不容小觑的。为了确保一次安全而愉快的登山体验,充分的准备工作至关重要,尤其

了解更多 >