无视网站反AI抓取政策,Anthropic爬虫引起多个网站所有者不满

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。
这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,
“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”
“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24 小时内访问我们的服务器 100 万次吗?你不仅在不付费的情况下获取我们的内容,还占用了我们的 devops 资源,一点都不酷!”
“如果你想要跟我们谈谈内容许可和商业用途的话,我们就在这呢。”

iFixit 的使用条款政策声明,“未经公司事先明确的书面许可,严格禁止复制、复制或分发”网站上的任何内容,特别包括“用于训练机器学习或 AI 模型”。
Wiens 此后表示,iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。
然而,iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示,他们的网站也曾被 Anthropic 的爬虫频繁抓取。
这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月,Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。
关键词: ClaudeBotAI爬蟲
更多推荐

周末清晨,张先生驾驶着新买的电动汽车驶上高速,仪表盘显示续航里程480公里。他计划从杭州开往南京,全程300公里左右。出发前特意将电量充至95%,看着比燃油车便宜三分之一的充电费用,他坚信这次出行能省下不少钱。然而,当车辆驶入高速路段后,仪

了解更多 >

香港大学一项发表于《自然·气候变化》(Nature Climate Change)的研究,通过分析中国台湾地区24922人长达15年的医疗数据,发现长期暴露于极端高温事件会直接促进器官老化,并增加多种健康风险。 该研究通过评估肝、肺、

了解更多 >

在快节奏的现代生活中,亲子关系像一片柔软而富有生命力的土地,需要我们用心呵护、用情浇灌。有效的沟通,正是这片土地上滋养感情的清泉,能够让亲子之间的距离拉得更近,理解与信任逐渐深入。很多父母或许在日常中已经意识到沟通的重要性,但真正做得恰到好

了解更多 >

随着科技的迅猛发展,人工智能特别是大模型(如GPT-4、BERT等)的崛起,正在对传统媒体编辑的工作方式产生深远的影响。这些技术不仅在处理信息的效率上显著提高,同时也在深刻改变着内容的创作、筛选、编辑和分发等环节,昭示着一个全新的媒体生态正

了解更多 >

鼠标宏,简单来说,就是通过编程或软件设置,让鼠标的某个按键能够自动执行一系列复杂的操作。这些操作可以是点击、移动、滚轮滚动等,甚至可以是多个操作的组合。用户可以根据自己的需求,创建不同的宏命令,并将其绑定到鼠标的某个按键上。这样,在需要执行

了解更多 >