无视网站反AI抓取政策,Anthropic爬虫引起多个网站所有者不满

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。
这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,
“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”
“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24 小时内访问我们的服务器 100 万次吗?你不仅在不付费的情况下获取我们的内容,还占用了我们的 devops 资源,一点都不酷!”
“如果你想要跟我们谈谈内容许可和商业用途的话,我们就在这呢。”

iFixit 的使用条款政策声明,“未经公司事先明确的书面许可,严格禁止复制、复制或分发”网站上的任何内容,特别包括“用于训练机器学习或 AI 模型”。
Wiens 此后表示,iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。
然而,iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示,他们的网站也曾被 Anthropic 的爬虫频繁抓取。
这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月,Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。
关键词: ClaudeBotAI爬蟲
更多推荐

春天,是万物复苏、繁花似锦的季节,却也是一些疾病悄然滋生的时机。随着气温逐渐升高,空气中湿度的变化和频繁的天气变幻,为病毒和细菌提供了滋生的土壤。日渐温暖的日子里,肺炎这个曾经让人望而生畏的“老敌人”,也在悄然袭来,尤其是在儿童、老年人和免

了解更多 >

每到春秋交替的季节,公园里的花朵争相绽放,树木也开始披上新绿。然而,对许多季节性过敏患者来说,这个时候往往是“过敏大军”集结的时刻。鼻水、打喷嚏、眼睛发痒、呼吸急促等症状如期而至,给他们的日常生活带来困扰。如何有效减少这些过敏症状,成为了许

了解更多 >

在人类与各种疾病的斗争中,糖尿病一直是一个难以攻克的堡垒。这种慢性疾病不仅影响着全球数亿人的健康,还给患者的生活带来了诸多不便。然而,近日科学界传来了一则令人振奋的消息:科学家们成功利用3D打印技术制造出了“功能性胰岛”,这一成果有望为糖尿

了解更多 >

苹果公司最新推出的 iCloud Private Relay 服务,专为 iCloud+ 用户设计,旨在通过加密流量保护用户免受在线追踪器的侵害。然而,自上周四起,该服务在全球多个主要市场遭遇宕机,包括欧洲、印度、日本和美国,影响了部分 A

了解更多 >

冒险,是追寻未知与刺激的旅程,是生活中的一剂强心剂。然而,户外探险的魅力同时也伴随着潜在的危险。在享受自然之美,挑战自我的同时,如何确保自身安全成为每位探险者必须重视的事项。以下五大户外安全提示,将为你在崇山峻岭、茂林修竹中保驾护航,使你无

了解更多 >