无视网站反AI抓取政策,Anthropic爬虫引起多个网站所有者不满

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。
这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,
“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”
“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24 小时内访问我们的服务器 100 万次吗?你不仅在不付费的情况下获取我们的内容,还占用了我们的 devops 资源,一点都不酷!”
“如果你想要跟我们谈谈内容许可和商业用途的话,我们就在这呢。”

iFixit 的使用条款政策声明,“未经公司事先明确的书面许可,严格禁止复制、复制或分发”网站上的任何内容,特别包括“用于训练机器学习或 AI 模型”。
Wiens 此后表示,iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。
然而,iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示,他们的网站也曾被 Anthropic 的爬虫频繁抓取。
这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月,Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。
关键词: ClaudeBotAI爬蟲
更多推荐

近日,淘宝已经全面上线了新版体验分体系,一方面将全面应用在手机淘宝搜索、首页猜你喜欢、阿里妈妈相关广告投放以及活动报名等经营场景;另一方面,该体系还根据体验分,赋予商家在退款、申诉和发货异常等售后场景下更多处置自主权。其中,很多商家吐槽的“

了解更多 >

随着环保意识的日益增强和汽车技术的不断进步,新能源汽车逐渐成为了市场上的新宠。在新能源汽车的大家庭中,纯电、插混、油混和增程是四种主要的技术路线。本文将为读者解析这四种技术的原理和区别。 纯电汽车(BEV) 纯电汽车,即电池电动汽车,完

了解更多 >

每个人在考虑养宠物时,往往会陷入一个困惑:哪种犬种最适合家庭生活?这个问题没有统一的答案,因为每个家庭的环境、成员特质以及生活节奏都不同。而了解不同犬种的性格特点,能帮助我们做出更贴合自己生活方式的选择,让宠物成为家庭的温暖陪伴,而不是负担

了解更多 >

家庭郊游是亲密关系的增进和放松心情的绝佳时机,但安全问题却时常令人担忧。为了确保家庭的每一次郊游都能顺利进行,安全措施的落实至关重要。郊游的乐趣和欢声笑语常常被突如其来的意外打断,因此在出发前做好充分的准备,成为了每个家庭都应引以为戒的原则

了解更多 >

以色列初创公司Bzigo推出了一款名为Iris的智能灭蚊设备,自2020年其原型问世以来便备受瞩目,现已正式上市,售价为339美元。Iris的工作原理极为智能,它利用广角摄像头与先进的计算机视觉技术,持续监测房间内的状况。即使在暗处,红外L

了解更多 >