过河拆桥？为防“爬虫”爬取数据训练AI，百度百科屏蔽了谷歌等友商
我要评论近日有报道称，爬虫为了防止未经允许的过河谷歌“爬虫”爬取数据用于训练AI，百度百科已经屏蔽了谷歌、拆桥海外资源访问必应等大多数搜索引擎。为防百度啊百度，爬取屏蔽你也学会过河拆桥了？数据商
有网友扒出了百度百科的robots.txt文件，发现允许放行的训练白名单中，只有百度搜索、百度百科搜狗搜索、等友中国搜索（Chinaso）、爬虫YYSpider和宜搜搜索（EasouSpider）几个搜索引擎，过河谷歌而谷歌、拆桥必应、为防海外资源访问微软MSN、爬取屏蔽UC的数据商Yisouspider以及其他搜索引擎的爬虫已被列入了禁止名单。
众所周知，搜索引擎的工作原理，就是依靠“爬虫”到不同的网站上爬取数据，然后展示在自己的搜索结果中。
百度曾经能搜到很多内容，但百度的“爬虫”过于高频地访问网站爬取数据，会对网站的服务器产生巨大压力，影响到了正常运转，会主动选择禁止百度爬取数据。此外，一些网站为了占据用户心智、避免影响广告收入等原因，也会主动选择屏蔽百度的爬虫，这就导致百度越来越难搜到想要东西了。
近几年，AI大模型的快速发展，需要不少用户真实数据进行支撑，而包含百度用户自发编辑的百科内容，绝对是一个不小的数据训练宝库，“人均硕博学历、频繁刚下飞机”的知乎也是同理。但据爆料，知乎已经先百度一步禁止了其他搜索引擎的爬虫，把白名单中的谷歌和必应踢掉，只留下了百度和搜狗。
曾经，百度起家靠的就是爬遍全网的“爬虫”们，把自己爬到了“国服第一”的位置。但现在，想在文心一言上发力的百度却反手禁了其他友商的爬虫，把车门给焊死了，谁都别想上来。
对此，我们也只能感叹到，互联网越来越不互联了。
相关文章
确实是离开手机圈了，王腾对于手机圈的点评也是越来越“不客气”了！今年手机价格上调，售价过万更是常有之事，不再是仅限于iPhone、华为、三星了，而对于这样的手机市场，王腾今天在社交平台上也是大胆开麦。2026-11-06
存储空间一塞满iPhone就坏？苹果客服：至少留1GB并及时清理
昨天#iPhone千万不能把内存用完#、#iPhone 内存用完就坏#的话题冲上微博热搜，起因是有网友发现自己的手机内存满了以后，关机无法再开机、刷机时显示1110报错代码，以及系统明显卡顿、机身发热2026-11-06
因没有创新，媒体怒喷三星Galaxy S26：2026年最差的手机
虽然三星Galaxy S26系列明年1月才发布，但科技媒体Android Authority已经提前开始怒喷它是2026年最差的手机了。媒体曝光的Galaxy S26Ultra渲染图撰稿人Rita E2026-11-06
准备在2026年买车的朋友，真的太幸福了，因为有可能领到国家发放的2万元大红包。就在昨晚，商务部等八部门办公厅正式印发《2026年汽车以旧换新补贴实施细则》，明确继续对报废旧车并购买新车的个人消费者给2026-11-06
不知道大家有没有发现，现在的家电是越来越聪明了，但我们对家电的要求，似乎也越来越矛盾。买洗衣机，希望它能自动洗衣、自动投放洗涤剂，最好连内筒都能自己清洁；买扫地机器人，希望它不仅会扫地拖地，还能自动洗2026-11-06
“师傅，你相信爱情吗？”“吐车上150，美元。”这不是段子，这将是特斯拉Robotaxi的一项新规定。根据海外社交平台博主Sawyer Merritt爆料，特斯拉将要对自动驾驶出租车收取2档清洁费，档2026-11-06
最新评论