概述：
kernel.org 运维者 Konstantin Ryabitsev 在其博客中讨论了滥用爬虫对 git.kernel.org 的影响，指出大量CPU资源被用于渲染爬虫抓取的git提交页面，导致资源浪费。
要点：
1. 滥用爬虫对git.kernel.org造成了“背景辐射”问题。
2. 用于渲染爬虫抓取的git提交页面的CPU资源超过了所有其他合法访问方式。
3. 在5个地理分布的节点上，有14个CPU核心专门用于渲染git提交页面。
4. Konstantin Ryabitsev 对此表示担忧，尤其是从Datasette的角度来看，它提供了大量可抓取的网页。
5. 该问题凸显了滥用爬虫对服务器资源的巨大消耗。
kernel.org 运维者 Konstantin Ryabitsev 在其博客中讨论了滥用爬虫对 git.kernel.org 的影响，指出大量CPU资源被用于渲染爬虫抓取的git提交页面，导致资源浪费。
要点：
1. 滥用爬虫对git.kernel.org造成了“背景辐射”问题。
2. 用于渲染爬虫抓取的git提交页面的CPU资源超过了所有其他合法访问方式。
3. 在5个地理分布的节点上，有14个CPU核心专门用于渲染git提交页面。
4. Konstantin Ryabitsev 对此表示担忧，尤其是从Datasette的角度来看，它提供了大量可抓取的网页。
5. 该问题凸显了滥用爬虫对服务器资源的巨大消耗。
Konstantin Ryabitsev discusses how bad the "background radiation" of abusive crawlers has become from the perspective of
git.kernel.org
, the official Git repository for the Linux kernel:
TL;DR: we spend more CPU cycles rendering commits for scrapers than we spend on all other kinds of legitimate access, including git clones. At any one time, across 5 geo-distributed nodes, there are 14 CPU cores doing nothing but rendering git commits as html.
I worry about this a lot from the perspective of Datasette, which serves a huge number of crawlable web pages.
原始发布方：Simon Willison 博客
原文时间：2026-09-08 07:08:58 +08:00
