| רשת (CIDR) | גרסה | סוג | Reverse DNS |
|---|---|---|---|
| 2001:4860:4801:10::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:12::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:13::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:14::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:15::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:16::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:17::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:18::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:19::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:1a::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
למה בכלל צריך את הרשימה הזו?
כדי לזהות בקשות Googlebot אמיתיות, להרחיק בוטים מתחזים ולפתור בעיות אינדוקס.
זה מסייע במיוחד כאשר:
- מסננים תעבורה לפי IP או חומת אש
- מנתחים תעבורה בלוגים
- מאבחנים תקלות סריקה ב-Search Console
- מוודאים שאין בוטים זדוניים שמתחזים ל-Googlebot
הנתונים מתעדכנים אוטומטית מדי יום מה-API הרשמי של Google Search Central.
שלושת סוגי הסורקים של גוגל
ה־Googlebot שאתם פוגשים בלוגים לא תמיד אותו דבר. לגוגל יש שלושה סוגי סורקים, ולכל אחד טווחי IP והתנהגות משלו.
1. Googlebot רגיל (Common Crawlers)
הסורקים הקלאסיים של Google Search.
תמיד מכבדים robots.txt.
Reverse DNS:
crawl-***.googlebot.com
geo-crawl-***.geo.googlebot.com
רשתות: 164 (36 IPv4, 128 IPv6)
2. סורקים מיוחדים (Special Crawlers)
סורקים של מוצרים ייעודיים (AdsBot, Video, ועוד).
עשויים במקרים מסוימים להתעלם מ-robots.txt, אם קיים הסכם בין האתר למוצר.
Reverse DNS: rate-limited-proxy-***.google.com
רשתות: 280 (152 IPv4, 128 IPv6)
3. פעולות משתמש (User-Triggered Fetchers)
היכן שהמשתמש מפעיל את ה-fetch בעצמו:
מבקר בדף בדפדפן גוגל, Site Verifier, PageSpeed, שירותים חיצוניים.
תמיד מתעלמים מ-robots.txt, כי מדובר בפעולה יזומה של משתמש.
Reverse DNS:
***.gae.googleusercontent.com
google-proxy-***.google.com
רשתות: 1,351 (627 IPv4, 724 IPv6)
נתונים סטטיסטיים על טווחי ה-IP
התפלגות הרשתות לפי סוג
| סוג סורק | IPv4 | IPv6 | סה”כ |
|---|---|---|---|
| סורקים רגילים | 36 | 128 | 164 |
| סורקים מיוחדים | 152 | 128 | 280 |
| פעולות משתמש | 627 | 724 | 1,351 |
| סה״כ | 815 | 980 | 1,795 |
על טווחי CIDR
- בלוק קטן ביותר: /32
- בלוק גדול ביותר: /19
- הבלוק הנפוץ ביותר: /24
השוואה לסורקים אחרים
- Googlebot – רשימת IP מלאה, מתעדכנת יום-יום
- Bingbot – אין רשימת IP רשמית, אימות רק ב-reverse DNS
- Facebook Crawler – חלקית
- Semrush Bot – רשימה פומבית זמינה
איך לאמת Googlebot בפועל
1. בדיקת Reverse DNS
host 66.249.66.1פלט חוקי ייראה כך:
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com2. בדיקה מול טווחי ה-CIDR (מהטבלה למעלה)
למשל, לאשר גישה ל-Googlebot בלבד ב-iptables:
iptables -A INPUT -s 66.249.64.0/19 -j ACCEPT3. שימוש ב-Nginx
geo $is_googlebot {
default 0;
66.249.64.0/19 1;
# ... רשתות נוספות
}4. שליפת ה-JSON API
curl https://developers.google.com/static/search/apis/ipranges/googlebot.jsonפלט לדוגמה:
{
"creationTime": "2025-11-12T00:00:00.000000Z",
"prefixes": [
{ "ipv4Prefix": "66.249.64.0/19" },
{ "ipv6Prefix": "2001:4860::/32" }
]
}גוגל מעדכנת את הקבצים האלה מדי יום, לרוב סביב חצות UTC.
שאלות נפוצות (מעודכן — רק מה שלא כוסה בטקסט)
למה אני רואה Googlebot ממדינות שונות?▼
כתובת ה-IP עוברת את reverse DNS אבל לא מופיעה בטווחים. מה עושים?▼
האם הרשימה הזו כוללת גם Googlebot שמגיע דרך שירותי ענן?▼
האם גוגל מוחקת או מוסיפה טווחי IP לעיתים קרובות?▼
מקורות
- Google Search Central – Verifying Googlebot
- JSON IP Ranges API
- תיעוד סריקה ואינדוקס של Google Search
עדכון אחרון: 2025-11-24
