داستان ۶۰۰ دلاری که گوگل برای یک وبلاگ هوش مصنوعی به آتش کشید
نویسنده: آرش لطیفی — موسس The DevArt
یک دموی Gemini هر بار صفحه جدید می‌ساخت؛ Googlebot هم هر بار مسیر تازه پیدا می‌کرد. نتیجه: ۲۰ دلار توکن در روز و صدها محتوای جعلی توی ایندکس گوگل. درس‌هایی برای هر کسی که سایت مبتنی بر AI دارد.
TL;DR — یک دموی سرگرم‌کننده که هر بار با Gemini صفحه‌ای تازه می‌ساخت، Googlebot را وارد حلقه بی‌پایان کرد: خزنده دائم مسیر جدید پیدا می‌کرد، سایت دائم توکن می‌سوخت، و در نهایت محتوای ساختگی هم وارد نتایج جستجوی گوگل شد. هزینه نهایی: ۶۰۰ دلار در یک ماه.
خیلی‌ها فکر می‌کنند بدترین اتفاقی که برای سایتتان می‌افتد این است که گوگل نیاید. داستان این هفته یکی از توسعه‌دهنده‌ها نشان داد که برعکسش هم می‌تواند فاجعه باشد: وقتی گوگل زیاد از حد بیاید — و سایت شما طوری ساخته شده که هر بازدید برایتان پول بالاسری دارد.
چه اتفاقی افتاد؟
استیون یو (نویسنده وبلاگ Higashi) دو دموی «Generative UI» ساخته بود؛ از جمله یک کلون هکر نیوز که هر بار بازش می‌کردید، Gemini محتوایش را همان لحظه می‌ساخت: پست‌ها، کاربرها، کامنت‌ها — همه روی هوا. جالب بود، تا اینکه صورت‌حساب Google AI Studio اش رسید: ۶۰۰ دلار در یک ماه، یعنی حدود ۲۰ دلار توکن در روز.
مقصر کی بود؟ لاگ‌ها گفتند: Googlebot
وقتی لاگ‌های Heroku را نگاه کرد، دیدید تقریباً همه ترافیک کلون هکر نیوز از یک IP ثابت می‌آید. ریورس‌لوک‌آپ همان IP به هاست‌نیم crawl-192-178-7-168.googlebot.com رسید — یعنی خزنده خود گوگل.
چرا خزنده دیوانه شده بود؟ چون سایت هر بار که باز می‌شد محتوای متفاوتی می‌ساخت:
- هر بار لینک‌های ناوبری جدید بود، پس Googlebot فکر می‌کرد «صفحات تازه» پیدا کرده و دنبالشان می‌رفت
- هر صفحه جدید یعنی یک درخواست API جدید به Gemini، یعنی توکن جدید و پول جدید
- این حلقه هیچ‌وقت تموم نمی‌شد: خزنده کشف می‌کرد → سایت می‌ساخت → مسیر تازه ظاهر می‌شد → دوباره کشف می‌کرد
تابلو دوم: ایندکس پر از محتوای جعلی
حالا بخش تلخ ماجرا. استیون کنجکاو شد ببیند گوگل با این همه صفحه ساختگی چه کرده. جستجو کرد و دید که آن «اخبار» و پست‌های جعلی‌ای که Gemini ساخته بود، واقعاً وارد نتایج جستجوی گوگل شده‌اند — ده‌ها صفحه نتیجه از محتوای دورغ. یعنی یک سایت با محتوای تولیدشده توسط مدل، بدون هیچ نظارتی، داشت فضای نتایج جستجو را آلوده می‌کرد.
درس‌ها برای سایت‌های واقعی
احتمالاً شما هم یک کلون هکر نیوز مولّد ندارید. ولی اگر هر بخشی از سایتتان — ترجمه، توضیح محصول، جواب چت‌بات، خلاصه محتوا — روی یک LLM پولی سوار است، همین سناریو برای شما هم قابل تکرار است:
| ریسک | علامتش چیست | درمان |
|---|---|---|
| خزنده‌ای که هزینه می‌سازد | لاگ سرور پر از درخواست‌های Googlebot به مسیرهای سنگین | مسیرهای پرهزینه را در robots.txt ببندید؛ صفحات مولّد را کش کنید |
| محتوای نامتمرکز در ایندکس | در نتایج جستجو، صفحاتی از دامنه شما می‌بینید که هیچ‌وقت نساخته‌اید | URL های تولیدشده را audit کنید؛ noindex یا حذف |
| ترافیک تقلبی که بازدید واقعی به نظر می‌رسد | آمپرنت خوب است ولی هیچ تبدیلی ندارد | لاگ را با Analytics مقایسه کنید؛ ترافیک bot را جدا کنید |
نکته‌ی پولی ماجرا این است: بازدیدِ بیشتر همیشه یعنی فروش بیشتر نیست. این دمو ترافیک ساعتی داشت — و هر بازدیدش پول از جیب صاحبش می‌برد. اگر سایتتان مسیرهایی دارد که هر رندرشان به API پولی می‌خورد، سقف بگذارید: کش سمت سرور، rate limit، یا برای خزنده‌ها مسیرهای ارزان‌تر.
چک‌لیست اگر محتوای AI در سایت دارید
- [ ] لاگ سرور را نگاه کنید: کدام IP ها و خزنده‌ها بیشترین درخواست را به مسیرهای سنگین می‌زنند؟
- [ ] مسیرهای مولّدِ پرهزینه را در
robots.txtمستثنا کنید یا برایشان نسخه کش‌شده سرو کنید - [ ] سقف هزینه روزانه برای API مدل تنظیم کنید (AI Studio و اکثر سرویس‌ها این را دارند)
- [ ] در گوگل
site:yourdomain.irبزنید و ببینید URL ای ایندکس شده که ندیده‌اید؟ - [ ] برای صفحات مولّد
noindexبگذارید مگر اینکه واقعاً بخواهید ایندکس شوند - [ ] ترافیک bot را از Analytics جدا کنید تا بازدید واقعی را نبینید و خودتان را گول نزنید
این داستان چه ربطی به سئو عادی دارد؟
شاید فکر کنید «من اصلاً محتوای مولد ندارم، به من ربطی ندارد.» دو تا نکته:
اول، درس عمومی‌اش برای همه است: هر چیزی که به خزنده سرو می‌کنید، هزینه و پیامد دارد. صفحاتی که سهواً ایندکس می‌شوند (پارامترهای سرچ داخلی، نسخه‌های تست، صفحات فیلتر نامحدود) همان حلقه بی‌پایان را با مقیاس کمتر می‌سازند — نه توکن می‌سوزانند، ولی بودجه خزش (crawl budget) شما را می‌خورند.
دوم، همان‌طور که نویسنده پست هم اشاره کرد، مدل‌های زبانی و AI ها هم بخشی از ترافیک سایت‌ها شده‌اند — ولی این ترافیک اغلب click ندارد. یعنی نه‌فقط خزنده‌ای که پول می‌سوزاند، بلکه خزنده‌ای که هیچ تبدیلی هم نمی‌آورد. تصمیم درباره اینکه به چه کسی اجازه دهید چه چیزی را بخواند، الان یک تصمیم واقعاً تجاری است، نه فنی.
سوالات پرتکرار
Q: چطور بفهمم گوگل دارم پولم را می‌سوزاند؟
لاگ سرورتان را نگاه کنید و درخواست‌های Googlebot را به مسیرهای پرهزینه (API، رندر سنگین) برسانید. اگر سایتتان مسیر مولّد پولی دارد و خزنده زیاد آن را صدا می‌زند، همین الگو تکرار شده. ابزار ساده: grep روی لاگ + شمارش درخواست به هر مسیر.
Q: راه درست جلوگیری از ایندکس شدن محتوای مولد چیست؟
noindex برای صفحاتی که نمی‌خواهید ایندکس شوند، و robots.txt برای بستن مسیرهایی که اصلاً نباید خزیده شوند. این دو فرق دارند: robots.txt خزنده را از ورود منع می‌کند ولی اگر صفحه لینک خورده باشد، ممکن است بدون محتوا ایندکس شود؛ noindex ایندکس را ممنوع می‌کند ولی باید صفحه قابل خزش باشد تا دیده‌اش کند.
Q: هزینه API مدل چطور کنترل می‌شود؟
سقف بگذارید. در AI Studio و اکثر سرویس‌های مشابه، می‌توانید بودجه روزانه تعیین کنید. علاوه بر آن، کش سمت سرور برای خروجی‌های تکراری بگذارید — اگر یک صفحه قرار است ده بار دیده شود، یک بار بسازید و ده بار همان را سرو کنید.