یک توکن برای همه: کنترل جدید آموزش AI در robots.txt
نویسنده: آرش لطیفی — موسس The DevArt
گوگل، OpenAI، مایکروسافت و Anthropic یک سیگنال مشترک به اسم __usage_ai-training برای robots.txt معرفی کردند. اینجا میگم دقیقاً چییه، الان واقعاً کار میکنه یا نه، و فروشگاهها و ناشرها چیکار должны بکنن.
TL;DR — چهار غول AI (گوگل، OpenAI، مایکروسافت و Anthropic) در ۳۰ اکتبر ۲۰۲۶ اعلام کردند که یک توکن مشترک به اسم
__usage_ai-trainingدر robots.txt را میشناسند تا مدیر سایت با یک خط، تنظیم آموزش AI برای همهشان را مشخص کند؛ ولی الان فقط Anthropic واقعاً اجرایش میکند و گوگل از اوایل ۲۰۲۷.
اگر سایت داری، احتمالاً تا حالا با این دردسر دستوپنجه نرم کردهای که برای هر ربات AI باید یک قانون جدا بنویسی: GPTBot برای OpenAI، ClaudeBot برای Anthropic، Google-Extended برای گوگل، و باز هم مایکروسافت توی این بازی اصلاً توکن مستقلی که بتوان جدا «فقط آموزش» را بست نداشت. خبر ۳۰ اکتبر دقیقاً همین خزعبلات را ساده کرد.
ماجرا از کجا شروع شد
گروه کاری AIPREF در IETF مدتهاست روی یک استاندارد وب برای «ترجیحات محتوایی در برابر AI» کار میکند. گوگل در پست رسمی Search Central اعلام کرد از این کار پشتیبانی میکند: بهجای اینکه برای هر شرکت AI یک دستور جدا بنویسی، یک «policy token» مشترک توی robots.txt میگذاری و همهی ارائهدهندگان شرکتکننده آن را میخوانند.
نکتهی مهم برای سایت ایرانی و خارجی فرقی ندارد — این یک سیگنال داوطلبانه است، نه قانونی. هیچ رباتی که بخواهد قانونشکنی کند، مجبور به رعایتش نیست. (قبلاً دربارهی مسئولیت و اعتبار برند در پاسخهای AI نوشتهام؛ این پست مکمل فنی همان ماجراست.)
قانونش این شکلیه
مثلاً اگر میخواهی کل سایت از آموزش مدلها مستثنی باشد ولی پوشهی مطبوعاتیات آزاد بماند:
یک User-Agent، یک نتیجه برای چهار شرکت بزرگ. همین.
نکتهی ظریف گوگل: اگر با این توکن اجازهی آموزش را ببندی و Google-Extended را جداگانه مشخص نکرده باشی، گوگل آن را مثل بستن Google-Extended تفسیر میکند. یعنی سایتت از «grounding» در اپهای Gemini خارج میشود و کلیکهایی که از جوابهای Gemini میآمد را از دست میدهی. این تصمیم صرفاً فنی نیست؛ یک ترید آگاهانه بین «محتوام خوراک مدل نشود» و «از AI پاسخها ترافیک نگیرم» است.
مایکروسافت هم چیزی به اسم DisallowExtended آورده که فقط روی تجربههای خودش مثل Copilot و 365 اثر دارد — یک حرکت غیراستاندارد که Coywolf آن را به سبک Internet Explorer تشبیه کرده.
واقعیت تلخ: الان کدامها اجرایش میکنند؟
| شرکت | پشتیبانی از __usage_ai-training |
| --- | --- |
| Anthropic | از همین حالا فعال |
| OpenAI | در ماههای آینده |
| Google | اوایل ۲۰۲۷ |
| Microsoft | فوریه ۲۰۲۷ |
یعنی اگر امروز فایل robots.txtات را آپدیت کنی، فقط Anthropic آن را رعایت میکند. توکنهای قبلی (GPTBot، Google-Extended، ClaudeBot) همچنان کار میکنند و باید موقتاً کنار توکن جدید بمانند.
چکلیست: الان چیکار کنم؟
- [ ] فایل robots.txt فعلیت را باز کن و ببین الان چه رباتهای AI را بستی یا باز گذاشتی
- [ ] تصمیم استراتژیک بگیر: میخواهی محتوات خوراک آموزش مدلها باشد یا نه؟ (این تصمیم تجاری است، نه فنی)
- [ ] اگر «نه» — توکن
__usage_ai-trainingبا Disallow مناسب را اضافه کن، ولی توکنهای موجود را برندار - [ ] اگر «بله ولی برای گوگل ترافیک Gemini میخواهم» —
Google-Extendedرا صریحاً allow کن - [ ] یادت باشد robots.txt ربات متخلف را متوقف نمیکند؛ برای بوتهایی که ignore میکنند به WAF/خدماتی مثل Cloudflare نیاز داری
- [ ] تقویمت را برای اوایل ۲۰۲۷ بذار که رفتار گوگل را دوباره چک کنی
برای فروشندههای کوچک یعنی چی؟
اگر فروشگاه محصول میفروشی و محتوای راهنماداری (مثل راهنمای انتخاب سایز، مقایسه محصولات، سوالات متداول)، دادهی ساختاریافته و محتوای عمکوتاه تو هنوز برای نمایش در نتایج جستجو و پاسخهای AI مهم است — بستن مسیر آموزش، مسیر نمایش را نمیبندد. این دو تا را قاطی نکن: «آموزش نشو» با «نمایش داده نش» فرق دارد.
از طرفی اگر بیزینست روی ترافیک ارجاعی از پاسخهای Gemini یا ChatGPT حساب میکند، اجازه ندادن به آموزش میتواند در بلندمدت حضورت در آن پاسخها را کم کند. سیگنالِ اجازهی Google-Extended طبق اعلام گوگل، شرط واجد شدن برای کلیک از grounding در Gemini Apps است.
FAQ
Q: با این توکن جدید دیگه به GPTBot و بقیه نیازی نیست؟
فعلاً هست. Anthropic فقط همین توکن مشترک را اجرا میکند؛ OpenAI در ماههای آینده، گوگل اوایل ۲۰۲۷ و مایکروسافت فوریه ۲۰۲۷. تا آن موقع توکنهای قدیمی را نگه دار.
Q: این یعنی محتوات از نتایج جستجو حذف میشود؟
نه. این سیگنال فقط «آموزش مدل» را کنترل میکند، نه ایندکس شدن در جستجو. اگر robots.txtات را خراب نکنی، رتبهی جستجویت دستنخورده میماند.
Q: رباتهایی که قانون رو رعایت نکنند چی؟
هیچ. robots.txt یک توافق داوطلبانه است. برای جلوی رباتهای متخلف باید از لایههای دیگر مثل WAF، محدودیت نرخ درخواست یا سرویسهای مدیریت بات استفاده کنی.