سایتم در گوگل ایندکس نمی‌شود؛ ۷ علت رایج و راه حل عملی

TL;DR — اگر سایتت در Search Console «کشف نشده» یا «حذف شده» گزارش می‌شود، مشکل تقریباً همیشه یکی از این هفت مورد است؛ کدام‌یک را با تست curl در ۱۰ دقیقه می‌شود پیدا کرد.

بیشتر فروشگاه‌های اینترنتی ایران یک مشکل مشترک دارند: سایت بالا می‌آید، محصولات قیمت خوبی دارند، ولی در گوگل دیده نمی‌شوند. مشتری می‌آید سراغ دیجی‌کالا یا اسمی که شنیده، و فروشنده‌ای که در دسترس نیست، فروش می‌رود.

قبل از هر کار اضافه‌ای، این چند دقیقه را صرف پیدا کردن علت کن. توی این مقاله هفت دلیل رایج را به ترتیب احتمال می‌گوییم.

اول: مشکل از کجاست؟ گزارش Coverage را بخوان

وارد Google Search Console شو و به Pages یا Indexing برو. سه وضعیت را جدی بگیر:

• Discovered – currently not indexed: گوگل صفحه را دیده ولی تصمیم گرفته ایندکس نکند. معمولاً کیفیت پایین، لینک داخلی ضعیف یا محتوای تکراری است.
• Crawled – currently not indexed: صفحه خزیده شده ولی بیرون گذاشته شده. سیگنال کم‌ارزش بودن می‌دهد.
• Excluded by noindex tag: این یعنی خودت داری می‌گویی ایندکس نشود. معمولاً یک تگ noindex جا مانده در قالب.

اگر Excluded را دیدی، نیازی به حدس زدن نداری؛ فقط باید آن تگ را پیدا کنی.

| وضعیت در سرچ کنسول | یعنی چه | اولین کاری که باید بکنی | | --- | --- | --- | | Excluded by noindex tag | خودت ایندکس را ممنوع کرده‌ای | هدر پاسخ و قالب را چک کن | | Discovered – currently not indexed | دیده شده ولی بیرون گذاشته شده | محتوا و لینک داخلی را تقویت کن | | Crawled – currently not indexed | خزیده و رهکنار گذاشته شده | تکراری بودن و کیفیت را بررسی کن | | Crawl error | خطای سرور یا تایم‌اوت | لاگ سرور و زمان پاسخ را ببین | | Page with redirect | آدرس به جای دیگری می‌رود | زنجیره ریدایرکت را اصلاح کن | | Duplicate without user-selected canonical | دو آدرس برای یک صفحه | تگ کاننیکال را اضافه کن |

۱. تگ noindex جا مانده در هدر

کلاسیک‌ترین اشتباه. خیلی از قالب‌های فروشگاهی برای صفحات پیش‌نویس یا فیلترها noindex می‌گذارند و بعد یادشان می‌رود.

هدر پاسخ را خودت چک کن:

اگر noindex برگرداند، تا وقتی این خط را از کد برداری، ایندکس شدن غیرممکن است. در Next.js این هدر معمولاً از یکی از این‌ها می‌آید:

اگر محصول منتشرشده است، robots را حذف یا به index: true تغییر بده.

۲. فایل robots.txt مسیر را بسته

خیلی سایت‌ها در فایل robots.txt کل مسیر محصولات را بلاک می‌کنند، چون فکر می‌کنند دارند از صفحات کم‌ارزش محافظت می‌کنند.

دنبال Disallow: /product یا Disallow: / بگرد. برای فروشگاه، بلاک کردن کل مسیر محصول یعنی حذف کل درآمد ارگانیک.

۳. فایل sitemap.xml خالی یا اشتباه است

سایت‌مپ قرار نیست به گوگل بگوید «حتماً ایندکس کن»؛ فقط می‌گوید «این‌ها صفحاتی هستند که می‌خواهم بدانی». اگر خالی باشد، عملاً هیچ مسیر معرفی نشده.

اگر آدرس دامنه‌ات داخل سایت‌مپ با آدرس سایت فرق دارد (مثلاً www و بدون www)، همه صفحات به عنوان تکراری شناخته می‌شوند. این را در next-sitemap یا تنظیمات metadataBase در فایل robots کنترل کن.

۴. محتوای تکراری بین نسخه‌های موبایل و دسکتاپ

اگر دو نسخه از یک صفحه داری و بدون تگ کاننیکال، هر دو ایندکس شده‌اند، گوگل یکی را انتخاب می‌کند و آن یکی از کار می‌افتد.

در <head> هر صفحه باید دقیقاً یک این باشد:

کاننیکال را به این آدرس بده: نسخه‌ای که خودت می‌خواهی در گوگل باشد. برای صفحات فیلتر و سورت، کاننیکال را به نسخه بدون پارامتر بده.

۵. لینک داخلی صفر: صفحه‌های یتیم

صفحه‌ای که هیچ لینکی از داخل سایت به آن نمی‌رسد، عملاً برای خزنده وجود ندارد. این مشکل در فروشگاه‌ها شایع است: محصول جدید اضافه می‌شود ولی هیچ‌جا به آن لینک داده نمی‌شود.

قانون عملی: هر محصول باید حداقل از یک دسته‌بندی و یک صفحه داخلی دیگر لینک بگیرد. برای محصولات کم‌فروش، لینکشان را در بلوک «پرفروش‌ترین‌ها» هم بگذار.

۶. سرعت کند و سیگنال‌های ضعیف تجربه

اگر Core Web Vitals خیلی بد باشد، خزنده بودن صفحه را کم می‌کند و در نتیجه صفحات کمتری خزیده می‌شوند. راه‌حل عملی: تصاویر را WebP کن، LCP زیر ۲.۵ ثانیه نگه دار و فونت‌ها را font-display: swap بگذار. جزئیات بیشتر در راهنمای سرعت سایت و Core Web Vitals هست.

۷. محتوای نازک برای ایندکس

صفحه‌ای با یک عنوان و دو خط متن، ارزش خزیدن ندارد. گوگل آن را می‌بیند و کنار می‌گذارد. برای محصول، حداقل یک بخش مشخصات فنی، یک بخش نحوه استفاده و چند سوال متداول بنویس. ساختار درست صفحه محصول را در راهنمای صفحه محصول فروشنده‌ها گفته‌ام.

چک‌لیست عملی: این هفته انجام بده

• [ ] curl -sI روی یک صفحه محصول و بررسی نبود X-Robots-Tag: noindex
• [ ] بازبینی کامل robots.txt برای Disallowهای ناخواسته
• [ ] بررسی خالی نبودن و درست بودن دامنه در sitemap.xml
• [ ] اطمینان از وجود یک تگ کاننیکال روی هر صفحه
• [ ] ثبت example.com و سایت با و بدون www در Search Console
• [ ] درخواست URL Inspection برای سه صفحه کلیدی و زدن Request Indexing
• [ ] حذف لینک‌های noindex از قالب و تست دوباره بعد از ۴۸ ساعت
• [ ] بررسی سرعت سه صفحه کلیدی با PageSpeed Insights

بعد از درخواست ایندکس چقدر صبر کنیم؟

درخواست ایندکس یعنی «همین الان بیا ببین»، نه «همین الان ایندکس کن». معمولاً بین چند ساعت تا چند روز طول می‌کشد. اگر بعد از یک هفته وضعیت صفحه هنوز همان است، برگرد و ببین کدام‌یک از هفت مورد بالا هنوز پابرجاست. چون تا وقتی علت را درست نزدی، هر کار اضافه‌ای فقط وقت و پول است.

اگر می‌خواهی یک چک‌لیست کلی‌تر برای صفحه به صفحه سایتت داشته باشی، چک‌لیست سئوی تکنیکال سایت را بردار و با همین موارد تیک بزن.

سوالات متداول

Q: آیا درخواست ایندکس روی ۵۰ صفحه بیشتر، رتبه‌بیاورتری می‌دهد؟

نه لزوما. درخواست ایندکس فقط صفحه را وارد صف پیگیری می‌کند. کیفیت لینک داخلی و لینک‌سازی طبیعی از بیرون، تاثیر بیشتری روی رتبه دارد.

Q: سایتم در Search Console هست ولی باز هم ایندکس نمی‌شود، چرا؟

می‌تواند خطای دامنه داشته باشی (property اشتباه)، یا اینکه خطای سرور (۵xx) در زمان خزیدن داشته‌ای. هر دو را در Settings بررسی کن.

Q: چقدر طول می‌کشد تا صفحات جدید ایندکس شوند؟

برای فروشگاه‌های کوچک معمولاً چند روز تا دو هفته. اگر سایتت پر از صفحات تکراری یا فیلتر باشد، این عدد می‌رود بالا.

منابع

• Google Search Central — Inspect a URL on Google Search Console: https://support.google.com/webmasters/answer/9012289
• Google Search Central — Robots meta tag and X-Robots-Tag specifications: https://developers.google.com/search/reference/robots_meta_tag
• Google Search Central — Build and submit a sitemap: https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap
• Webmasters Stack Exchange — Will a robots noindex meta tag completely prevent indexing؟ https://webmasters.stackexchange.com/questions/126335/
• Reddit r/SEO — Discovered، currently not indexed: how to solve؟ https://www.reddit.com/r/SEO/comments/17o4syr/