چرا رپورتاژ شما در گوگل دیده نمی‌شود؟ بررسی دلایل فنی و راهکارهای رفع مسدودیت ایندکس

گاهی هزینه‌ی زیادی برای انتشار رپورتاژ می‌پردازید، اما به دلیل تنظیمات پنهان سایت ناشر، خزنده‌های گوگل هرگز آن را نمی‌بینند. در این مطلب یاد می‌گیرید چگونه با بررسی کدهای HTML، هدرهای سرور و فایل Robots.txt، وضعیت ایندکس رپورتاژ خود را به‌صورت فنی بسنجید و در صورت مسدود بودن صفحه، مراحل قانونی و اصولی را برای زنده کردن کمپین خود طی کنید.

لینک صفحه‌ی رپورتاژ را باز می‌کنید، متن دقیق است، تصاویر به‌درستی قرار گرفته‌اند و بک‌لینک‌ها هم سر جایشان هستند. در ظاهر همه‌چیز بی‌نقص به نظر می‌رسد و منتظر انتقال اعتبار به سایتتان می‌مانید؛ اما چند هفته بعد متوجه می‌شوید که این صفحه اصلا برای موتورهای جستجو وجود خارجی ندارد. این موقعیت دقیقا زمانی رخ می‌دهد که ناشر در پشت‌پرده‌ی سایت و در لایه‌های فنی، دسترسی خزنده‌های گوگل به محتوای شما را خواسته یا ناخواسته مسدود کرده است و خزنده‌ها پیش از رسیدن به لینک‌های شما متوقف می‌شوند.

یافتن تگ Noindex در کدهای HTML صفحه ناشر

ساده‌ترین و رایج‌ترین روش برای بررسی وضعیت ایندکس یک صفحه، بررسی کدهای HTML آن است. گاهی رسانه‌های ناشر، چه به‌صورت عمدی و چه بر اثر خطای تنظیمات سایت، تگ Noindex را در کدهای صفحه قرار می‌دهند. این تگ مانند یک تابلوی «ورود ممنوع» عمل می‌کند و به خزنده‌های موتورهای جستجو می‌گوید که این محتوا نباید در نتایج جستجو نمایش داده شود. برای پیدا کردن این تگ در صفحه‌ی رپورتاژ، دو راه پیش روی شماست: بررسی دستی و استفاده از افزونه‌ها.

جستجوی دستی متا تگ روبوتس در سورس کد صفحه

بررسی دستی نیازی به هیچ ابزار اضافه‌ای ندارد و مستقیما به شما نشان می‌دهد که سایت میزبان دقیقا چه دستوری به موتورهای جستجو داده است. برای این کار کافی است در صفحه‌ی رپورتاژ خود راست‌کلیک کرده و گزینه‌ی View Page Source را انتخاب کنید (یا از کلیدهای ترکیبی Ctrl + U استفاده کنید). با این کار، کدهای پشت‌پرده‌ی صفحه در یک تب جدید باز می‌شود. حالا با زدن Ctrl + F در ویندوز یا Command + F در مک، کلمه‌ی noindex یا robots را جستجو کنید. اگر در بین کدها به عبارتی شبیه به <meta name="robots" content="noindex"> برخوردید، به این معنی است که صفحه‌ی شما از سمت رسانه مسدود شده است.

برای مثال، فرض کنید هزینه‌ی زیادی برای انتشار یک رپورتاژ در یک مجله‌ی اینترنتی لوازم خانگی پرداخت کرده‌اید، اما بعد از دو هفته هنوز اثری از آن در گوگل نیست. با باز کردن سورس کد صفحه متوجه می‌شوید تگ Noindex در کدهای آن قرار دارد؛ این یعنی گوگل صفحه را دیده، اما به دلیل این دستور، از قرار دادن آن در نتایج خودداری کرده است. در مقابل، اگر تگ شامل عبارت index باشد یا اصلا چنین تگی در کدها وجود نداشته باشد، یعنی از نظر کدهای HTML مانعی برای حضور در نتایج وجود ندارد.

افزونه‌های کاربردی مرورگر برای تشخیص سریع وضعیت ایندکس

اگر به‌عنوان یک متخصص سئو یا مدیر کمپین به‌طور مداوم صفحات رپورتاژ مختلف را بررسی می‌کنید، جستجوی دستی کدهای HTML در مرورگر می‌تواند زمان‌بر و خسته‌کننده باشد. در این شرایط، افزونه‌های مرورگر به کمک شما می‌آیند. این ابزارها به محض ورود به هر صفحه، وضعیت آن را بررسی کرده و در صورت وجود تگ‌های مسدودکننده، سریعا به شما هشدار می‌دهند. برای تشخیص بی‌دردسر وضعیت متاتگ روبوتس، می‌توانید از این افزونه‌های معتبر و رایگان در مرورگر کروم استفاده کنید:

• افزونه Detailed SEO Extension: یکی از سبک‌ترین و سریع‌ترین افزونه‌های سئو است. با یک کلیک روی آیکون آن، در همان تب اول وضعیت متاتگ روبوتس و قابلیت ایندکس صفحه به‌صورت واضح و خوانا نمایش داده می‌شود.
• افزونه SEO META in 1 CLICK: این افزونه اطلاعات ساختاری صفحه را در یک نگاه دسته‌بندی می‌کند. در بخش خلاصه‌ی اطلاعات، اگر رسانه‌ی ناشر صفحه را روی حالت Noindex تنظیم کرده باشد، افزونه آن را با رنگ قرمز متمایز می‌کند تا در نگاه اول متوجه مشکل شوید.
• افزونه SEO Minion: ابزاری بسیار کاربردی که در بخش Analyze On-Page SEO، دستورات مربوط به خزنده‌ها را به دقت نمایش می‌دهد و علاوه بر ایندکس، وضعیت لینک‌های داخلی صفحه‌ی رپورتاژ را هم بررسی می‌کند.

با نصب یکی از این ابزارها، در کمتر از چند ثانیه متوجه می‌شوید که آیا ناشر، رپورتاژ شما را برای ورود به نتایج گوگل آزاد گذاشته است یا خیر.

شناسایی X-Robots-Tag پنهان در هدرهای HTTP

گاهی اوقات صفحه‌ی رپورتاژ شما ایندکس نمی‌شود، در حالی که با بررسی کدهای HTML هیچ اثری از تگ Noindex پیدا نمی‌کنید. در این شرایط، ممکن است ناشر دسترسی موتورهای جستجو را از طریق سرور و با استفاده از X-Robots-Tag مسدود کرده باشد.

این تگ در کدهای ظاهری صفحه وجود ندارد، بلکه در هدرهای HTTP (پیام‌های پنهانی که سرور سایت برای مرورگر یا خزنده‌های گوگل می‌فرستد) قرار می‌گیرد. قدرت این تگ بسیار بالاست و اگر سرور دستور Noindex بدهد، گوگل قطعا صفحه را نادیده می‌گیرد؛ حتی اگر در ظاهر سایت هیچ مشکلی نباشد.

برای مثال، فرض کنید یک رپورتاژ در یک سایت معتبر اقتصادی منتشر کرده‌اید. کدهای HTML کاملا تمیز هستند و افزونه‌های سئو هم خطایی نشان نمی‌دهند، اما پس از گذشت چند هفته گوگل هنوز صفحه را نمی‌بیند. در اینجا احتمال زیادی وجود دارد که سرور سایت میزبان، هدر X-Robots-Tag را با مقدار Noindex ارسال کرده باشد. برای پیدا کردن این دستور پنهان، دو روش پیش رو دارید.

خواندن پاسخ سرور ناشر از طریق تب Network در ابزار Inspect Element

مطمئن‌ترین راه برای دیدن هدرهای سرور، استفاده از ابزارهای خود مرورگر است. این کار نیازی به دانش برنامه‌نویسی ندارد و در چند قدم ساده انجام می‌شود:

1. صفحه‌ی رپورتاژ را در مرورگر (مانند کروم) باز کنید.
2. روی نقطه‌ی خالی از صفحه راست‌کلیک کرده و گزینه‌ی Inspect را انتخاب کنید (یا کلید F12 کیبورد را بزنید).
3. در پنجره‌ای که باز می‌شود، از منوی بالا به تب Network بروید.
4. حالا صفحه‌ی سایت را یک‌بار رفرش کنید (کلید F5). لیستی از فایل‌های در حال بارگذاری نمایش داده می‌شود.
5. به بالاترین نقطه‌ی لیست بروید و روی اولین آیتم که معمولا دقیقا همان آدرس رپورتاژ شماست، کلیک کنید.
6. در پنل جدیدی که باز می‌شود، بخش Response Headers (پاسخ‌های سرور) را پیدا کنید.

حالا در میان اطلاعات این بخش به دنبال عبارت X-Robots-Tag بگردید. اگر این عبارت را با مقدار noindex دیدید، به این معناست که ناشر از طریق سرور جلوی ورود رپورتاژ شما به نتایج جستجو را گرفته است. اما اگر اصلا چنین هدری وجود نداشت، یعنی سرور مانعی برای گوگل ایجاد نکرده است.

تست وضعیت هدر صفحه‌ی رسانه با ابزارهای آنلاین

اگر کار با محیط برنامه‌نویسی مرورگر برایتان پیچیده است یا می‌خواهید وضعیت چند رپورتاژ مختلف را به سرعت بررسی کنید، بهترین راه استفاده از ابزارهای آنلاین بررسی هدر (HTTP Header Checkers) است. این ابزارها نقش یک واسطه را بازی کرده و پیام‌های پنهان سرور ناشر را برای شما استخراج می‌کنند. سایت‌های رایگانی مانند HTTPStatus.io یا ابزار Web Sniffer گزینه‌های بسیار مناسبی برای این کار هستند.

روند کار به این شکل است که آدرس کامل (URL) رپورتاژ خود را در کادر این سایت‌ها وارد می‌کنید. ابزار پس از بررسی، یک گزارش متنی از کدهای سرور به شما می‌دهد. شما فقط باید با یک جستجوی ساده (زدن کلیدهای Ctrl+F) در متن گزارش به دنبال کلمه‌ی X-Robots-Tag بگردید. استفاده از این ابزارها به‌خصوص زمانی که مدیر یک کسب‌وکار هستید و می‌خواهید بدون درگیری با مسائل فنی، مطمئن شوید رسانه‌ی میزبان به تعهدات خود برای نمایش محتوا عمل کرده است، بسیار کاربردی و سریع است.

اعتبارسنجی دسترسی ربات‌ها در فایل Robots.txt ناشر

گاهی اوقات کدهای صفحه و هدرهای سرور هیچ مشکلی ندارند و کاملا برای حضور در نتایج گوگل آماده‌اند، اما رپورتاژ شما همچنان ایندکس نمی‌شود. در این حالت، پای فایل Robots.txt در میان است. این فایل متنی، اولین جایی است که خزنده‌های موتورهای جستجو هنگام ورود به یک سایت بررسی می‌کنند تا نقشه‌ی راه خود را پیدا کنند.

فایل روبوتس نقش یک نگهبان ورودی را دارد که به ربات‌ها می‌گوید اجازه‌ی ورود به کدام مسیرها و پوشه‌های سایت را دارند و کدام بخش‌ها ممنوع است. اگر رسانه‌ی ناشر، مسیر قرارگیری رپورتاژ شما را در این فایل مسدود کرده باشد، ربات‌های گوگل اصلا وارد صفحه نمی‌شوند تا بخواهند محتوای آن را بخوانند، چه برسد به اینکه بخواهند آن را در نتایج جستجو نشان دهند یا به بک‌لینک‌های شما اعتباری منتقل کنند.

نحوه‌ی خواندن و تست مسیر رپورتاژ در فایل روبوتس رسانه‌ی میزبان

برای اینکه مطمئن شوید ناشر مسیر رپورتاژ شما را مسدود نکرده است، نیازی به دسترسی مدیریتی به سایت میزبان ندارید. فایل روبوتس عمومی است و بررسی آن تنها چند دقیقه زمان می‌برد. برای این کار می‌توانید از دو روش بررسی چشمی یا ابزارهای آنلاین استفاده کنید.

بررسی دستی فایل متنی:

1. آدرس اصلی (دامنه) سایت ناشر را در مرورگر وارد کنید و در انتهای آن عبارت /robots.txt را بنویسید. نمونه: https://publisher-site.com/robots.txt.
2. با زدن کلید اینتر، یک صفحه با متن‌های ساده و ساختاریافته باز می‌شود.
3. در این صفحه باید به دنبال دستور Disallow (به معنای عدم اجازه‌ی دسترسی) بگردید که زیر دسته‌بندی User-agent: * (برای تمام ربات‌ها) یا User-agent: Googlebot (مخصوص ربات‌های گوگل) نوشته شده باشد.

برای روشن شدن موضوع، فرض کنید کسب‌وکار شما در زمینه‌ی تولید «تجهیزات کوهنوردی» فعالیت می‌کند و رپورتاژی در یک مجله‌ی ورزشی با آدرس https://sportmag.com/pr/hiking-gear منتشر کرده‌اید. وقتی فایل روبوتس این مجله را باز می‌کنید، اگر خطی با عبارت Disallow: /pr/ ببینید، به این معنی است که ناشر به ربات‌های گوگل دستور داده کل مطالبی که در پوشه‌ی pr (رپورتاژها) قرار دارند را نادیده بگیرند. در نتیجه، ربات‌ها پیش از رسیدن به محتوای شما متوقف می‌شوند.

استفاده از ابزارهای تست آنلاین:

گاهی فایل روبوتس رسانه‌های بزرگ بسیار طولانی و پیچیده است و پیدا کردن دستور مسدودکننده در میان ده‌ها خط کد، با چشم کار دشواری است. در این شرایط می‌توانید از ابزارهای رایگان و آنلاین تست فایل روبوتس (Robots.txt Tester) مانند ابزار سایت TechnicalSEO استفاده کنید.

روند کار بسیار ساده است: آدرس کامل رپورتاژ خود را در این ابزار کپی می‌کنید و نوع خزنده‌ای که می‌خواهید تست کنید (مثلا Googlebot) را انتخاب می‌کنید. ابزار در کسری از ثانیه فایل روبوتس سایت میزبان را می‌خواند و با یک پیام سبز رنگ (Allowed) به معنای باز بودن مسیر، یا یک پیام قرمز رنگ (Disallowed) به معنای مسدود بودن مسیر، وضعیت دقیق دسترسی رپورتاژ شما را مشخص می‌کند.

تایید قطعی حضور رپورتاژ در پایگاه داده موتورهای جستجو

انتشار رپورتاژ در سایت میزبان پایان کار نیست. تا زمانی که موتورهای جستجو صفحه‌ی رپورتاژ شما را پیدا نکنند و در پایگاه داده‌ی خود ثبت نکنند، هیچ ارزشی به سایت شما منتقل نمی‌شود و ترافیکی دریافت نخواهید کرد. به فرآیند ثبت‌شدن صفحه در دیتابیس موتورهای جستجو مثل گوگل، ایندکس شدن (Indexing) می‌گویند. برای اطمینان از این موضوع، دو روش ساده و قطعی وجود دارد که در ادامه بررسی می‌کنیم.

کاربرد اپراتور جستجوی Site برای آدرس دقیق صفحه

سریع‌ترین راه برای اینکه بفهمید گوگل رپورتاژ شما را دیده و ثبت کرده است یا نه، استفاده از اپراتور جستجوی site: است. این دستور به گوگل می‌گوید که در نتایج خود فقط به دنبال یک آدرس مشخص بگردد. برای استفاده از این روش، کافی است عبارت site: را بنویسید و سپس (بدون فاصله) آدرس دقیق صفحه‌ی رپورتاژ خود را مقابل آن وارد کنید.

مثلا فرض کنید یک رپورتاژ برای خدمات «تعمیر دستگاه‌های اسپرسوساز صنعتی» در یک مجله‌ی اینترنتی منتشر کرده‌اید. برای بررسی وضعیت آن، این عبارت را در نوار جستجوی گوگل وارد می‌کنید:

site:magazine-website.com/espresso-machine-repair

• اگر صفحه‌ی رپورتاژ در نتایج جستجو ظاهر شد، یعنی گوگل آن را ایندکس کرده است.
• اگر گوگل پیامی مبنی بر پیدا نشدن نتیجه نشان داد، به این معنی است که صفحه هنوز توسط خزنده‌های گوگل بررسی و ثبت نشده است.

بررسی نسخه‌ی کش‌شده‌ی گوگل برای اطمینان از خزش صحیح محتوا

گاهی اوقات صفحه‌ی رپورتاژ شما ایندکس می‌شود، اما این تضمین نمی‌کند که گوگل تمام محتوای آن (مخصوصا بک‌لینک‌های شما) را به‌درستی خوانده باشد. گوگل هنگام بررسی صفحات، یک نسخه‌ی متنی یا تصویری از وضعیت آن لحظه‌ی صفحه ذخیره می‌کند که به آن نسخه‌ی کش (Cache) می‌گویند.

بررسی این نسخه به شما نشان می‌دهد که موتور جستجو دقیقا چه چیزی را از صفحه‌ی شما درک کرده است. برای دسترسی به این نسخه، می‌توانید از دستور cache: قبل از آدرس دقیق رپورتاژ در نوار مرورگر استفاده کنید. با باز شدن این صفحه، باید دو نکته‌ی کلیدی را بررسی کنید:

• حضور و سلامت لینک‌ها: آیا بک‌لینک‌هایی که به سایت خود داده‌اید در این نسخه وجود دارند و قابل کلیک هستند؟
• محتوای متنی: آیا متن رپورتاژ به‌صورت کامل خوانده شده است یا بخش‌هایی از آن جا افتاده است؟

فرض کنید یک کلینیک دندان‌پزشکی رپورتاژی درباره‌ی «مراحل انجام ایمپلنت دندان» منتشر می‌کند. سپس با جستجوی site: متوجه می‌شود صفحه در گوگل ثبت شده است؛ اما وقتی نسخه‌ی کش را بررسی می‌کنند، می‌بینند که به دلیل نوع طراحی یا کدهای جاوااسکریپت در سایت میزبان، پاراگراف آخر که شامل نام کلینیک و بک‌لینک اصلی است، اصلا توسط گوگل خوانده نشده است. این یعنی با وجود ایندکس شدن صفحه، هیچ اعتباری به سایت کلینیک منتقل نمی‌شود. در چنین شرایطی باید سریعا با پشتیبانی سایت میزبان تماس گرفت تا مشکل فنی نمایش محتوا را رفع کنند.

اقدامات لازم در زمان مواجهه با صفحه‌ی رپورتاژ مسدود شده

گاهی پس از صرف زمان و هزینه برای آماده‌سازی و انتشار رپورتاژ، متوجه می‌شوید که صفحه‌ی موردنظر از دید موتورهای جستجو پنهان مانده یا به‌طور کامل مسدود شده است. این اتفاق باعث می‌شود هیچ ارزش و اعتباری از سمت سایت ناشر به سایت شما منتقل نشود. در این شرایط، پیش از هرگونه نگرانی، باید مراحل زیر را به‌صورت ساختاریافته و دقیق پیش ببرید.

۱. تشخیص دقیق علت و نوع مسدودیت

پیش از تماس با سایت میزبان، باید بدانید دقیقا چه مشکلی برای رپورتاژ شما ایجاد شده است. مسدود شدن صفحه معمولا به یکی از سه حالت زیر رخ می‌دهد:

• حذف کامل صفحه (خطای ۴۰۴): آدرس رپورتاژ به‌طور کل از روی سرور سایت میزبان پاک شده است و با باز کردن آن با پیام خطا مواجه می‌شوید.
• وجود تگ نوایندکس (Noindex): صفحه باز می‌شود و محتوا قابل‌خواندن است، اما در کدهای مخفی صفحه دستوری قرار گرفته که به گوگل می‌گوید این محتوا را در نتایج جستجو ثبت نکند.
• انسداد در فایل robots.txt: سایت میزبان از طریق کدها یا فایل‌های کنترلی، ورود و بررسی خزنده‌های گوگل به مسیر یا دسته‌بندی رپورتاژ شما را ممنوع کرده است.

۲. مستندسازی و تماس سریع با پشتیبانی رسانه

در بیشتر مواقع، مسدود شدن رپورتاژ یک اقدام عمدی نیست؛ بلکه به دلیل خطاهای انسانی، تغییر قالب یا به‌روزرسانی‌های فنی در سایت ناشر رخ می‌دهد. از وضعیت صفحه اسکرین‌شات بگیرید، دلیل مسدودیت (مثلا وجود تگ نوایندکس) را مشخص کنید و موضوع را فورا به تیم پشتیبانی سایت میزبان اطلاع دهید.

فرض کنید یک شرکت رپورتاژی را در یک مجله‌ی آنلاین منتشر کرده است. پس از یک ماه، سئوکار شرکت متوجه می‌شود که رپورتاژ مسدود شده است. با بررسی کدها، وجود تگ نوایندکس تایید می‌شود. با ارسال یک تیکت به پشتیبانی مجله، مشخص می‌شود که تیم فنی سایت در حال به‌روزرسانی دسته‌بندی مقالات بوده‌اند و این تگ به‌اشتباه روی همه‌ی محتواهای قدیمی اعمال شده است؛ که معمولا این مشکل در کمتر از چند ساعت برطرف می‌شود.

۳. بازبینی قوانین انتشار رسانه‌ی میزبان

اگر سایت میزبان اعلام کرد که صفحه عمدا حذف یا از دسترس گوگل خارج شده است، پیش از هر اقدامی شرایط خرید رپورتاژ را دوباره مرور کنید. رسانه‌هایی وجود دارند که در قوانین خود به‌صراحت ذکر می‌کنند رپورتاژها را تنها برای مدت محدودی (مثلا یک سال) نگه می‌دارند و پس از آن محتوا را بایگانی یا لینک‌ها را غیرفعال می‌کنند. اگر زمان توافق‌شده به پایان رسیده باشد، حذف صفحه طبیعی است.

۴. درخواست جایگزینی محتوا یا جبران خسارت

اگر رسانه‌ی میزبان بدون دلیل موجه و پیش از پایان زمان توافق، رپورتاژ شما را مسدود کرده باشد و امکان اصلاح فنی صفحه را نداشته باشد، موظف به جبران است. در این حالت باید یکی از دو راهکار زیر را پیگیری کنید:

• درخواست انتشار مجدد همان محتوا در یک آدرس جدید با حفظ تمام لینک‌ها، بدون پرداخت هزینه‌ی اضافه.
• درخواست بازگشت کامل بودجه‌ی پرداختی برای آن رپورتاژ.

با اجرای این مراحل مشخص، می‌توانید در سریع‌ترین زمان وضعیت کمپین‌های لینک‌سازی خود را روشن کنید و مانع از هدر رفتن بودجه‌ی سئو و دیجیتال مارکتینگ کسب‌وکار شوید.

سوالات متداول

۱. آیا استفاده‌ی رسانه‌ی میزبان از تگ Canonical به صفحه‌ای دیگر، باعث خروج رپورتاژ از نتایج می‌شود؟

بله، موتورهای جستجو معمولا تنها آدرسی را در نتایج نشان می‌دهند که تگ کنونیکال به آن اشاره می‌کند. اگر رسانه‌ی میزبان تگ کنونیکال رپورتاژ شما را روی صفحه‌ی دیگری تنظیم کرده باشد، گوگل اعتبار صفحه‌ی شما را به آن آدرس هدف منتقل کرده و خود رپورتاژ را از نتایج جستجو خارج می‌کند.

۲. پس از حذف تگ Noindex توسط ناشر، چقدر زمان برای ایندکس مجدد صفحه لازم است؟

زمان دقیقی برای این فرآیند وجود ندارد و بازگشت صفحه به نتایج جستجو معمولا بین چند روز تا چند هفته زمان می‌برد. این فاصله‌ی زمانی تا حد زیادی به میزان اعتبار و فعالیت رسانه‌ی میزبان، بودجه‌ی خزش سایت و سرعت بررسی مجدد ربات‌های گوگل بستگی دارد.

۳. آیا Nofollow بودن لینک‌های داخل متن رپورتاژ، روی ایندکس شدن کل صفحه تاثیر می‌گذارد؟

خیر، نوفالو بودن لینک‌های داخل متن هیچ ارتباطی با روند ایندکس شدن خود صفحه‌ی رپورتاژ ندارد. این ویژگی تنها به ربات‌های جستجوگر می‌گوید که اعتباری از طریق آن لینک‌ها به سایت مقصد منتقل نکنند، اما به هیچ وجه مانع خزش محتوا و ثبت صفحه‌ی رپورتاژ در پایگاه داده‌ی گوگل نمی‌شود.