Semalt: Darodar Robots.txt-ты қалай бұғаттауға болады

Robots.txt файлы - бұл веб-тексерушілер немесе боттар сайтты қалай тексеріп шығуға болатындығы туралы нұсқаулардан тұратын типтік мәтіндік файл. Оларды қолдану көптеген оңтайландырылған веб-сайттарда жиі кездесетін іздеу жүйесіндегі боттардан көрінеді. Роботтарды шығарып тастау хаттамасының (REP) бөлігі ретінде robots.txt файлы веб-сайт мазмұнын индекстеудің маңызды аспектісін құрайды, сонымен қатар серверге сәйкесінше пайдаланушы сұраныстарын аутентификациялауға мүмкіндік береді.

Юлия Вашнева, Semalt аға клиенттердің сәттілік менеджері, байланыстыру іздеу ұясын оңтайландырудың (SEO) аспектісі екенін, түсіндіреді, бұл сіздің тауашаңыздағы басқа домендерден трафик алуға мүмкіндік береді. Сілтеме шырынын беру үшін «ілесу» сілтемелері үшін robots.txt файлын веб-сайтыңызға орналастыру кеңістігінде сервердің сіздің сайтыңызбен қалай жұмыс жасайтындығы туралы нұсқаушы ретінде әрекет ету керек. Осы архивтен нұсқаулар кейбір нақты агенттердің әрекетін рұқсат ету немесе болдырмау арқылы берілген.

Robots.txt файлының негізгі форматы

Robots.txt файлында екі маңызды жол бар:

Пайдаланушы-агент: [пайдаланушы-агент атауы]

Рұқсат етілмейді: [URL мекен-жайы тексерілмейді]

Толық robots.txt файлында осы екі жол болуы керек. Алайда, олардың кейбіреулері пайдаланушы агенттері мен директиваларының бірнеше жолдарын қамтуы мүмкін. Бұл пәрмендер рұқсат беру, тыйым салу немесе тексеруді кідірту сияқты аспектілерді қамтуы мүмкін. Әдетте нұсқаулардың әрқайсысын бөлетін сызық бар. Әр нұсқауға рұқсат бермейді немесе тыйым салады, әсіресе бірнеше ретті роботтар.txt үшін осы жол үзілісі арқылы бөлінеді.

Мысалдар

Мысалы, robots.txt файлында келесідей кодтар болуы мүмкін:

Пайдаланушы-агент: darodar

Тыйым салу: / плагин

Рұқсат бермеңіз: / API

Рұқсат етпеңіз: / _ пікірлер

Бұл жағдайда, бұл Darodar веб-тексерушісі веб-сайтыңызға кіруді шектейтін robots.txt файлы. Жоғарыда аталған синтаксисте код плагиндер, API және түсініктемелер бөлімі сияқты веб-сайттың аспектілерін блоктайды. Осы білімнен роботтың мәтіндік файлын тиімді орындаудан көптеген пайда алуға болады. Robots.txt файлдары көптеген функцияларды орындай алады. Мысалы, олар мыналарға дайын бола алады:

1. Барлық веб-тексерушілердің мазмұнын веб-сайт бетіне жіберіңіз. Мысалы;

Пайдаланушы-агент: *

Рұқсат етілмейді:

Бұл жағдайда кез-келген веб-тексеріп алушы веб-сайтқа кіру үшін пайдаланушының барлық мазмұнына қол жеткізе алады.

2. Белгілі бір қалтадағы веб-мазмұнды бұғаттаңыз. Мысалға;

Пайдаланушы-агент: Googlebot

Ескерту: / мысал-ішкі қалта /

Googlebot пайдаланушы-агент атауы бар бұл синтаксис Google-қа тиесілі. Ботты www.ourexample.com/example-subfolder/ жолындағы кез-келген веб-параққа кіруге тыйым салады.

3. Белгілі бір веб-парақтағы белгілі бір веб-тексергішті блоктаңыз. Мысалға;

Пайдаланушы-агент: Bingbot

Тыйым салу: /example-subfolder/blocked-page.html

Bing bot-агенті Bing веб-тексерушілеріне жатады. Robots.txt файлының бұл түрі Bing веб тексергішінің белгілі бір бетке www.ourexample.com/example-subfolder/blocked-page жолымен кіруіне тыйым салады.

Маңызды ақпарат

• Сіздің robts.txt файлыңызды кез келген қолданушы пайдалана бермейді. Кейбір пайдаланушылар оны елемеуге шешім қабылдауы мүмкін. Мұндай веб-тексерушілердің көпшілігінде трояндар мен зиянды бағдарламалар бар.
• Robots.txt файлы көрінуі үшін ол жоғарғы деңгейдегі веб-сайт каталогында қол жетімді болуы керек.
• «Robots.txt» таңбалары регистрді ескереді. Нәтижесінде сіз оларды қандай-да бір жолмен өзгертпеуіңіз керек, оның кейбір аспектілерін капиталдандыру.
• «/Robots.txt» қоғамдық игілік болып табылады. Бұл ақпаратты кез-келген URL мекен-жайына қосу арқылы кез-келген адам таба алады. Сіз жеке болып қалғыңыз келетін маңызды мәліметтерді немесе беттерді индекстеуге болмайды.