එය crawler කුමක්ද? crawler මෙවලමක් "Yandex" සහ Google

සෑම දිනකම අන්තර්ජාලයේ ඡායාරූප හා වීඩියෝ උඩුගත කරන්න, පැරණි වෙබ් පිටු යාවත්කාලීන වෙබ් අඩවිය නිර්මාණය කිරීම සඳහා නව දව විශාල ප්රමාණයක් ඇති වේ. සෙවුම් යන්ත්ර සඟවා තොරව ලෝක ව්යාප්ත වෙබ් මෙම ලේඛන, කිසිවක් සොයා ගත නොහැකි විය. ඕනෑම අවස්ථාවක රොබෝ වැඩසටහන් වැනි විකල්ප නොපවතියි. ඔබට එය අවශ්ය ඇයි සෙවුම් රොබෝ, හා ක්රියාත්මක කරන ආකාරය කුමක්ද?

සෙවුම් රොබෝ කුමක්ද

Crawler අඩවිය (සෙවුම් යන්ත්රය) - එය ඉතා ඉක්මනින් ඕනෑම ක්රියාකරු මැදිහත් වීමක් නොමැතිව අන්තර්ජාලය හරහා යාත්රා, වෙබ් පිටු මිලියන ගණනක් සංචාරය කිරීමට හැකි වන්නේ ස්වයංක්රීය වැඩසටහනක්. රොබෝවරු නිරන්තරයෙන් ස්කෑන් අවකාශය ඇත , ලෝක ව්යාප්ත වෙබ් ක නව වෙබ් පිටු සොයා හා නිතිපතා දැනටමත් සුචිගත පිවිසෙන්න. වෙබ් crawlers මකුළුවන් සඳහා වෙනත් නම්, crawlers, රොබෝ.

ඇයි සෙවුම් යන්ත්රය වෙලාද

සෙවුම් යන්ත්රය මකුළුවන් ඉටු කරන බව ප්රධාන කාර්යයන් - ඔවුන් මත බව වෙබ් පිටු සුචිගත මෙන්ම පෙළ, රූප, ශ්රව්ය හා දෘශ්ය ගොනු. රොබෝවරු යොමු, කැඩපත් (පිටපත්) සහ යාවත්කාලීන කිරීම් පරීක්ෂා කරන්න. මෙම රොබෝ යන්ත්ර ද ලෝක ව්යාප්ත වෙබ් සඳහා තාක්ෂණික ප්රමිතීන් වර්ධනය හා ක්රියාත්මක කරන ලද ලෝක සංවිධානය, අනුකූලතාව ප්රමිතීන් සඳහා HTML-කේතය පාලනය ඉටු.

කුමක්ද හදුනාගැනිමේ, සහ එය අවශ්ය වන්නේ ඇයි

සූචිගත - ඇත, ඇත්ත වශයෙන්ම, සෙවුම් යන්ත්ර විසින් මෙම වෙබ් පිටුවට පිවිසීමෙන් ක්රියාවලිය වේ. මෙම වැඩසටහන මෙම වෙබ් අඩවිය, රූප, වීඩියෝ, පිටතට යන සබැඳි පෙළ පරීක්ෂණයට ලක්කරන, පසුව මෙම පිටුව සෙවුම් ප්රතිඵල තුල දර්ශණය වනු ඇත. සමහර අවස්ථාවල දී, එම වෙබ් අඩවිය එය අතින් මුණ ගැසෙන්න සෙවීම් ඇන්ජිමක් වෙත එකතු කළ හැක, ස්වයංක්රීයව ස්කෑන් කළ නොහැකිය. සාමාන්යයෙන්, මෙම නොමැති සිදුවන බාහිර සබැඳි අ (බොහෝ විට ඇත්තේ මෑතක නිර්මාණය) විශේෂයෙන් පිටුවට.

එන්ජිම මකුළුවන් සොයන්න කෙසේද

එක් එක් සෙවුම් යන්ත්රය යාන්ත්රනය හා සමාන වැඩසටහනක්, "Yandex" හෝ වෙනත් පද්ධති මත වැඩ අනුව ගූගල් සෙවුම් රොබෝ සමඟ තමන්ගේම ව්යාපෘති සඳහා රොබෝ සැලකිය යුතු ලෙස වෙනස් විය හැකිය ඇත.

පොදුවේ ගත් කල, රොබෝ වැඩ මූලධර්මය පහත සඳහන් පරිදි වේ: වැඩසටහන් වෙබ් අඩවිය ප්රධාන පිටුව සිට බාහිර සබැඳි සහ හි "එන", වෙබ් සම්පත් (පරිශීලක බලන්න නොවන බව එම බලා පොදු කාර්ය ඇතුළුව) "කියවෙන්නේ". බෝට්ටු මගින් වෙබ් අඩවියක පිටු අතර සැරිසැරීමට හා අන් අය වෙත ගමන් කරන්නේ කෙසේ ද යන්න යි.

මෙම වැඩසටහන දර්ශකය වන අඩවිය තෝරා ඇත? බොහෝ විට "සංචාරය" නොවේ වඩා මකුළු විශාල සඳහනක් බර පුවත් අඩවි හෝ ප්රධාන සම්පත් බහලුම් සහ aggregators ආරම්භ වීමත් සමග. Crawler දිගින් දිගටම පහත සඳහන් සාධක හදුනාගැනිමේ අනුපාතය, ස්ථාවර මත, එක් එක් පිටු පරීක්ෂණයට ලක්කරන:

• අභ්යන්තර: එසේ මත perelinovka (අභ්යන්තර එම සම්පත් පිටු අතර සබැඳි), අඩවි ප්රමාණය, නිවැරදි කේතය, පරිශීලක හිතකාමී;
• බාහිර: අඩවියට සෙතක් මුළු යොමු බර,.

robots.txt ඕනෑම වෙබ් අඩවිය මුලින්ම සෙවුම් රොබෝ සෙවුම්. තවදුරටත් සම්පත් ශක තොරතුරු මත පදනම් සිදු වන්නේ ද මෙම ලියවිල්ල එය වේ ලැබීය. මෙම ගොනුව, ප්රතිඵලයක් ලෙස, මෙම "Yandex" හෝ Google හි මුල් පහර අඩවිය සාක්ෂාත් කර ගැනීම සෙවුම් යන්ත්ර මගින් පිටුව සංචාර ද යන සැකය වැඩි විය හැකි බව හා, "මකුළුවන්" සඳහා විශේෂ උපදෙස් අඩංගු වේ.

වැඩසටහන සමාකාර crawlers

බොහෝ විට කාලීන "සෙවුම් ෙරොෙබෝ" බුද්ධිමත්, පරිශීලක හෝ පරිශීලක ස්වාධීන නියෝජිතයන්, "කුහුඹුවන්" හෝ "පණුවන්" සමඟ ව්යාකූල වේ. එකම නියෝජිතයන් සමග සසඳන සැලකිය යුතු වෙනස්කම් ගිලී, වෙනත් අර්ථ දැක්වීම් රොබෝවරු සමාන වර්ග වෙත යොමු වන්න.

උදාහරණයක් ලෙස, නියෝජිතයන් විය හැක:

• බුද්ධිමය: ස්වාධීනව කරගෙන යාමට ආකාරය තීරණය අඩවියෙන් අඩවියට මාරු කරන ක්රියාමාර්ගය,; ඔවුන් විසින් අන්තර්ජාලයෙන් ඉතා බහුල ය;
• ස්වාධීන: මෙම නියෝජිතයන් නිෂ්පාදනයක්, සොයන්න, හෝ ජාල වැඩසටහන් ටිකක් සම්බන්ධ වන ආකෘති පත්ර, ඊනියා පෙරහන් පුරවා, තෝරා පරිශීලක උදව් වේ;.
• පරිශීලක: වැඩසටහන් ලෝක ව්යාප්ත වෙබ්, වෙබ් බ්රව්සරය (උදාහරණයක් ලෙස, ඔපෙරා, IE, Google Chrome, සමග පරිශීලක අන්තර් ක්රියාවේදී අයිකන දායක ෆයර්ෆොක්ස්), පණිවිඩකරුවන් (Viber, විදුලි පණිවුඩ) හෝ මෙම ඊ-තැපැල් වැඩසටහන් (MS ඉදිරි දැක්මක් හා Qualcomm).

"කුහුඹුවන්" සහ "පණුවන්" සෙවුම් යන්ත්රය "මකුළුවන්" වඩා සමාන වේ. ජාල අතර හා මෙම කුහුඹු යටත් විජිතයක් වැනි නිරන්තරව අන්තර් පළමු ආකෘති පත්රය, "පණුවන්" වෙනත් ආකාරයකින් සම්මත crawler ලෙස එම පිටපත් කිරීමට සමත් ය.

සෙවුම් යන්ත්රය රොබෝවරු විවිධ

crawlers බොහෝ වර්ග අතර වෙනස හඳුනා. මෙම වැඩසටහන අරමුණ මත පදනම්ව, ඒවා:

• 'මිරර්' - අනු පිටපත් වෙබ් අඩවි සෙවුම් ඇත.
• ජංගම - වෙබ් පිටු ජංගම සංස්කරණ මත අවධානය යොමු කරන්න.
• ඉක්මන් - නවතම යාවත්කාලීන නරඹන විසින් වහාම නව තොරතුරු හදන්න.
• විමර්ශන - සඳහනක් දර්ශකය, ඔවුන්ගේ අංක ගණන් කරන්න.
• අන්තර්ගතය දර්ශක පවත්වා විවිධ වර්ගයේ - පෙළ, ශ්රව්ය, වීඩියෝ, රූප සඳහා විශේෂිත වැඩසටහන්.
• "ස්පයිවෙයා" - තවමත් සෙවුම් යන්ත්රය දිස් නොවේ පිටු සොයමින්.
• "Woodpecker" - කලින් කලට තම අදාළ හා කාර්යක්ෂමතාව පරීක්ෂා කිරීමට වෙබ් අඩවි වෙත පිවිසෙන්න.
• ජාතික - (උදා, .mobi, හෝ .kz .ua) රට වසම් එක් මත පිහිටා වෙබ් සම්පත් පිරික්සීමේදී.
• ගෝලීය - දර්ශකය සියලු ජාතික අඩවි.

රොබෝවරු ප්රධාන සෙවුම් යන්ත්ර

සමහර සෙවුම් යන්ත්රය මකුළුවන් ද පවතී. න්යාය තුල, ඔවුන්ගේ ක්රියාකාරිත්වය පුළුල් ලෙස වෙනස් විය හැක, නමුත් ප්රායෝගික වැඩසටහන් මුලුමනින්ම පාහේ සමාන වේ. වෙබ් පිටු රොබෝවරු ප්රධාන සෙවුම් යන්ත්ර දෙකක් හදුනාගැනිමේ ප්රධාන වෙනස්කම් පහත සඳහන් වේ:

• පරීක්ෂා කිරීමේ stringency. එය crawler යාන්ත්රනය "Yandex" තරමක් තද ඇස්තමේන්තු ලෝක ව්යාප්ත වෙබ් ප්රමිතීන් සමඟ අනුකූල වීම සඳහා එම වෙබ් අඩවිය බව විශ්වාස කෙරේ.
• මෙම වෙබ් අඩවියේ අඛණ්ඩතාව සංරක්ෂණය කිරීම. ගූගල් crawler දර්ශක (මාධ්ය අන්තර්ගතය ඇතුළුව) මුළු අඩවිය, "Yandex" ද තෝරා ගනු අන්තර්ගතයට බැලිය හැක.
• වේග පරීක්ෂණය නව පිටු. ගූගල් "Yandex විසින්" ක්රියාවලිය පිළිබඳ පැමිණිල්ලේ දී සති දෙකක් හෝ ඊට වැඩි කාලයක් ගත විය හැකිය, දින කිහිපයක් ඇතුලත සෙවුම් ප්රතිඵල නව සම්පත් පවසයි.
• නැවත ශක සංඛ්යාත. සෑම දින 14 එක් - Crawler "Yandex" සතියකට දෙවරක් යාවත්කාලීන සඳහා පරීක්ෂා කරන්න, සහ Google.

අන්තර්ජාල, සැබැවින්ම, දෙකක් සෙවුම් යන්ත්ර පමණක් සීමා නොවේ. වෙනත් සෙවුම් ඇන්ජින් වලට තමන්ගේම ශක පරාමිතීන් අනුගමනය කරන ඔවුන්ගේ රොබෝවරුන්ට. මීට අමතරව, ප්රධාන නොවේ සෝදිසි සම්පත් නිර්මාණය කර ඇත බව කිහිපයක් "මකුළුවන්", සහ තනි පුද්ගල කණ්ඩායම් හෝ වෙබ් අඩවියේ අයිතිකරුවන්ගෙන් ඇත.

පොදු මිථ්යා මත

මහජන විශ්වාසය පටහැනිව, "මකුළුවන්" තොරතුරු සැකසීමට නැහැ. මෙම වැඩසටහන පමණක් සලකුණු සහ ගබඩා වෙබ් පිටු සහ වැඩිදුර සැකසීම සම්පූර්ණයෙන්ම වෙනස් රොබෝවරු ගනී.

එසේම, බොහෝ පරිශීලකයන් සෙවුම් යන්ත්රය මකුළුවන් ඍණාත්මක බලපෑම් සහ "හානිකර" අන්තර්ජාල ඇති බව විශ්වාස කරනවා. ඇත්ත වශයෙන්ම, "මකුළුවන්" සමහරක් සංස්කරණ සැලකිය යුතු සේවාදායකය අධි බර හැක. මානව සාධකය ද ඇත - වැඩසටහන නිර්මාණය කළ ඩොකියුමන්ට්, එම රොබෝ වින්යාසයේ වැරදි සිදු කළ හැක. එහෙත් දැනට පවතින වැඩසටහන් බොහෝ මනාව නිර්මාණය කර, වෘත්තීය කළමනාකරණය, හා ඕනෑම එන ප්රශ්න වහාම ඉවත් කර ඇත.

indexing කළමනාකරණය කරන ආකාරය

සෙවුම් යන්ත්රය රොබෝවරු ස්වයංක්රීය වැඩසටහන්, නමුත් ශක ක්රියාවලිය අර්ධ වශයෙන් මුණ ගැසෙන්න පාලනය කළ හැක. මෙම විශාල බාහිර හා උපකාර අභ්යන්තර ප්රශස්තිකරණය සම්පතක්. මීට අමතරව, ඔබ අතින් සෙවුම් එන්ජිමක් සඳහා නව වෙබ් අඩවිය එකතු කරන්න: විශාල සම්පත් වෙබ් පිටු ලියාපදිංචි කිරීමේ විශේෂ ක්රමයක් තියෙනවා.