Робототехника на пальцах. Как работают роботы-сапёры

Есть люди, которые занимаются уборкой полов только раз в неделю, а есть и другие, кто делает эту работу значительно чаще. Привлекательной характеристикой роботов-пылесосов становится тот факт, что они отвечают нуждам обоих категорий. Так или иначе, с ними дом становится безупречней, практически не требуя человеческого фактора.

Современные лучшие роботы пылесосы далеки от первых моделей, которые приходилось искать под каждым предметом мебели в доме, пока вы не услышите сигнал нехватки энергии. Последние модели, направленные на уборку домов, предлагают разительное повышение эффективности, способность к самоочищению, а также умение находить дорогу к зарядной станции самостоятельно.

В этой статье мы подробнее разберемся как работает робот пылесос. Помогать нам понять как устроен робот пылесос будет iRobot Roomba Red, а также проверим несколько других роботов-пылесосов на рынке.

Принцип работы робота пылесоса

Современный рынок предлагает огромный выбор роботов-пылесосов , цены на которые варьируются от 3.500 рублей до 100.000 рублей. Эти пылесосы для клининговых услуг характеризуются низкой посадкой и компактными размерами, чтобы сохранить возможность проникать под мебель, что недоступно традиционным пылесосам.

Большинство производителей скажет вам, что робот пылесос предназначен для дополнения к стандартной уборке пылесосом, но не может заменить эту работу. Они предназначены для выполнения ежедневной уборки , которая становится важным штрихом в поддержании чистоты, таким образом, робот-пылесос призван поддерживать чистоту между ручной уборкой пылесосом. Тем не менее, если вы из тех людей, кто никогда не пылесосит, роботизированный помощник сможет сделать полы и ковры чище, чем они есть сейчас, а вам не придется и палец о палец ударить.

Самым популярным производителем роботов-пылесосов в России остается iRobot , который предлагает на рынке разнообразные модели, начиная с базовой модели Roomba Red и заканчивая технологически продвинутыми Roomba Scheduler. Для того, чтобы разобраться с тем, как работает робот пылесос, мы заполучили в свои руки iRobot Roomba Red, который станет нашим проводником в мир роботизированной уборки. Давайте начнем с того, что у него внутри.

iRobot Roomba Red имеет размеры, приблизительно, 13-ю дюймами (33 см) в диаметре и 3,5 дюймами (9 см) в высоту. Внешний осмотр робота пылесоса позволяет выявить следующие детали:

Большинство роботов Roomba работают на аккумуляторах NiMH. Аккумулятор Roomba Red, для примера, рассчитан на 3 ампер-часа, а его полная зарядка занимает порядка семи часов / 18 вольт. Некоторые из последних моделей роботов-пылесосов iRobot, конечно, сократили это время до 2-3 часов. Полная зарядка равна приблизительно 2-3 часам времени уборки, что в мире пылесосов Roomba означает 2-3 комнаты, прежде чем роботу потребуется зарядка. За мобильность робота-пылесоса отвечают два моторизованных колеса. Roomba управляется переменной подачей мощности на каждое колесо.

Пылесос Roomba оборудован пятью моторами:

• Один за каждым колесом (Итого: 2);
• Третий управляет пылесосом;
• Четвертый вращает боковой щеткой;
• Пятый управляет комплектом щеток;

Если рассматривать её отдельно, то именно навигационная система делает роботы-пылесосы роботизированными. И основная разница в моделях за 3.500 рублей и за 80.000 рублей, скрывается в точности навигационных датчиков. Подопытный Roomba Red использует AWARE Robotic Intelligence System от iRobot, систему, призванную сократить вмешательство человека в работу робота максимально. Система осведомления включает несколько датчиков, которые собирают данные из окружающей среды, отправляют их на микропроцессор робота-пылесоса, после чего поведение Roomba регулируется должным образом. Согласно iRobot, система может реагировать на новые вводные данные до 67 раз в секунду. Далее мы разберемся с навигацией роботов-пылесосов детально и поймем как работает робот пылесос более детально.

Первое, что Roomba делает при нажатии на кнопку «Clean», рассчитывает размеры комнаты. Компания iRobot была весьма туманна, когда речь зашла о том, как робот это делает, но мы считаем, что робот посылает инфракрасный сигнал и проверяет, сколько времени требуется на возврат сигнала до приемника, расположенного на бампере робота-пылесоса. После того, как робот устанавливает размеры комнаты, он знает, как долго и далеко ему нужно двигаться в процессе уборки.

Ну а пока робот-пылесос убирает, он избегает ступенек и других видов перепадов высоты, используя четыре инфракрасных датчика на передней нижней части робота. Это «Датчики Обрыва», которые постоянно посылают инфракрасные сигналы и, получив отрицательный сигнал, Roomba незамедлительно остановится. Если робот приближается к обрыву, сигнал пропадет. Старшие модели, как Roomba Red, просто разворачиваются и двигаются в другую сторону, современные же модели способы почистить край обрыва. Когда Roomba Red врезается во что-то, его бампер активирует механические датчики, которые сообщают системе робота, что он столкнулся с препятствием. Затем используется определенный алгоритм действий, вовлекающих поворот и попытку движения вперед до тех пор, пока робот не сможет двигаться вперед.

Есть ещё один инфракрасный датчик, который мы назовем «Датчиком Стены», он расположен на правой стороне бампера и позволяет роботу-пылесосу Roomba очень внимательно двигаться вдоль стены и вокруг других объектов (например, мебели), не касаясь их. Это значит, что робот может пройтись вдоль плинтусов, не натыкаясь на них. Он также может самостоятельно рассчитать себе путь уборки, что, согласно iRobot, подключает предварительно заданный алгоритм, который позволяет роботу полностью охватить полы.

• R2D2 и C-3PO : умные говорящие роботы с ярко выраженной индивидуальностью из фильмов серии «Звездные войны»
• AIBO от Sony: собака-робот, которая обучается в процессе взаимодействия с людьми
• ASIMO от Honda: робот, который может ходить на двух ногах
• Промышленные роботы : автоматизированные машины, работающие на сборочных конвейерах
• Дейта : почти человекоподобный андроид из «Звездного пути»
• Роботы-саперы
• Марсоходы NASA
• HAL : бортовой компьютер из «Космической Одиссеи 2001 года» Стэнли Кубрика
• MindStorm : популярный роботизированный комплект от LEGO

Все вышеперечисленное можно назвать роботами. Роботом, как правило, называется то, что люди считают роботом. Большинство робототехников (людей, которые делают роботов) использует более точное определение. Они указывают, что роботы обладают перепрограммируемым мозгом (компьютером), который движет тело.

Согласно этому определению, роботы отличаются от других подвижных машин вроде автомобилей, поскольку у них есть компьютерный элемент. У большинства новых автомобилей есть бортовой компьютер, но в него можно внести не так много нового. Вы управляете большинством элементов в автомобиле непосредственно при помощи механических устройств разного рода. Роботы отличаются от обычных компьютеров по своей физической природе - у обычных компьютеров нет физического тела, они могут существовать и без него.

Основы роботов

У подавляющего большинства роботов действительно есть общие черты. Прежде всего, почти у всех роботов есть подвижное тело. Некоторые обладают только моторизованными колесами, у других есть десятки подвижных сегментов, как правило, из металла или пластика. Как кости в вашем теле, отдельные сегменты соединяются вместе с помощью суставов.

Колеса робота и поворотные суставные сегменты активизируются при помощи приводов разного рода. Некоторые роботы используют электродвигатели и соленоиды в качестве актуаторов (приводов); некоторые используют гидравлическую систему; некоторые - пневматическую систему (на основе сжатых газов). Роботы могут использовать все эти типы приводов.

Робот нуждается в источнике питания, чтобы управлять этими приводами. Большинство роботов либо оснащены батареей, либо работают от розетки. Гидравлическим роботам нужен насос для создания давления в гидравлической системе, а пневматическим роботам нужен воздушный компрессор или баллоны со сжатым воздухом.

Все приводы подключаются к электрической цепи. Цепь напрямую питает электродвигатели и соленоиды, что активизирует гидравлическую систему при помощи электрических клапанов. Клапаны направляют сжатую жидкость через машину. Для перемещения гидравлической ноги, например, оператор робота должен открыть клапан, ведущий от жидкостного насоса к поршневому цилиндру, закрепленному на ноге. Жидкость под давлением будет двигать поршень, толкая ногу вперед. Чтобы двигать конечностями в обоих направлениях, роботы используют поршни, которые могут толкаться в обе стороны.

Компьютер робота управляет всем, что подключено к цепи. Чтобы передвигать робота, компьютер активирует все необходимые двигатели и клапаны. Большинство роботов можно перепрограммировать, чтобы изменить поведение - достаточно просто ввести новую программу в компьютер.

Не у всех роботов есть система сенсоров, и лишь некоторые обладают способностью видеть, слышать, чувствовать запах или вкус. Самая распространенная способность робота - способность ходить и наблюдать за своим перемещением. Стандартная конструкция использует колеса с щелью в суставах робота. Светодиод на одной стороне колеса пускает луч света через щель, чтобы подсветить датчик света на другой стороне колеса. Когда робот движет определенным суставом, колесо с щелью крутится. Щель разбивает луч света по мере вращения колеса. Световой датчик считывает поведение светового луча и передает данные на компьютер. Компьютер точно может сказать, как вращается сустав в определенной модели. По тому же принципу работает компьютерная мышь.

Это основы робототехники. Робототехники могут комбинировать эти элементы в бесконечное число способов создания роботов неограниченной сложности.

Роботизированный манипулятор

Термин «робот» пришел к нам от чешского слова «robota», что означает буквально «принудительный труд». В принципе, это слово отлично описывает большинство роботов. Чаще всего роботы делают тяжелую работу, монотонно трудятся на производстве. Также они решают задачи, которые сложны, опасны или скучны для людей.

Наиболее распространенный вид робота - это роботизированный манипулятор. Типичный манипулятор состоит из семи металлических сегментов, соединенных шестью суставами. Компьютер управляет роботом, вращая отдельные шаговые двигатели, подключенные к каждому суставу (некоторые крупные манипуляторы используют гидравлику или пневматику). В отличие от обычных двигателей, шаговые двигатели двигаются точными шажками. Это позволяет роботу перемещать руку очень точно, в точности повторяя одно и то же движение снова и снова. Робот использует датчики движения, чтобы убедиться, что совершает движения правильно.

Промышленный робот с шестью суставами напоминает человеческую руку - у него есть подобия плечу, локтю и запястью. Как правило, плечо установлено на неподвижной базовой структуре, а не на подвижном теле. У такого типа робота есть шесть степеней свободы, то есть он может поворачиваться в шести разных направлениях. Для сравнения, человеческая рука имеет семь степеней свободы.

Задача вашей руки - перемещаться с места на место. Аналогичным образом, задача манипулятора - перемещать концевой эффектор с места на место. Вы можете оснастить манипулятор разными концевыми эффекторами, предназначенными для конкретных задач. Один из распространенных эффекторов - упрощенная версия руки, которая может хватать и переносить разные объекты. Манипуляторы часто обладают встроенными датчиками давления, которые предписывают компьютеру, с какой силой захватывать конкретный объект. Это позволяет роботу не ломать все, что он хватает. Другие конечные эффекторы включают паяльные лампы, дрели и распылители порошка или краски.

Промышленные роботы предназначены для того, чтобы делать одни и те же вещи, в контролируемой среде, снова и снова. Например, робот может закручивать колпачки на тюбиках с зубной пастой. Чтобы научить робота делать это, программист описывает порядок движения, используя ручной контроллер. Робот записывает последовательность движений в память и делает это снова и снова, когда новый продукт поступает на конвейер.

Большинство промышленных роботов работает на конвейерах, собирая автомобили. Роботы делают это более эффективно, чем люди, поскольку более точны. Они всегда сверлят в одном и том же месте, затягивают болты с одной и той же силой, независимо от того, сколько часов проработали. Сборочные роботы также важны для компьютерной отрасли. Весьма сложно точно собрать крошечный микрочип силами человека.

Мобильные роботы

Манипуляторы весьма просто собрать и написать для них программу, поскольку они работают в ограниченном пространстве. Но все становится немного сложнее, если вы отправляете робота в мир.

Первое препятствие заключается в том, чтобы дать роботу рабочую систему передвижения. Если робот будет двигаться только по гладкой земле, колеса или гусеницы будут лучшим вариантом. Колеса или гусеницы также могут работать на грубой земле, если будут достаточно большими. Но чаще всего робототехники задумываются о ногах, поскольку их легче адаптировать. Строительство роботов с ногами также помогает ученым понимать естественное движение - полезное упражнение для биологов.

Как правило, гидравлические или пневматические поршни перемещают ноги робота вперед и назад. Поршни крепятся к разным сегментам ног так же, как мышцы крепятся к разным костям. Но заставить все эти поршни работать должным образом - сложная задача. Когда вы были ребенком, ваш мозг пытался выяснить, как нужно точно двигать мышцами, чтобы стоять на двух ногах и не падать. Аналогичным образом, конструктор робота должен определить правильную комбинацию поршневых движений, участвующих в ходьбе и запрограммировать эту информацию в компьютер робота. Многие мобильные роботы оснащены встроенной системой баланса (набором гироскопов, например), которая подсказывает компьютеру, когда нужно исправить движение.

Прямохождение (ходьба на двух ногах) - довольно нестабильно, поэтому ему сложно научить роботов. Чтобы создать стабильного робота-ходока, конструкторы часто наблюдают за миром животных, особенно насекомых. Шестиногие насекомые обладают невероятно хорошим балансом и адаптируются к широкому набору местностей.

Некоторые мобильные роботы управляются дистанционно - человек говорит им, что делать и когда. может осуществляться с помощью провода, радио или инфракрасных сигналов. Роботы с удаленным управлением часто называются кукольными роботами, и они полезны для работы в опасных или труднодоступных условиях - например, в глубокой воде или в жерле вулкана. Некоторые роботы управляются дистанционно лишь отчасти. Например, оператор может отправить робота в определенное место, а обратно робот уже сам найдет дорогу.

Как видите, роботы чертовски похожи на нас.

Слово робот происходит от чешского слова «робота», что означает «каторжный труд» или «работа». Сегодня мы используем слово «робот», чтобы обозначить любую искусственную машину, которая может выполнять работу или иные действия, обычно выполняемые людьми, либо автоматически, либо с помощью дистанционного управления.

Что делают роботы?

Представьте себе, если ваша работа состоит в том, чтобы закручивать один винт на тостере. И вы делаете это снова и снова, день за днем, в течение нескольких недель, месяцев или лет. Такая работа лучше подходит роботами, чем людям. Большинство роботов сегодня используются для выполнения повторяющихся действий или работ, которые считаются слишком опасными для человека. Например, робот идеально подходит для разминирования бомб. Роботы также используются на заводах, чтобы производить такие вещи, как автомобили, конфеты и электронику. Роботы в настоящее время используются в медицине, в военной технике, для обнаружения объектов под водой, или для исследования других планет и т.д. Роботизированные технологии помогли людям, потерявшим руки или ноги. Роботы являются отличным помощниками всего человечества.

Зачем использовать роботов?

Причина использования роботов достаточно проста и понятна. Дело в том, что использовать роботов часто бывает дешевле, чем людей. Для роботов проще оборудовать рабочие места, а иногда внедрение роботов является единственным возможным способом решения некоторых задач. Роботы могут исследовать изнутри топливные резервуары, вулканы, путешествовать по поверхности Марса или в других местах, слишком опасных для людей. Роботы могут делать одно и то же снова и снова, и им не станет скучно. Они могут сверлить стены, варить трубы, красить машины, обращаться с токсичными веществами. А в некоторых ситуациях роботы намного более точны и могут сократить издержки производства из-за человеческих ошибок. Роботы никогда не болеют, им не нужно спать, они не нуждаются в пище, обходятся без выходных и, что лучше всего, они никогда не жалуются!

Из чего состоят роботы?

Роботы могут быть сделаны из различных материалов: металл, пластмасса и многое другое. Большинство роботов состоят из 3-х основных частей:

1. Контроллер или «мозг» робота, работающий с помощью компьютерной программы. Здесь хранятся алгоритмы, с помощью которых робот выполняет различные манипуляции.
2. Механические части: двигатели, поршни, механизмы захвата, колеса и шестеренки, благодаря которым робот способен двигаться, перемещать предметы, поворачиваться и т.д.
3. Датчики преобразует полученную информацию в удобную форму для дальнейшей передачи. Датчики позволяют роботу ориентироваться на местности, определить размеры, форму, расстояние между объектами, направление и другие характеристики и свойства веществ. Часто на роботы устанавливают датчики давления, которые могут определять величину давления, необходимую для того, чтобы схватить предмет не повреждая его.

Искусственный интеллект

Изначально искусственный интеллект разрабатывался с целью воссоздания человеческого разума, однако в настоящее время большое количество исследований сфокусировано на так называемом . Принципы роевого интеллекта могут быть использованы, например, при создании нанороботов.

Изначально искусственный интеллект разрабатывался с целью воссоздания человеческого разума, однако в настоящее время большое количество исследований сфокусировано на так называемом роевом интеллекте - особом типе разума, который проявляется в совместной деятельности насекомых или в работе большого числа простых роботизированных механизмов. Принципы роевого интеллекта могут быть использованы, например, при создании нанороботов.

Ограничения роботов

К сожалению, роботы не могут, как в кино, думать или принимать решения. Роботы - это машины с запрограммированными движениями, которые позволяют им перемещаться в определенных направлениях с заданной последовательностью действий. ИИ позволяет роботам обрабатывать полученную информацию и даже обучаться. Но они все еще имеют существенные ограничения, так как способны понимать лишь определенные типы информации, и выполнять лишь ограниченный набор функций, заложенный в них при создании.

Что общего у человека, изучающего мехатронику и высшую математику, с программистом андроидов, интересующегося бихевиористикой и психологией? Правильно: оба занимаются робототехникой. Что это за зверь такой? Почему эта отрасль в последнее время является самой востребованной и высокооплачиваемой?

Итак, начинаем цикл статей по профессиям. И первой в списке идет робототехника - работа мечты!

Ситуация сегодня

На сегодняшний день эта отрасль на просторах стран бывшего СНГ совершено не развита. А развиваться есть куда, притом не только в области промышленности, но и в домашней, мобильной, боевой, антропоморфной отрасли.

Если хотите найти работу мечты и стать инженером-робототехником (работа не из легких, следует сказать), нужно знать, что, кто, где и как предлагают в этой сфере, а также с чего нужно начинать.

Создание роботов: тонкости дела

Создание роботов имеет 2 важные составляющие: железо и инженерные задумки с одной стороны, и софт и обработка данных – с другой. И чтобы стать робототехником, придется разбираться в обоих вопросах, причем одинаково хорошо.

Робот – это тот же компьютер, только снабженный сенсорами и моторами. Роботы – это воплощенная в жизнь информатика. И чтобы начать в них разбираться, придется сначала вникнуть в особенности разработки ПО, а значит – изучить языки программирования.

Кстати! Для наших читателей сейчас действует скидка 10% на

С чего начинать?

Если с самого начала – то купите себе конструктор LEGO. Он поможет развить конструкторские способности, выстраивать причинно-следственные связи и развивать логическое мышление.

Тем, кто с этими направлениями уже дружит, рекомендуется познакомиться с Robotics Bioloid или LEGO EV3. Они идеально подходят для погружения в детали и тренировок приобретенных навыков.

Как только у вас выработаются основные алгоритмы, можно искать место стажера в робототехнической компании. Здесь вас научат всему, что нужно.

Робота создать не сложно. Сложно создать такого робота, который решил бы реальную проблему. Найдите проблему, а уж потом создавайте робота.

Как изучить робототехнику самостоятельно?

Чтобы получить эту специальность, придется получить знания во многих отраслях науки: инженерные конструкции, схемотехника, работа с реле и светодатчиками, программирование, электроника, биология, механика, эстетика.

А вообще, заниматься робототехникой стоит. И не только потому, что это очень перспективное занятие. Просто эта отрасль представляет собой непаханое поле для специалистов всех мастей – даже для психологов и биологов.

Кстати, а вот список некоторых мест, где можно выучиться на робототехника и найти работу мечты:

• МИРЭА,
• МГТУ им. Баумана,
• МЭМ НИУ ВШЭ, Лаборатория «Робототехника».

Существуют также определенные курсы по обучению этой тематике. Правда, все они англоязычные. Так что если у вас нет проблем с английским языком, дерзайте:

• Introduction to Robotics | Mechanical Engineering | MIT
• Artificial Intelligence: How To Build A Robot – Udacity
• Robotics courses – Plymouth
• Artificial Intelligence: Principles and Techniques
• Computer Science: Artificial Intelligence - Courses | Coursera
• UC BerkeleyX: CS188.1x: Artificial Intelligence | edX

Ну а пока вы будете стремиться найти работу мечты, штудировать кучу специализированной литературы, учебный сервис поможет вам учиться по вашей основной специальности путем

Роботы поисковой системы

Роботы поисковой системы, иногда их называют «пауки» или «кроулеры» (crawler) - это программные модули, занимающиеся поиском web-страниц. Как они работают? Что же они делают в действительности? Почему они важны?

Учитывая весь шум вокруг поисковой оптимизации и индексных баз данных поисковиков, вы, наверное думаете, что роботы должно быть великие и могущественные существа. Неправда. Роботы поисковика обладают лишь базовыми функциями, похожими на те, которыми обладали одни из первых броузеров, в отношении того, какую информацию они могут распознать на сайте. Как и ранние броузеры, роботы попросту не могут делать определенные вещи. Роботы не понимают фреймов, Flash анимаций, изображений или JavaScript. Они не могут зайти в разделы, защищенные паролем и не могут нажимать на все те кнопочки, которые есть на сайте. Они могут "заткнуться" в процессе индексирования динамических адресов URL и работать очень медленно, вплоть до остановки и безсилием над JavaScript-навигацией.

Как работают роботы поисковой машины?

Поисковые роботы стоит воспринимать, как программы автоматизированного получения данных, путешествующие по сети в поисках информации и ссылок на информацию.

Когда, зайдя на страницу "Submit a URL", вы регистрируете очередную web-страницу в поисковике - в очередь для просмотра сайтов роботом добавляется новый URL. Даже если вы не регистрируете страницу, множество роботов найдет ваш сайт, поскольку существуют ссылки из других сайтов, ссылающиеся на ваш. Вот одна из причин, почему важно строить ссылочную популярность и размещать ссылки на других тематических ресурсах.

Прийдя на ваш сайт, роботы сначала проверяют, есть ли файл robots.txt. Этот файл сообщает роботам, какие разделы вашего сайта не подлежат индексации. Обычно это могут быть директории, содержащие файлы, которыми робот не интересуется или ему не следовало бы знать.

Роботы хранят и собирают ссылки с каждой страницы, которую они посещают, а позже проходят по этим ссылкам на другие страницы. Вся всемирная сеть построена из ссылок. Начальная идея создания Интернет сети была в том, что бы была возможность перемещаться по ссылкам от одного места к другому. Вот так перемещаются и роботы.

"Остроумность" в отношении индексирования страниц в реальном режиме времени зависит от инженеров поисковых машин, которые изобрели методы, используемые для оценки информации, получаемой роботами поисковика. Будучи внедрена в базу данных поисковой машины, информация доступна пользователям, которые осуществляют поиск. Когда пользователь поисковой машины вводит поисковый запрос, производится ряд быстрых вычислений для уверенности в том, что выдается действительно правильный набор сайтов для наиболее релевантного ответа.

Вы можете просмотреть, какие страницы вашего сайта уже посетил поисковый робот, руководствуясь лог-файлами сервера, или результатами статистической обработки лог-файла. Идентифицируя роботов, вы увидите, когда они посетили ваш сайт, какие страницы и как часто. Некоторые роботы легко идентифицируются по своим именам, как Google"s "Googlebot". Другие более скрытые, как, например, Inktomi"s "Slurp". Другие роботы так же могут встречаться в логах и не исключено, что вы не сможете сразу их идентифицировать; некоторые из них могут даже оказаться броузерами, которыми управляют люди.

Помимо идентификации уникальных поисковых роботов и подсчета количества их визитов, статистика также может показать вам агрессивных, поглощающих ширину катала пропускания роботов или роботов, нежелательных для посещения вашего сайта.

Как они читают страницы вашего web-сайта?

Когда поисковой робот посещает страницу, он просматривает ее видимый текст, содержание различных тегов в исходном коде вашей страницы (title tag, meta tags, и т.д.), а так же гиперссылки на странице. Судя по словам ссылок, поисковая машина решает, о чем страница. Есть много факторов, используемых для вычисления ключевых моментов страницы «играющих роль». Каждая поисковая машина имеет свой собственный алгоритм для оценки и обработки информации. В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базу данных поисковой системы.

После этого, информация, доставленная в индексные базы данных поисковой системы, становится частью поисковика и процесса ранжирования в базе. Когда посетитель существляет запрос, поисковик просматривает всю базу данных для выдачи конечного списка, релевантного поисковому запросу.

Базы данных поисковых систем подвергаются тщательной обработке и приведению в соответствие. Если вы уже попали в базу данных, роботы будут навещать вас периодически для сбора любых изменений на страницах и уверенности в том, что обладают самой последней информацией. Количество посещений зависит от установок поисковой машины, которые могут варьироваться от ее вида и назначения.

Иногда поисковые роботы не в состоянии проиндексировать web-сайт. Если ваш сайт упал или на сайт идет большое количество посетителей, робот может быть безсилен в попытках его индексации. Когда такое происходит, сайт не может быть переиндексирован, что зависит от частоты его посещения роботом. В большинстве случаев, роботы, которые не смогли достичь ваших страниц, попытаются позже, в надежде на то, что ваш сайт в ближайшее время будет доступен.

Многие поисковые роботы не могут быть идентифицированы, когда вы просматриваете логи. Они могут посещать вас, но логи утверждают, что кто-то использует Microsoft броузер и т.д. Некоторые роботы идентифицируют себя использованием имени поисковика (googlebot) или его клона (Scooter = AltaVista).

В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базы данных поисковой машины.

Базы данных поисковых машин подвергаются модификации в различные сроки. Даже директории, имеющие вторичные поисковые результаты используют данные роботов как содержание своего web-сайта.

Собственно, роботы не используются поисковиками лишь для вышеизложенного. Существуют роботы, которые проверяют баз данных на наличие нового содержания, навещают старое содержимое базы, проверяют, не изменились ли ссылки, загружают целые сайты для просмотра и так далее.

По этой причине, чтение лог-файлов и слежение за выдачей поисковой системы помогает вам наблюдать за индексацией ваших проектов.