Что такое поисковая система, как работает поиск

Наиболее популярным веб сервисом современности является именно поисковая система. Тут всё объяснимо, ведь те времена, когда представители первых пользователей интернета могли наблюдать новинки в сети уже давным-давно ушли.

Информации появляется и скапливается так много, что человеку стало очень трудно найти именно ту, которая ему была бы необходима. Представьте, как бы обстоял бы поиск в интернете, если бы рядовому пользователю пришлось бы искать информацию не пойми где. Именно не пойми где, потому как ручным поиском много информации не найдёшь.

Поисковая система, что это такое?

Хорошо если пользователю уже известны сайты, на которых возможно есть нужная информация, но что делать в противном случае? Для того, чтобы облегчить жизнь человеку в поиске нужной информации в интернете и были придуманы поисковые системы или просто поисковики. Поисковая система выполняет одну очень важную функцию, без которой интернет был бы не таким как мы его привыкли видеть – это поиск информации в сети.

Поисковая система – это специальный веб узел или по-другому сайт, который предоставляет пользователям по их запросам гиперссылки на страницы, сайтов, отвечающие на заданный поисковой запрос.

Если быть немного точнее, то поиск информации в интернете, осуществляющийся благодаря программно-аппаратному функциональному набору и веб интерфейсу для взаимодействия с пользователями.

Для взаимодействия человека с поисковой системой и был создан веб интерфейс, то есть видимая и понятная оболочка. Данный подход разработчиков поисковиков облегчает поиск многим людям. Как правило, именно в интернете осуществляется поиск при помощи поисковых систем, но также существуют системы поиска для FTP-серверов, отдельных видов товаров во всемирной паутине, либо новостной информации или же другие поисковые направления.

Поиск может осуществляться не только по текстовому наполнению сайтов, но и по другим типам информации, которые человек может искать: изображения, видео, звуковые файлы и т.д.

Как осуществляется поиск поисковой системой?

Сам поиск в интернете, ровно так же как просмотр веб сайтов возможен при помощи интернет обозревателя – браузера. Только после того, как пользователь задал свой запрос в строке поиска, осуществляется непосредственно и сам поиск.

Любая поисковая система содержит программную часть, на которой основан весь поисковой механизм, его называют поисковым движком — это программный комплекс и обеспечивающий возможность поиска информации. После обращению к поисковику, формирования человеком поискового запроса и ввода его в строку поиска, поисковая система генерирует страницу со списком результатов поиска, наиболее релевантные, по мнению поисковика тут располагаются выше.

Релевантность поиска – поиск наиболее отвечающих запросу пользователя материалов и расположение на них гиперссылок на странице выдачи с более точными результатами выше других. Само распределениерезультатов называется ранжированием сайтов.

Так как же поисковик подготавливает для выдачи свои материалы и как происходит поиск информации самим поисковиком? Сбору информации в сети способствует уникальный для каждой поисковой системы робот или по-другому бот, обладающий так же рядом других синонимов как краулер или паук, а саму работу системы поиска можно разделить на три этапа:

К первому этапу работы поисковой системы можно отнести сканирование сайтов в глобальной сети и сбор на свои собственные серверы копий веб страниц. Это образует огромное количество пока ещё не обработанной и не пригодной информации для поисковой выдачи.

Второй этап работы поисковика сводится к приведению в порядок полученной ранее, на первом этапе информации от сайтов. Производится такая сортировка, которая за наименьшее время будет благоприятствовать тому самому качественному поиску, которого собственно и ждут пользователи от поисковой системы. Этап называют индексацией, это значит, что страницы уже являются подготовленными к выдаче, а актуальная база будет считаться индексом.

Как раз третий этап и обуславливает поисковую выдачу, после приёма запроса от своего клиента, опираясь на ключевые или около ключевые слова, указанные в запросе. Это способствует отбору наиболее соответствующей запросу информации, и последующей её выдачи. Так как информации, очень и очень много, поисковая система выполняет ранжирование в соответствие со своими алгоритмами.
Лучшей поисковой системой считается та, которая сможет предоставить наиболее корректно отвечающий на запрос пользователя материал. Но и тут могут встречаться результаты, на которые повлияли люди, заинтересованные в продвижение своего сайта, такие сайты хоть и не всегда, но зачастую появляются в результатах поиска, но не на долго.

Хоть мировые лидеры уже во многих регионах определены, поисковые системы продолжаются развивать свой качественный, поиск. Чем качественней поиск они смогут предоставить, тем больше людей будут им пользоваться.

Как пользоваться поисковой системой?

Что такое поисковая система и как она работает уже понятно, но как ей правильно пользоваться? На большинстве сайтов всегда присутствует строка поиска, а рядом с ней находится кнопка Найти или Поиск. В поисковую строку вводится запрос, после чего нужно нажать кнопку поиска или же как это чаще бывает, нажать клавишу Enter на клавиатуре и за считанные секунды вы получаете результат запроса в виде списка.

А вот получить правильный ответ на запрос поиска, с первого раза удаётся не всегда. Для того, чтобы поиски желаемого не становились мучительными, необходимо правильно составлять поисковый запрос и следовать нижеописанным рекомендациям.

Составляем поисковый запрос правильно

Далее будут указаны советы по использованию поисковой системы. Следование некоторым хитростям и правилам при осуществлении поиска информации в поисковой системе даст возможность получить нужный результат гораздо быстрее. Следуйте данным рекомендациям:

1. Грамотное написание слов обеспечивает максимальное количество совпадений с искомым информационным объектом (Хоть современный поисковые системы уже научились исправлять орфографические ошибки, но данным советом пренебрегать не стоит).
2. Благодаря использованию синонимов в запросе, можно охватить более широкий поисковой диапазон.
3. Иногда изменение слова в тексте запроса может принести больший результат осуществляйте переформирование запроса.
4. Привносите в запрос конкретность, используйте точные вхождения фраз, которые должны определять главную суть поиска.
5. Экспериментируйте с ключевыми словами. Использование ключевых слов и словосочетаний может помочь определить главную суть, и поисковая машина выдаст более релевантный результат.

Так что такое поисковая система – это ни что иное, как возможность найти интересующую информацию и обычно совершенно бесплатно ей воспользоваться, чему-то научиться, что-то понять или сделать правильный для себя вывод. Многие уже не представляют своей жизни без голосового поиска, при котором текст не приходится набирать, свой запрос нужно всего лишь произнести, а устройством ввода информации тут является микрофон. Всё это свидетельствует о постоянном развитие поисковых технологий в интернете и необходимости в них.

Зачем нужны поисковые системы?

Интернет – это бесконечное хранилище самой разной информации, которая обновляется ежесекундно. Каждый компьютер, имеющий подключение к сети, по сути, является одной из ячеек этого хранилища.

А информация лежит в этих ячейках не только в виде текста, но еще и в картинках, видео и аудиофайлах. Что же помогает каждый день пользователям интернета находить среди этого бесконечного числа информации то, что им нужно? Ответ прост – поисковые системы.

Что такое поисковая система?

Поисковик, поисковая машина или поисковая система – это самый главный навигатор в бесконечных океанах цифровой информации. С помощью поискового робота, который безостановочно «прогуливается» по страницам старых и только что созданных сайтов, поисковая система как бы заносит в свою память каждый отдельный текст, картинку, видео или любого другого рода файл.

Работа поисковой системы (ПС) строится на основе определенного алгоритма, который сортирует полученную информацию и соотносит её с теми или иными запросами, присваивая ей релевантность. Релевантность – это соответствие запросам.

Но не только от релевантности зависит то, попадет страница в выдачу поисковика или нет. Накладывается множество факторов: рейтинг сайта, его качество с точки зрения пользователя, правильный код страницы. И точный алгоритм работы ПС на основе этих факторов расшифровать невозможно.

Что такое позиция сайта в ПС?

Проходя индексацию, те или иные сайты попадают в базу поисковой системы. Индексация – это своеобразный официальный учет, признание того, что сайт существует (или определенная его страница). В зависимости от огромного количества факторов страница может попасть на 1000, 249, 11, 1 или любое другое место в выдаче.

Выдача – это то, что пользователь видит, вводя запрос в строку поисковой системы. Например, набирая «что такое поисковик?», человеку выдается бесконечный список страниц. Первая в списке – самая «удачливая», в ней наилучшим образом объединились все факторы, что и вывело её на лидирующую позицию.

Что влияет на эту позицию?

Конечно же, работа людей, занимающихся сайтами: вебмастеров, оптимизаторов, копирайтеров. Очень многое зависит именно от качества контента, расположенного на странице. Если на странице будет встречаться большое количество запросов – ключевых слов, — то она не попадет на первую строчку. ПС стали умными, они продуманным образом определяют полезность страницы.

Другой взгляд на актуальность ПС

Итак, поисковая машина нужна для следующего:

1. Выдача актуальной и соответствующей (релевантной) информации пользователю на его запрос. Ищет ли человек сведения об истории, новости или интернет-магазин с сухим кормом для своего любимчика – ПС поможет сделать это за 1 секунду.
2. ПС дает возможность развиваться новым сайтам, увеличивая мировой интернет таким образом. Сайты создаются для того, чтобы зарабатывать на них, или для того, чтобы делиться с людьми какой-то важной информацией с целью получения популярности, или просто потому, что «есть, что сказать».

ПС – это мощный инструмент, не только позволяющий структурировать миллиарды терабайтов информации, но и открывающий колоссальные возможности онлайн заработка.

Почему же поисковиков так много?

Многие рядовые юзеры пользуются, как правило, одной поисковой системой. В России – это Яндекс в подавляющем большинстве случаев. Второй по популярности – Google. Но существуют и другие системы, все из которых перечислить сложно. Одни из них работают достаточно успешно, другие нет.

Почему их так много? У них разные алгоритмы поиска и индексации, но суть не в этом. Конкуренция – вот то, что каждый день заставляет даже таких гигантов, как Яндекс, развиваться и совершенствоваться, а не стоять на месте. Если этот поисковик остановится в развитии, на его место быстро придет другой. И большое количество ПС – это, скорее, хорошо, чем плохо!

Что такое поисковая система, как она работает? :: SYL.ru

В последние годы сервисы от «Гугл» и «Яндекс» прочно вошли в нашу жизнь. В этой связи многие наверняка задаются вопросом, что такое поисковая система? Говоря простыми словами, это программная система, предназначенная для поиска информации в World Wide Web. Результаты его обычно представлены в виде списка, часто называемом страницами результатов поиска (SERP). Информация может представлять собой сочетание веб-страниц, изображений и других типов файлов. Некоторые поисковые системы также содержат информацию, доступную в базах данных или открытых каталогах.

В отличие от веб-каталогов, которые поддерживаются только собственными редакторами, поисковики также содержат информацию в режиме реального времени, запуская алгоритм на веб-искателе.

История возникновения

Сами по себе поисковые системы появились ранее всемирной сети — в декабре 1990 года. Первый такой сервис назывался Archie, и он искал по командам содержимое файлов FTP.

Что такое поисковая система в Интернете? До сентября 1993 года World Wide Web была полностью проиндексирована вручную. Существовал список веб-серверов, отредактированный Тимом Бернерс-Ли, который был размещен на веб-сервере CERN. По мере того, как все большее количество серверов выходили в интернет, вышеуказанный сервис не мог успевать обрабатывать такое количество информации.

Одной из первых поисковых систем, основанных на поиске в сети, была WebCrawler, которая вышла в 1994 году. В отличие от своих предшественников, она позволяла пользователям искать любое слово на любой веб-странице. Такой алгоритм с тех пор стал стандартом для всех основных поисковых систем. Это было также первое решение, широко известное публике. Также в 1994 году был запущен сервис Lycos, который впоследствии стал крупным коммерческим проектом.

Вскоре после этого появилось много поисковых машин, и их популярность значительно выросла. К ним можно отнести Magellan, Excite, Infoseek, Inktomi, Northern Light и AltaVista. Yahoo! был одним из самых популярных способов отыскания интересующих веб-страниц, но его алгоритм поиска работал в своем собственном веб-каталоге, а не в полнотекстовых копиях страниц. Искатели информации также могли просматривать каталог, а не выполнять поиск по ключевым словам.

Новый виток развития

Компания Google приняла идею продажи поисковых запросов в 1998 году, начиная с небольшой компании goto.com. Этот шаг оказал значительное влияние на бизнес SEO, который со временем стал одним из самых прибыльных занятий в Интернете.

Примерно в 2000 году поисковая система «Гугл» стала широко известна. Компания добилась лучших результатов для многих поисков с помощью инноваций под названием PageRank. Этот итерационный алгоритм оценивает веб-страницы на основе их связей с другими сайтами и страницами, исходя из предпосылки, что хорошие или желанные источники часто упоминаются другими. Google также поддерживал минималистский интерфейс для своей поисковой системы. Напротив, многие из конкурентов встроили поисковую систему в веб-портал. На самом деле «Гугл» стала настолько популярной, что появились мошеннические движки, такие как Mystery Seeker. Сегодня существует масса региональных версий этого сервиса, в частности, поисковая система Google.ru, рассчитанная на русскоязычных пользователей.

Как работают эти сервисы?

Как же происходит ранжирование и выдача результатов? Что такое поисковые системы с точки зрения алгоритма действий? Они получают информацию через веб-сканирование с сайта на сайт. Робот или «паук» проверяет стандартное имя файла robots.txt, адресованное ему, перед отправкой определенной информации для индексации. При этом основное внимание уделяется многим факторам, а именно заголовкам, содержимому страницы, JavaScript, каскадным таблицам стилей (CSS), а также стандартной разметке HTML информационного содержимого или метаданным в метатегах HTML.

Индексирование означает связывание слов и других определяемых токенов, найденных на веб-страницах, с их доменными именами и полями на основе HTML. Ассоциации создаются в общедоступной базе данных, доступной для запросов веб-поиска. Запрос от пользователя может быть одним словом. Индекс помогает найти информацию, относящуюся к запросу как можно быстрее.

Некоторые из методов индексирования и кэширования — это коммерческие секреты, тогда как веб-сканирование — это простой процесс посещения всех сайтов на систематической основе.

Между посещениями робота кэшированная версия страницы (часть или весь контент, необходимый для ее отображения), хранящийся в рабочей памяти поисковой системы, быстро отправляется запрашивающему пользователю. Если визит просрочен, поисковик может просто действовать как веб-прокси. В этом случае страница может отличаться от индексов поиска. На кэшированном источнике отображается версия, слова которой были проиндексированы, поэтому он может быть полезен в том случае, если фактическая страница была утеряна.

Высокоуровневая архитектура

Обычно пользователь вводит запрос в поисковую систему в виде нескольких ключевых слов. У индекса уже есть имена сайтов, содержащих данные ключевые слова, и они мгновенно отображаются. Реальная загрузочная нагрузка заключается в создании веб-страниц, которые являются списком результатов поиска. Каждая страница во всем списке должна быть оценена в соответствии с информацией в индексах.

В этом случае верхний элемент результата требует поиска, реконструкции и разметки фрагментов, показывающих контекст из сопоставленных ключевых слов. Это лишь часть обработки каждой веб-страницы в результатах поиска, а дальнейшие страницы (рядом с ней) требуют большей части этой последующей обработки.

Помимо простого отыскания ключевых слов, поисковые системы предлагают свои собственные GUI- или управляемые командами операторы и параметры поиска для того, чтобы уточнить результаты.

Они обеспечивают необходимые элементы управления для пользователя с помощью цикла обратной связи, путем фильтрации и взвешивания при уточнении искомых данных с учетом начальных страниц первых результатов поиска. Например, с 2007 года Google.com позволила отфильтровать полученный список по дате, нажав «Показать инструменты поиска» в крайнем левом столбце на странице исходных результатов, а затем выбрав нужный диапазон дат.

Варьирование запросов

Большинство поисковых систем поддерживают использование логических операторов AND, OR и NOT, чтобы помочь конечным пользователям уточнить запрос. Некоторые операторы предназначены для литералов, которые позволяют пользователю уточнять и расширять условия поиска. Робот ищет слова или фразы точно так же, как и введенные команды. Некоторые поисковые системы предоставляют расширенную функцию отыскания, которая позволяет пользователям определять расстояние между ключевыми словами.

Существует также основанный на концепции поиск, в котором исследование предполагает использование статистического анализа на страницах, содержащих слова или фразы, которые вы ищете. Кроме того, запросы на естественном языке позволяют пользователю вводить вопрос в том же виде, который он задал бы человеку (самый характерный пример — ask.com).

Полезность поисковой системы зависит от релевантности набора результатов, который она выдает. Это могут быть миллионы веб-страниц, которые содержат определенное слово или фразу, но некоторые из них могут быть более релевантными, популярными или авторитетными, чем другие. В большинстве поисковых систем используются методы ранжирования, чтобы обеспечить наилучшие результаты.

Каким образом поисковик решает, какие страницы являются лучшими совпадениями с запросом, и в каком порядке должны отображаться найденные источники, сильно варьируется от одного робота к другому. Эти методы также со временем меняются по мере изменения использования Интернета и развитием новых технологий.

Что такое поисковая система: разновидности

Существует два основных типа поисковой системы. Первая — система предопределенных и иерархически упорядоченных ключевых слов, которыми люди массово ее запрограммировали. Вторая — это система, которая генерирует «инвертированный индекс», анализируя найденные тексты.

Большинство поисковых систем — коммерческие сервисы, поддерживаемые доходами от рекламы, и, таким образом, некоторые из них позволяют рекламодателям иметь рейтинг в отображаемых результатах за определенную плату. Сервисы, которые не принимают деньги за ранжирование, зарабатывают деньги, запуская контекстные объявления рядом с отображенными сайтами. На сегодняшний день продвижение в поисковых системах является одним из наиболее прибыльных заработков в сети.

Какие сервисы распространены наиболее всего?

Google — самая популярная поисковая система в мире с долей рынка 80,52% по состоянию на март 2017 года.

Полный же рейтинг наиболее распространенных сервисов (с долей рынка более 1%) выглядит так:

• Google — 80,52%
• Bing — 6,92%
• Baidu — 5,94%
• Yahoo! — 5,35%

Поисковые системы России и стран Восточной Азии

В России и некоторых странах Восточной Азии Google — не самый популярный сервис. Среди российских пользователей поисковая система «Яндекс» лидирует по популярности (61,9%) по сравнению с Google (28,3%). В Китае Baidu является самым популярным сервисом. Поисковый портал Южной Кореи — Naver используется для 70% процентов онлайн-поиска в стране. Также Yahoo! в Японии и Тайвани является наиболее популярным средством для отыскания нужных данных.

Другие известные русские поисковые системы – «Мейл» и «Рамблер». С началом развития рунета они пользовались широкой популярностью, но в настоящее время сильно сдали свои позиции.

Ограничения и критерии поиска

Несмотря на то, что поисковые системы запрограммированы на ранжирование веб-сайтов на основе некоторой их популярности и релевантности, эмпирические исследования указывают на различные политические, экономические и социальные критерии отбора информации, которую они предоставляют. Эти предубеждения могут быть прямым результатом экономических (например, компании, которые рекламируют поисковую систему, могут также стать более популярными в результатах обычного поиска) и политических процессов (например, удаление результатов поиска в соответствии с местными законами ). Так, Google не будет отображать некоторые неонацистские сайты во Франции и Германии, где отрицание Холокоста является незаконным.

Христианские, исламские и еврейские поисковые системы

Глобальный рост Интернета и электронных средств массовой информации в мусульманском мире за последнее десятилетие побудил исламских приверженцев на Ближнем Востоке и Азиатском субконтиненте попытаться создать собственные поисковые системы и отфильтрованные порталы, которые позволят пользователям выполнять безопасный поиск.

Такие сервисы содержат фильтры, которые дополнительно классифицируют веб-сайты как «халяль» или «харам» на основе современного экспертного толкования «Закона Ислама».

Портал ImHalal появился в сети в сентябре 2011 года, а Halalgoogling — в июле 2013 года. Они используют фильтры харам, базируясь на алгоритмах от Google и Bing.

Другие, ориентированные на религию поисковые системы — это Jewgle (еврейская версия Google), а также христианская SeekFind.org. Они фильтрует сайты, которые отрицают или унижают их веру.

Из чего состоит и как работает поисковая система Яндекс и Google?

В этой статье я опишу основные элементы поисковой системы, покажу, как они связаны, и затрону немного истории возникновения поисковиков. Но вначале разберем, что такое поисковая система и для чего она нужна?

Поисковая система – это специальный сервис для быстрого поиска информации в Интернете. Пользователь задает в поисковик запрос, в котором формулирует, что хочет найти. Поисковая система в ответ выдает результаты поиска – ссылки на страницы сайтов, где может находиться интересующая пользователя информация.

Давайте разберемся, из чего состоит поисковая система и как она работает. Нужно отметить, что принципы действия у любого поисковика схожи: Яндекс, Google и другие поисковики работают по аналогичным алгоритмам, которые отличаются нюансами.

История развития поисковиков: не путайте Wandex и Yandex!

Начнем с истории: первый в мире поисковик в WWW появился в 1993 году, и это был Wandex. Не путайте с Яндексом. После него появились Aliweb, Webcrawler, Lycos, Altavista, Рамблер, Google и только потом Яндекс.

Первым именно российским поисковиком был Рамблер. Сейчас Рамблер все еще существует, но для поиска использует движок Яндекса. На его долю приходится около 1% от всех поисковых запросов.

Самой популярной поисковой системой в России на момент подготовки статьи является Яндекс, который используют для поиска информации около 61% россиян по данным РБК. На втором месте по количеству пользователей в России идет Google – около 26%, но в последнее время процент пользователей Google растет. Обе поисковые системы были запущены в 1997 году, но в Россию Google пришел гораздо позже (официально – в 2006 году).

Перейдем к вопросу, как устроена и как работает поисковая система

Поисковая система состоит из трех основных элементов:

1. Роботы-пауки (агенты, роботы, обходящие все интернет пространство, и сканирующие сайты)

У поисковой системы существует множество роботов-агентов, каждый из них выполняет свою функцию:

• основной работ, сканирующий сайты;
• робот, сканирующий картинки;
• робот, сканирующий видео;
• робот мобильных сервисов;
• быстроробот выполняет функцию сбора свежей информации и новостей для индексации;
• другие роботы.

У каждого робота есть список адресов, которые он должен обойти. Этот список автоматически увеличивается, если робот находит новую ссылку и адрес сайта. Робот проверяет тип найденного документа, кодировку и язык и отправляет эти данные на дальнейшую обработку.

2. Индекс (база документов и дополнительных параметров в обработанном виде)

Индекс – это хранилище поисковой системы, где вся информация находится в обработанном и упорядоченном виде. Например, документы хранятся в очищенном от html-разметки виде, в индексе имеются данные о местоположении различных слов в документе и другая информация. Индекс обновляется постоянно.

В ряде поисковых систем имеются выраженные апдейты. В этом случае полноценное обновление поискового индекса, на основе которого формируются результаты поиска, происходит не постоянно, а через некоторое время. Апдейт – это момент обновления поисковой системы, в который результаты поиска по многим запросам серьезно меняются.

3. Поисковый алгоритм (механизм, который позволяет формировать выдачу)

Когда в поисковую систему поступает запрос, алгоритмы поисковой системы обрабатывают его. В обработанном виде он поступает дальше в систему.

Если запрос популярный, результаты поиска по нему могут кешироваться (сохраняться в поисковой системе) и в дальнейшем при поступлении такого же запроса результаты поиска поднимаются из кеша. Если запрос уникальный, то поисковые алгоритмы на основе имеющихся в них формул формируют ответ на запрос из индекса поисковой системы.

Формула, по которой формируются результаты поиска, может отличаться в зависимости от запроса, его типа (коммерческий, информационный, навигационный и т.д.), географии (формула для региональных запросов может быть проще, чем для московского региона).

Мы рассмотрели упрощенную модель поисковой системы. Реальные поисковые системы намного сложнее и включают в себя механизмы борьбы по спамом, колдунщики и множество других вещей.

Что такое машинное обучение?

Поисковая система Яндекс создает формулы для ранжирования сайтов на основе машинного обучения.

Очень упрощенно данную систему можно представить так:

• В программу машинного обучения загружаются факторы, по которым осуществляется ранжирование документов, и отранжированные результаты поиска по множеству запросов. Программа ищет закономерности между результатами поиска и факторами «хороших» и «плохих» страниц. Найденные закономерности включаются в формулу ранжирования. Например, если на всех «хороших» сайтах фон был синим, а на всех «плохих» – желтым, то программа может заложить в формулу повышение позиций страниц с синим фоном и занижение позиций страниц с желтым фоном.
• Полученные формулы тестируются, и разработчики по определенным параметрам определяют, улучшилось качество поиска по новым формулам или нет.
• Если качество поиска повысилось – формулы загружаются в основной поиск и начинают обрабатывать пользовательские запросы.

Резюме: как работает поисковик?

Как мы видим, даже упрощенная модель работы поисковой системы достаточно сложна и состоит из множества систем. Реальные же поисковые системы намного сложнее, поэтому процесс продвижения сайтов представляется не только сложным, но и крайне интересным.

В данный момент при ранжировании сайтов поисковая система Google учитывает более 200 факторов, а поисковик Яндекс — более 800 факторов. Все они подразделяются на группы: технические, доменные, текстовые, ссылочные, региональные, поведенческие, коммерческие, юзабилити и ряд других.

Читайте также:

Рекомендуем

Составление анкор-листа – один из важных этапов продвижения сайта. Правильное распределение анкоров повысит позиции сайта. Ошибки могут привести к …

Хорошая структура делает сайт удобнее для посетителей и повышает шансы проекта занять высокие места в поисковых системах. В прошлом уроке мы …

Поисковые системы интернета — список: все поисковики мира и России, какие есть и существуют, бывают кроме Яндекса и Гугла

Всем привет! Сегодня будет статья про поисковые системы мира, какие вообще существуют, когда появились, что рулит конкретно в России, а что на всём земном шаре. Статья получилась огромная, поэтому присаживайтесь поудобнее, желательно заранее приготовив термос с чаем 🙂

Для того чтобы стать специалистом в любом деле, недостаточно лайфхаков, какими бы полезными они ни были. Необходимо основательно разбираться в вопросе и постоянно расширять кругозор.

Думали ли вы о том, как появилось то, что мы используем каждый день? Какие есть поисковые системы помимо Google и Яндекса? И почему все сео-студии и люди выбирают именно последние? Да, но не нашли ответы? Они в этой статье.

Содержание статьи:

Пару слов из истории поисковиков

Очень давно, когда в Интернете все только начиналось…

Люди обходились малым, они сохраняли ссылки на сайты в «Закладках». Но время шло и вместе с ним увеличивалось количество этих самых закладок. В итоге человеку стало сложно разбираться в своей же системе.

Для того чтобы хоть немного навести порядок были разработаны каталоги Yahoo, DMOZ и т.д. К слову, некоторые из них не канули в лету до сих пор. Каталог – это что-то вроде библиотеки. В нем можно не только сохранять, но и разделять на группы ссылки на сайты.

Всемирная Сеть разрасталась с невероятной скоростью и каталоги перестали отвечать потребностям посетителей. Тогда программисты приступили к работе над поиском внутри каталогов, а потом и над первой поисковой системой.

Wandex – поисковая система-первопроходец

Поисковой системой, ставшей первопроходцем, является Wandex (нет, это не «отец» Яндекса, между ними нет никаких «родственных» связей). Она, как и все остальные поисковики, была настолько далека от идеала, что выдавала буквально все подряд, а не то, что больше всего подходит под запрос. Никаких алгоритмов ранжирования не было.

Первой системой, которая была создана для поиска информации в интернете, стала Wandex, ее уже не существует. Она была создана World Wide Web Wanderer – ботом на языке Perl, разработанным Мэтью Грэем из Массачусетского технологического института в 1993 году. Он также участвовал в создании Apache, разработке сайта MIT и других проектов. Сегодня Мэтью Грей является сотрудником компании Гугл.

В 1993 году во всем интернете было лишь 623 сайта, поэтому работы у Вандекса было поменьше, чем у современных поисковых систем. Более того, благодаря таким скромным меркам, для создания индексов и отображении результатов не нужны были мощные сервера с многоступенчатой кластеризацией, сложная работа алгоритмов поиска и способы по их оптимизации.

Wandex и другие первые сервисы обладали несовершенной системой поиска. При запросе слова они отображали не самые актуальные ссылки, а все страницы, их данные, без анализа и ранжирования. Поэтому некоторое время настоящими конкурентами поисковых систем были каталоги страниц – веб-площадки с вручную отобранными категориями ссылок на веб-источники.

Восстановление Вандекса

31 декабря 2011 года стало известно о возрождении этой системы. 1 января 2012 года поисковый бот World Wide Web Wanderer был зарегистрирован владельцами многих сайтов, что стало причиной для дискуссий. Сегодня на главной странице находится поисковая строка с надписью Wandex.

Буква Х изображена в виде перекрещенных линий, одна из которых имеет форму лупы – часто применяемый символ в поисковике.

Самые популярные поисковики Интернете в мире и России

Самые популярные поисковики может назвать даже школьник 1-го класса. Это Гугл и Яндекс. Можно дни и ночи напролет спорить о том, какой из них лучше. Но зачем? Они разные, и в какой из них заходить, зависит от ваших целей. Для вас я подготовил большой список из 16 поисковых систем, это практически все поисковики, которые есть на данный момент или существовали ранее.

Начнём с поисковых систем на русском языке и самых популярных в России, а затем перейдём к мировым.

Яндекс

Если верить тому, что пишут в LiveInternet, то именно Яндексу отдает предпочтение большая часть россиян. Впрочем, разница между ним и Гуглом составляет всего лишь один процент.

Среди тех, кто занимается созданием и SEO-продвижением сайтов, бытует мнение, что Яндекс заточен под коммерческие запросы, что в нем их в несколько раз больше, чем у конкурента. На мой взгляд, это очередной домысел. Как показывает практика, региональность определяет размер и структуру целевой аудитории.

История появления Яндекса началась в конце 1980-х – с создания поисковых технологий в компании Аркадия, которая потом вошла в группу CompTek. Создатели придумали несколько поисковых программ – Международный классификатор изобретений и поиск по Библии, учитывающий морфологию русского языка. Метод поиска получил название Яndex.

Первая активная версия поискового приложения под названием Yandex возникла в 1993 году, в 1995 году компьютеры компании-создатели поисковика были подсоединены к интернету, а в 1996 году стала велись работы по доработке методов поиска.

Официальным днем рождения поисковика Яндекс.ру является 23 сентября 1997 года. В этот день система была представлена на выставке Softool в Москве. Яндекс 1997 года учитывал морфологию русского языка, расстояние между словами и умел распределять документы на основе их релевантности заданному запросу.

В 1998 году на портале впервые возникла контекстная реклама – реклама, которая соответствует запросу потенциального пользователя. При таком методе показа рекламу видит только целевая аудитория. Контекстная реклама стала одним из важных ответов на вопросы пользователей, а в дальнейшем – главной бизнес-моделью компании Яндекс.

Компания Яндекс была основана в 2000 году. Ее учредителями стали акционеры КомпТек. Организация ru-Net Holdings вложила в Яндекс более 5 миллионов долларов, ее прибыль составила 35%. Среди акционеров были менеджеры Яндекса и ее главные разработчики поисковой системы.

Генеральным директором компании стал Аркадий Волож, а директором – Илья Сегалович – он же отвечал за внедрение и разработку технологий. Команда Яндекса состояла из 25 человек, а вся информация находилась на одном сервере.

В 2013 году российский поисковик Яндекс вышел на четвертое место в мире по количеству обрабатываемых запросов, обогнав Микрософт и уступив лидирующие места Гугл, Яху и Байду. Доход поиска Яндекса на отечественном рынке составляет 61,6%. Количество международной аудитории портала составляет 93,1 миллионов человек. Чистый доход компании за 2013 год вырос на 80%.

Google

Гугл правит балом во всех странах мира, кроме России. Он пришел к нам относительно недавно, в 2004 году, когда Яндекс уже уверенно стоял на ногах.

Google распространился настолько, что слово «загуглить» стало нарицательным, им обозначают поиск чего-то в Интернете. Забавно, но когда я прошу маму что-то «загуглить», она все равно открывает Яндекс. Может быть, не догадывается, какие есть другие поисковые системы.

Компания Гугл впервые появилась в качестве развития научного проекта Ларри Пейджа и Сергея Брина. В 1996 году студенты Стэнфорда трудились над проектом цифровой библиотеки (SDLP). Он был целью Разработки новых технологий для общей, интегрированной и универсальной цифровой библиотеки. Финансирование осуществлялось за счет Национального научного фонда.

Чтобы найти тему для диссертации Пейдж рассматривал среди другой информации изучение математических свойств Интернета, представляя структуру ссылок в виде большого графа. Его научный руководитель, Терри Виноград, посоветовал ему выбрать эту идею (позже Пейдж отметил, что это был самый лучший совет, который он когда-либо получал), и он полностью погрузился в проблему выяснения, какие сайты ссылаются на эту страницу, рассматривая количество и характер обратных ссылок.

Скоро к нему присоединился аспирант Стэнфорда Сергей Брин, который был лучшим другом Пейджа. Вместе они создали алгоритм PageRank. После определения результатов BackRub, состоящих из списка URL, отсортированного по количеству обратных ссылок на этот URL, они поняли, что поисковик, созданный на PageRank, принесет им высокие результаты.

Такую технологию ранжирования страницы и ее рейтинга уже изучил Робин Ли, создавший в 1996 году маленькую поисковую систему RankDex. Данная технология была запатентована и применялась позже после основания Baidu в Китае.

Первое инвестирование в Гугл было зафиксировано в августе 1998 года в сумме 100 тысяч долларов от Энди Бехтольштейма, одного из разработчиков Sun Microsystems. Официально компания была зарегистрирована 4 сентября 1998 года в гараже друга в Менло-Парк, штат Калифорния. Имя Гугл возникло от слова «гугол», обозначающего цифру 1 и сто нолей. В конце 1998 года Гугл проиндексировал более 60 миллионов страниц.

На главной странице по-прежнему была отметка БЕТА, но поисковая система уже получала положительные отклики: показатели поиска Google были выше, чем у других систем, высокие технологические инновации, чем у перегруженных веб-порталов.

Поисковик Гугл привлекает огромное количество интернет-пользователей своим минимализмом и доступным интерфейсом. В 2000 году Гугл стала продавать рекламу, связанную с ключевыми запросами поиска. Реклама состояла из текста, поэтому не нагружала оформление страницы и не снижала скорость ее загрузки.

Ключевые запросы реализовывались на базе сочетания стоимости предложения и числа переходов, стоимость начиналась от 0,05$ за переход. Данная модель реализации рекламы по ключевикам была впервые предложена goto.com. В отличие от своих конкурентов, Гугл удалось выйти на новый рынок Интернета.

Те, кто находится в тени

Если вы, как и моя мама, не знаете, какие есть другие поисковые системы, то смотрите. Их много!

Mail

Доля Mail.ru небольшая, но она постепенно растет. В первую очередь, за счет почты, Одноклассников и других сервисов от этого поисковика.

История Мейл.ру началась в 1998 году, когда группа программистов из Питера разработала почтовый сервис mail.ru и отправила в интернет для тестирования. В мае 2005 года была создана компания mail.ru Group. Она продвигает общую интегрированную площадку коммуникационных и развлекательных интернет-сервисов.

Компания владеет лидирующим почтовым сервисом, одним из самых посещаемых площадок в Рунете, популярными социальными сетями – Вконтакте и Одноклассники, крупными играми Warface, Armored Warfare, Skyforge и Perfect World, сервисом maps.me – офлайн-картами и навигацией для мобильных гаджетов на базе OpenStreetMap, сервисом доставки еды Delivery Club, торговым местом китайской продукции Pandao.

Rambler

Rambler – одна из самых старых поисковых систем. Она могла стать самой популярной в Рунете, но не сложилось. Сейчас этот поисковик и не поисковик вообщем-то, а несколько сервисов, которые сделаны на движке Yandex.

Посещаемости Rambler могут позавидовать новички – она превышает один миллион человек в день.

У Rambler существует облегченная версия, называется Rambler Lite. В ней все тоже самое, только нет надоедливой рекламы, новостей и погоды.

В 1996 году был впервые создан поисковый сервер Рамблер. Поэтому годом открытия поисковой системы является эта дата. 8 октября, после успешного прохождения тестирования, Рамблер стал функционировать в качестве поисковой системы.

Данное название у поисковика возникло не случайно. При переводе с английского означает бродяга, что точно выявляет метод работы поисковика. Он безгранично бродит по интернету и самостоятельно собирает данные о всех найденных документах.

В 1997 году впервые появился рейтинг-классификатор Rambler’s Top100, который позволяет на базе объективной информации делать оценку популярности веб-ресурса. Появление такого счетчика способствовало оживлению среди веб-мастеров, которые стали уделять большее внимание качеству разрабатываемых сайтов.

Несмотря на то, что Рамблер считается самой старой поисковой машиной Интернета, он постоянно модернизируется. Новые версии поисковой машины позволяют намного поднять скорость поиска. Обновление поискового индекса осуществляется каждый день, что позволяет находить актуальные новости.

Рамблер постоянно модернизируется и остается одним из самых востребованных поисковиков. Пока пользователи интернета будут нуждаться в поиске нужной информации, данная система будет разгуливать по интернету и собирать важную информацию.

В 2011 году Рамблер полностью отказался от продвижения и поддержки собственного поиска. Он заключился соглашение с Яндексом. С этого момента он работает совместно с Яндексом и больше не является самостоятельной поисковой машиной.

Нигма

В настоящее время непросто удивить, но этой поисковой системе удалось. Nigma умеет решать задачи по математике и химии, а также предлагает поиск по музыке, играм, книгам и торрентам.

Нигма является интеллектуальной поисковой системой, разработанной российскими разработчиками Владимиром Чернышевым и Виктором Лавроненко. Все началось с их встречи в 2004 году, а потом началось плодотворное сотрудничество по созданию качественного нового проекта для Рунета.

Несмотря на то, что сервис применяет при выдаче источники самых популярных поисковиков, у нее есть очень много интересных задумок.

Как возник поиск от Нигма?

Эта поисковая система осуществляет поиск не только по собственному индексу, но и по индексам своих коллег – Яндекс, Яху, Рамблер, Бинг. Что касается Гугл, то в программе создания алгоритмов для Нигмы приняла участие в 2007 году профессор Стэндфордского университета Гектор Гарсия-Молина, который в свое время был научным руководителем основателей этого самого востребованного на сегодняшний день поисковика.

По состоянию на февраль 2009 года у Nigma в сумме индексов с привлекаемыми поисковыми системами было более 7 миллиардов документов. Это первая кластеризующая система Рунета, но давайте вместе разбираться.

Поисковая система — это… Что такое Поисковая система?

Поиско́вая систе́ма — программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в Интернете. Под поисковой системой обычно подразумевается сайт, на котором размещён интерфейс (фронт-энд) системы. Программной частью поисковой системы является поисковая машина (поисковый движок) — комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы.

Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.

Улучшение поиска — это одна из приоритетных задач современного Интернета (см. про основные проблемы в работе поисковых систем в статье Глубокая паутина).

По данным компании Net Applications,^[1] в ноябре 2011 года использование поисковых систем распределялось следующим образом:

История

Хронология
Год	Система	Событие
1993	W3Catalog	Запуск
	Aliweb	Запуск
	JumpStation	Запуск
1994	WebCrawler	Запуск
	Infoseek	Запуск
	Lycos	Запуск
1995	AltaVista	Запуск
	Daum	Основание
	Open Text Web Index	Запуск
	Magellan	Запуск
	Excite	Запуск
	SAPO	Запуск
	Yahoo!	Запуск
1996	Dogpile	Запуск
	Inktomi	Основание
	HotBot	Основание
	Ask Jeeves	Основание
1997	Northern Light	Запуск
	Яндекс	Запуск
1998	Google	Запуск
1999	AlltheWeb	Запуск
	GenieKnows	Основание
	Naver	Запуск
	Teoma	Основание
	Vivisimo	Основание
2000	Baidu	Основание
	Exalead	Основание
2003	Info.com	Запуск
2004	Yahoo! Search	Окончательный запуск
	A9.com	Запуск
	Sogou	Запуск
2005	MSN Search	Окончательный запуск
	Ask.com	Запуск
	GoodSearch	Запуск
	SearchMe	Основание
2006	wikiseek	Основание
	Quaero	Основание
	Ask.com	Запуск
	Live Search	Запуск
	ChaCha	Запуск (бета)
	Guruji.com	Запуск (бета)
2007	wikiseek	Запуск
	Sproose	Запуск
	Wikia Search	Запуск
	Blackle.com	Запуск
2008	DuckDuckGo	Запуск
	Tooby	Запуск
	Picollator	Запуск
	Viewzi	Запуск
	Cuil	Запуск
	Boogami	Запуск
	LeapFish	Запуск (бета)
	Forestle	Запуск
	VADLO	Запуск
Powerset	Запуск
2009	Bing	Запуск
	KAZ.KZ	Запуск
	Yebol	Запуск (бета)
	Mugurdy	Закрытие
Goby	Запуск
2010	Яндекс  (англ.)	Запуск
	Cuil	Закрытие
	Blekko	Запуск (бета)
	Viewzi	Закрытие
2012	WAZZUB	Запуск

Одним из первых инструментов поиска в интернете (до Всемирной паутины) был Archie.

Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» — бот, разработанный Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице — с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины «Рамблер» и «Апорт». 23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и поиска по метаданным. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivísimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик «Нигма», поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. «Нигма» тоже экспериментировала^[2] с визуальной кластеризацией.

Помимо поисковых машин для Всемирной паутины, существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и «Veronica» для поиска в Gopher.

Популярные поисковые системы

Согласно данным LiveInternet в 2012 году об охвате русскоязычных поисковых запросов:

• Всеязычные:
  • Google (24,9 %)
  • Bing (0,8 %)
  • Yahoo! (0,2 %) и принадлежащие этой компании поисковые машины:
• Англоязычные и международные:
  • AskJeeves (механизм Teoma)
• Русскоязычные — большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках — украинском, белорусском, английском, татарском и др. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих роботов русскоязычными сайтами.

Некоторые из поисковых систем используют внешние алгоритмы поиска. Так, Qip.ru использует поисковый механизм Яндекса, а Nigma сочетает в себе как свой алгоритм, так и сборную выдачу от других поисковиков.

Необычные поисковые системы

• DuckDuckGo — гибридная поисковая система с политикой конфиденциальности пользователя и его поисковых запросов.
• Koogle (с его помощью ортодоксальные иудеи могли найти контент, признанный раввинами удовлетворяющим религиозным требованиям).^[3]
• Yauba (индийский поиск «для параноиков» — в отличие от привычных поисковиков, за пользователями не следят, а все записи о его действиях удаляются с сервера).^[3]
• TinEye — поисковая система, специализирующаяся на поиске изображений в Интернете. С недавнего времени теряет свою актуальность, после того, как Google ввел такую функцию в своем поиске по картинкам.
• Генон — поисковая система, собирающая и создающая контент у себя на сайте.
• ImHalal — первый исламский поисковик. Новый поисковик может отличить разрешённые для мусульман (халяльные) результаты поиска от запретных (харамных). Был открыт в 2009 году. Ориентировочно с начала сентября 2011 прекратил функционирование в связи с недостатком финансирования.

См. также

Примечания

Литература

• Байков Владимир Дмитриевич. Интернет. Поиск информации. Продвижение сайтов. — СПб.: БХВ-Петербург, 2000. — 288 с. — ISBN 5-8206-0095-9
• Ашманов И. С., Иванов А. А. Продвижение сайта в поисковых системах. — М.: Вильямс, 2007. — 304 с. — ISBN 978-5-8459-1155-1
• Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете. — М.: Диалектика, 2007. — 272 с. — ISBN 978-5-8459-1269-5
• Ландэ Д. В. Поиск знаний в Internet. — М.: Диалектика, 2005. — 272 с. — ISBN 5-8459-0764-0
• Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011. — ISBN 978-5-8459-1623-5

Ссылки

Поисковые машины (список)
Общие
Региональные	Accoona (Китай/США) • Alleba (Филиппины) • Ansearch (Австралия/США/Великобритания/Новая Зеландия) • Апорт (Россия) • Daum (Юж. Корея) • Guruji.com (Индия) • Поиск@Mail.Ru (Россия) • Maktoob (Бл. Восток) • Meta.ua (Украина) • Miner.hu (Венгрия) • Najdi.si (Словения) • Onkosh (Бл. Восток) • Рамблер (Россия) • Rediff (Индия) • SAPO (Португалия) • Search.ch (Швейцария) • Sesam (Норвегия/Швеция) • Walla! (Израиль)
…лидеры	Baidu (Китай) • Naver (Юж. Корея) • Seznam (Чехия) • Yahoo! Japan (Япония) • Яндекс (Россия, СНГ, Турция)
Тематические
Метапоиск	AskNet.ru • Brainboost • Clusty • Dogpile • FarSEER • exactus.ru • Excite • HotBot • Info.com • Ixquick • Krozilo • Mamma • Metacrawler • MetaLib • Нигма • Myriad Search • SideStep • Surfwax • Turbo10 • WebCrawler • GlobalFileSearch
Открытые / свободные	DataparkSearch • Egothor • Gonzui • Grub • Ht://dig • locust • Isearch • Lucene • Lemur Toolkit & Indri Search Engine • mnoGoSearch • Namazu • Nutch • OpenFTS • Sciencenet (научная, на технологии YaCy) • Wikia Search • Sphinx • SWISH-E • Terrier Search Engine • Xapian • YaCy • Zettair
Детские	AGAKIDS (Россия) • Ask Kids (Великобритания) • Frag Finn (Германия) • Kids AOL (США) • Kids Yahoo! (США) • Quintura Дети (Россия) • Семейный Яндекс (Россия) • Гогуль (Россия)

Как работает поисковая система и какие бывают поисковики? | Интернет

Интернет необходим многим пользователям для того, чтобы получать ответы на запросы (вопросы), которые они вводят.

Если бы не было поисковых систем, пользователям пришлось бы самостоятельно искать нужные сайты, запоминать их, записывать. Во многих случаях найти «вручную» что-то подходящее было бы весьма сложно, а часто и просто невозможно.

За нас всю эту рутинную работу по поиску, хранению и сортировке информации на сайтах делают поисковики.

Содержание статьи:

1. Поисковые системы в Интернете на русском языке
2. Цель поисковиков
3. Работа поисковика и действия вебмастеров
4. Как работает поисковая система?
5. Сканирование
6. Индексирование
7. Ранжирование

Начнем с известных поисковиков Рунета.

Поисковые системы в Интернете на русском

1) Начнем с отечественной поисковой системы. Яндекс работает не только в России, но также работает в Белоруссии и Казахстане, в Украине, в Турции. Также есть Яндекс на английском языке.

Яндекс https://www.yandex.ru/

2) Поисковик Google пришел к нам из Америки, имеет русскоязычную локализацию:

Google https://www.google.ru/

3)Отечественный поисковик Майл ру, который одновременно представляет социальную сеть ВКонтакте, Одноклассники, также Мой мир, известные Ответы Mail.ru и другие проекты.

Майл ру https://mail.ru/

4) Интеллектуальная поисковая система

Nigma (Нигма) http://www.nigma.ru/

С 19 сентября 2017 года “интеллектуалка” nigma не работает. Она перестала для её создателей представлять финансовый интерес, они переключились на другой поисковик под названием CocCoc.

5) Известная компания Ростелеком создала поисковую систему Спутник.

Спутник http://www.sputnik.ru/

Есть поисковик Спутник, разработанный специально для детей, про который я писала ТУТ.

6) Рамблер был одним из первых отечественных поисковиков:

Рамблер http://www.rambler.ru/

В мире есть другие известные поисковики:

подробнее о них ЗДЕСЬ.

Попробуем разобраться, как же работает поисковая система, а именно, как происходит индексация сайтов, анализ результатов индексации и формирование поисковой выдачи. Принципы работы поисковых систем примерно одинаковые: поиск информации в Интернете, ее хранение и сортировка для выдачи в ответ на запросы пользователей. А вот алгоритмы, по которым работают поисковики, могут сильно отличаться. Эти алгоритмы держатся в тайне и запрещено ее разглашение.

Введя один и тот же запрос в поисковые строки разных поисковиков, можно получить разные ответы. Причина в том, что все поисковики используют собственные алгоритмы.

Цель поисковиков

В первую очередь нужно знать о том, что поисковики – это коммерческие организации. Их цель – получение прибыли. Прибыль можно получать с контекстной рекламы, других видов рекламы, с продвижения нужных сайтов на верхние строчки выдачи. В общем, способов много.

Прибыль поисковика зависит от того, какой размер аудитории у него, то есть, сколько человек пользуется данной поисковой системой. Чем больше аудитория, тем большему числу людей будет показываться реклама. Соответственно, стоить эта реклама будет больше. Увеличить аудиторию поисковики могут за счет собственной рекламы, а также привлекая пользователей за счет улучшения качества своих сервисов, алгоритма и удобства поиска.

Самое главное и сложное здесь – это разработка полноценного функционирующего алгоритма поиска, который бы предоставлял релевантные результаты на большинство пользовательских запросов.

Работа поисковика и действия вебмастеров

Каждый поисковик обладает своим собственным алгоритмом, который должен учитывать огромное количество разных факторов при анализе информации и составлении выдачи в ответ на запрос пользователя:

• возраст того или иного сайта,
• характеристики домена сайта,
• качество контента на сайте и его виды,
• особенности навигации и структуры сайта,
• юзабилити (удобство для пользователей),
• поведенческие факторы (поисковик может определить, нашел ли пользователь то, что он искал на сайте или пользователь вернулся снова в поисковик и там опять ищет ответ на тот же запрос)
• и т.д.

Все это нужно именно для того, чтобы выдача по запросу пользователя была максимально релевантной, удовлетворяющей запросы пользователя. При этом алгоритмы поисковиков постоянно меняются, дорабатываются. Как говорится, нет предела совершенству.

С другой стороны, вебмастера и оптимизаторы постоянно изобретают новые способы продвижения своих сайтов, которые далеко не всегда являются честными. Задача разработчиков алгоритма поисковых машин – вносить в него изменения, которые бы не позволяли «плохим» сайтам нечестных оптимизаторов оказываться в ТОПе.

Как работает поисковая система?

Теперь о том, как происходит непосредственная работа поисковой системы. Она состоит как минимум из трех этапов:

• сканирование,
• индексирование,
• ранжирование.

Число сайтов в интернете достигает просто астрономической величины. И каждый сайт – это информация, информационный контент, который создается для читателей (живых людей).

Сканирование

Это блуждание поисковика по Интернету для сбора новой информации, для анализа ссылок и поиска нового контента, который можно использовать для выдачи пользователю в ответ на его запросы. Для сканирования  у поисковиков есть специальные роботы, которых называют поисковыми роботами или пауками.

Поисковые роботы – это программы, которые в автоматическом режиме посещают сайты и собирают с них информацию. Сканирование может быть первичным (робот заходит на новый сайт в первый раз). После первичного сбора информации с сайта и занесения его в базу данных поисковика, робот начинает с определенной регулярностью заходить на его страницы. Если произошли какие-то изменения (добавился новый контент, удалился старый), то все эти изменения будут поисковиком зафиксированы.

Главная задача поискового паука – найти новую информацию и отдать ее поисковику на следующий этап обработки, то есть, на индексирование.

 Индексирование

Поисковик может искать информацию лишь среди тех сайтов, которые уже занесены в его базу данных (проиндексированы им). Если сканирование – это процесс поиска и сбора информации, которая имеется на том или ином сайте, то индексация – процесс занесения этой информации в базу данных поисковика. На этом этапе поисковик автоматически принимает решение, стоит ли заносить ту или иную информацию в свою базу данных и куда ее заносить, в какой раздел базы данных. Например, Google индексирует практически всю информацию, найденную его роботами в Интернете, а Яндекс более привередлив и индексирует далеко не все.

Для новых сайтов этап индексирования может быть долгим, поэтому посетителей из поисковых систем новые сайты могут ждать долго. А новая информация, которая появляется на старых, раскрученных сайтах, может индексироваться почти мгновенно и практически сразу попадать в «индекс», то есть, в базу данных поисковиков.

Ранжирование

Ранжирование  – это выстраивание информации, которая была ранее проиндексирована и занесена в базу того или иного поисковика, по рангу, то есть, какую информацию поисковик будет показывать своим пользователям в первую очередь,  а какую информацию помещать «рангом» ниже. Ранжирование можно отнести к этапу обслуживания поисковиком своего клиента – пользователя.

На серверах поисковой системы происходит обработка полученной информации и формирование выдачи по огромному спектру всевозможных запросов. Здесь уже вступают в работу алгоритмы поисковика. Все занесенные в базу сайты классифицируются по тематикам, тематики делятся на группы запросов. По каждой из групп запросов может составляться предварительная выдача, которая впоследствии будет корректироваться.

Рис. 1 Упреждающий поиск – выдаются подсказки при вводе первых букв в строку поиска

Предварительная выдача называется еще «упреждающим поиском» – это когда пользователь только начинает вводить свой запрос, а ему уже предлагаются различные варианты ответов.

В каждой поисковой системе есть модераторы – люди, отвечающие за оценку сайтов и результаты выдачи по определенным группам запросов. Модераторы нужны для того, что контролировать работу поисковика, а также замещать алгоритм там, где он работает недостаточно хорошо (корректировать его работу). Модераторы могут вручную менять позиции тех или иных сайтов, если видят, что алгоритм поисковика в каких-то случаях сработал некорректно.

Голосование

Спасибо за Ваш голос!

 Загрузка …

P.S. К статье отлично подходит:

1. Что полезно знать о запросах в поисковых системах Google и Яндексе

2. Основная миссия и задачи поисковика Google

3. Поиск информации ВКонтакте

4. Семь необычных поисковых систем