Раздел 2
Анализ поисковых систем Интернет
Поисковые системы
Помочь пользователю найти нужную информацию в Сети призваны поисковые системы. В поиске нужных ресурсов пользователь вводит одно или несколько ключевых слов, которые, по его мнению, лучше всего отражают суть интересующего вопроса. Поисковая система за считанные секунды просматривает весь собственный каталог веб-ресурсов (индекс), состоящий из десятков и сотен гигабайт информации. В результате предлагается список ссылок на страницы, в которых встречаются указанные слова.
Любой поисковый сервер представляет собой огромное хранилище информации. Собирают эту информацию специальные роботы - так называемые Spiders (пауки) или Bots. Они ползают по узлам всемирной паутины и собирают данные о сайтах – индексируют их. Периодически робот возвращается на свой сервер и отдает ему собранную информацию. Там эта информация приводится в надлежащий вид, заносится в специальную базу данных и после этого может быть найдена пользователем поисковых сайтов. По некоторым данным, поисковые сервера могут дать Вам от 30 до 60% суммарного трафика веб-сайта. Найденные поисковой машиной документы относятся к одной из двух категорий: одни соответствуют запросу (релевантны), другие ему не соответствуют, то есть нерелевантны...
На этом простом механизме в настоящее время строится перспективный бизнес. Сами поисковые машины тоже относятся к одной из двух категорий: одни технологически эффективны, другие наоборот. Однако, современные поисковики настолько сложные системы, что уже не могут быть описаны в кооординатах "хорошо-плохо"
Вот наиболее известные поисковые системы:
Русские поисковые системы:
Rambler
Апорт!
Yandex
Ау!
Lycos
Punto
Лупа.ru
Созвездие Интернет
Россия в Сети
Weblist
Улитка
Релком
Diamond
Tree
Иван Сусанин
Иван Сусанин (втоpой)
List
Украинские поисковые системы:
Пошук
Uahoo
Холмс (по Украине)
UAportal
Ping
Мета (по Украине)
NSearch (по Украине)
Иностранные поисковые системы:
AltaVista
Excite
HotBot
InfoSeek
InfoSeek Ultra
LinkStar
LinkMaster
Lycos
Magellan
OpenText
Switchboard
Webcrawler
Yahoo
All 4 One
European Directory
EZ-Find
Internet Directory
New Riders' Official World Wide Web Yellow Pages
Cyberlands Web Search
All In One Search Page
Internet Sleuth
EINet's Finding Things on the Net
ISP Internet Yellow Pages
W3 Search Engines
Home Page Directory
The WWW Worm
WebSearch
Русскоязычные поисковые механизмы в Интернет
Многие популярные Web-узлы так и остались бы неизвестными, если бы не справочно-поисковые системы
Это должно было произойти, и это произошло. 1996 год стал годом появления и быстрого распространения поисковых систем, специализирующихся на выявлении, в первую очередь, русскоязычных материалов. Закономерность этого процесса понятна, поскольку к тому моменту российский блок Интернет уже накопил обширный по объему и ценный по содержанию информационный массив, и стал полноправной составной частью всемирных киберресурсов. Образование поисковых систем явилось как бы еще одним доказательством реальной значимости накопленного информационного массива: как только сформировалось то, что нужно искать, появились инструменты, позволяющие это делать.
Русскоязычные поисковые средства возникли не на пустом месте. У их разработчиков было время собраться с мыслями и проанализировать многочисленные зарубежные аналоги (забегая вперед, отметим, что этой возможностью воспользовались далеко не все). Тем более, что принципиально новые решения изобрести было довольно сложно. Российские поисковые системы сохранили традиционное деление на электронные справочники, позволяющие последовательно знакомиться с материалами по определенным отраслям и темам, и поисковые системы в чистом виде, с помощью которых осуществляется поиск источников по узкому профилю.
Среди справочников на роль российского Yahoo! претендовали два программных продукта: "Паук" (http://spider.raser.ru) и "Созвездие Internet" (http://www.stars.ru).
"Паук", плетущий свои сети с 1995 года (единственный, обогнавший время) и уже ставший ветераном отечественного сетевого поиска, имеет интерфейс без особых изысков, но зато несколько иерархических уровней. Логичность отраслевой иерархии оставляет желать много лучшего, поэтому для его использования требуется порой нестандартное мышление, иначе трудно определить, в каком разделе могут находиться требуемые данные. Такая запутанность справочника уже сейчас затрудняет работу, а с ростом объемов информации эта проблема будет все более и более усугубляться. Выборочная проверка оперативности обновления разделов "Паука" показала, что система поддерживается в актуальном состоянии довольно слабо. В ней отсутствуют некоторые очень информативные серверы, появившиеся более полугода назад.
В своей нынешней версии "Паук" поддерживает все русские кодировки, а также дает возможность непосредственного поиска, который, как это часто бывает у справочников, ограничен названиями, первым строками текста (комментариями) и электронными адресами Web-страниц. Поисковый блок не позволяет употреблять в запросе даже простые операторы "и" и "или", поэтому розыск может вестись одновременно только по одному понятию, с возможностью усечения окончаний слов с помощью "*".
"Созвездие Internet", нашедшее пристанище на известном сервере "ИнфоАрт", относится к новейшим разработкам, что заметно по его интерфейсу, выполненному на высоком уровне с применением фреймов и качественной графики: функционально и одновременно внешне привлекательно. К сожалению, содержание "Созвездия" пока отстает от его внешнего вида. Справочник не имеет разветвленной иерархической структуры. Основной ряд включает разделы "Компьютеры и технологии", "Экономика и бизнес", "Медицина и здоровье", "СМИ", "Искусство и культура", "Образование и наука", "Техника и транспорт", "Отдых и развлечения" и "Разное". При раскрытии раздела идет непосредственное перечисление серверов данной тематики, число которых пока также невелико. В среднем оно составляет около 40, а памятуя о том, что в России число серверов давно превысило 3000, легко понять, что фрагмент, отраженный в "Созвездии", очень невелик. Один из немногих положительных моментов - то, что помимо названия сервера в справочник включается также краткая характеристика его содержания. Прямой же поиск в "Созвездии Internet" не выходит за пределы названий и аннотаций уже учтенных серверов.
Для ориентации в отечественном киберпространстве также может помочь электронная версия "Желтых страниц Интернет (русские ресурсы)" издательства "Питер", хранящаяся по адресу (http://proxy.menatep.elcom.ru/yp/yp_about.htm).
Русскоязычные поисковые средства в чистом виде (search engines) предоставляют более широкие возможности выбора. К ним относятся Rambler (http://www.rambler.ru), "Новый русский поиск" (http://www.openweb.ru/koi8), Апорт! http://www.aport.ru/"Русская машина поиска" (http://search.interrussia.com) и Russian Internet Search (http://www.search.ru).
"Русская машина поиска", несмотря на название, является зарубежной разработкой, ориентированной, тем не менее, исключительно на русскоязычные ресурсы по всему Интернету. Как показывают тесты, она бороздит русскоязычное киберпространство весьма выборочно. Вероятно, ориентиром выступает значимость того или иного узла, определяемая создателями "Машины". Меню запроса "Машины" предлагает пользователю возможность самому устанавливать или отменять чувствительность к написанию заглавных и строчных букв, а также указывать количество возможных ошибок в искомом слове, если нет уверенности в его написании. Последнее качество, кстати, весьма полезно и при многовариантности запроса типа "библиотека или библиотеки или библиотек", поскольку усекать термины "Машина" принципиально не позволяет.
"Русская машина поиска" обладает довольно непривычной формой выдачи результатов, определяемой используемым инструментом - Harvest. Перед пользователем предстают нагромождения из английских и русских слов и символов. После некоторого разбирательства удается понять, что все не так сложно, просто один длинный URL разбит зачем-то на несколько составных частей, привычный title назван "Description", а каждое вхождение искомого термина обозначено отдельной строкой. Единственной положительной стороной такой детализации является возможность сразу увидеть, в какой части Web-страницы содержится искомый термин, а иногда даже и в каком контексте он употреблен. Впрочем, такую пестроту результатов можно и отменить через меню, однако в этом случае информация в ссылке сократится до электронного адреса найденного объекта. К сожалению, система не ранжирует результаты поиска, поэтому зачастую приходится просматривать список до самого конца, ища наиболее ценные ссылки.
Поисковая система Rambler
адрес: http://www.rambler.ru
Краткий обзор
Поисковая система Рамблер начала свое существование с 1996 года. На сегодняшний день она является одной из самых популярных в РуНете, уступая лишь Яндексу (по популярности). По оценкам SpyLog на Рамблер приходится 20-25% от всех поисковых запросов РуНета.
Поисковая система Рамблер при поиске учитывает морфологию русского языка, что дает больше возможностей для эффективного поиска информации. Реализована также система так называемых "перевязок", которая позволяет выдавать в результатах поиска не только страницы содержащие запрос, но и слова, которые являются синонимами запроса. Еще одной функцией "перевязок", думаю более значимой, является выдача контекстной рекламы не только по конкретному запросу, но и по запросам, которые тесно связаны с исходным, это позволяет перекрыть большее количество целевой аудитроии.
На Rambler функционирует также рейтинговая система Rambler's Top 100(http://www.top100.rambler.ru/, здесь можно прочитать его описание), в которой можно найти наиболее посещаемые сайты по определенной тематике. На данный момент это самый популярный рейтинг РуНета, даже можно сказать, что это один из немногих рейтингов РуНета, в которых стоит участвовать.
Рамблер находит именно то, что Вам нужно, результаты поиска максимально соответствуют запросу. Вам не придется искать нужные документы среди множества ссылок.
По соответствию запросу оцениваются не только отдельные документы, но и целые сайты. Благодаря объединению по сайтам за одним ответом на Ваш запрос могут стоять десятки найденных документов.
Робот Рамблера, индексирующий российский Интернет, обходит его значительно чаще. Новые страницы быстрее попадают в результаты поиска, "мертвые" – уходят.
Поисковая машина понимает, что "идет" и "шёл" - формы одного и того же слова. То же и с английскими словами - например, "go" и "went". И даже совсем новые, незнакомые ей слова машина умеет склонять и спрягать: поищите, например, "виндозные сидюки".
На популярные новостные сайты (Рамблер-Медиа, Лента.ру, Газета.ру, НТВ и другие) робот Рамблера заходит по несколько раз в сутки. Переключившись на поиск "по новостям", Вы найдете информацию о последних событиях почти сразу после ее появления на сайтах агентств и онлайновых СМИ.
Рамблер по-прежнему остается самой быстрой поисковой системой На конкурсе "Золотая паутина" информационно-поисковая система Рамблер была отмечена первым призом в номинации "Лучший коммерческий проект года".
Действительно, компания Рамблер по праву считается первой крупной рекламной площадкой российского Интернета и стоит у истоков классического сетевого рекламного бизнеса.
Нынешняя позиция Рамблера в российском Интернет и на рынке интернет-рекламы
В настоящий момент Интернет-холдинг Rambler несмотря на обострившуюся конкуренцию по-прежнему уверенно сохраняет лидирующие позиции крупнейшей рекламной площадки. Рамблер - это комплексный информационный сервис, охватывающий практически весь российский интернет. Рамблер - самый популярный в российском интернете портал, объединивший поисковую систему, рейтинг-классификатор, а также ряд бесплатных сервисов и информационных проектов. В состав интернет-холдинга входят портал Рамблер, новостная интернет-газета Лента.ру, медицинский сайт Doctor.ru, онлайновый клуб родителей Mama.ru, картографический сервис NaKarte.ru, телекоммуникационное подразделение "Рамблер Телеком". Рамблер активно развивается, расширяя количество сервисов и информационных ресурсов. В настоящее время в недрах компании формируется уникальный интерактивный телевизионный канал Rambler ТелеСеть, который с 1 января 2003 года начинает вещание в России, странах Балтии и СНГ.
Также осуществляется работа по разработке и внедрению передовых рекламных технологий, призванных повысить эффективность онлайновых кампаний, отвечающих растущим требованиям рынка и запросам рекламодателей.
Информация об аудитории Рамблера
На протяжении многих лет ресурсы Рамблера - наиболее посещаемые в России, о чем свидетельствуют данные исследовательских компаний Gallup Media и КОМКОН-2. Ежемесячно посетителями Рамблера становятся около 10 миллионов пользователей со всего мира, из них 3 миллиона пользователей составляет российская аудитория. Аудитория Рамблера составляет более 700 тыс. посетителей в день, в том числе 500 000 россиян.
"Апорт"
http://www.aport.ru/
Поисковая машина "Апорт" была впервые продемонстрирована в феврале 1996 года на пресс-конференции "Агамы" по поводу открытия "Русского клуба". Тогда она искала только по сайту russia.agama.com. Потом она начала искать по четырем, потом по шести серверам... Короче, день рождения и фактический старт системы сильно "размазались" по времени, а официальная презентация "Апорта" состоялась только 11 ноября 1997 года. К тому времени в его базе был проиндексирован первый миллион документов, расположенных на 10 тысячах серверов. Создателем системы выступила компания "Агама" - разработчик программного обеспечения для платформы Windows, главным из которых являлся корректор орфографии "Пропись". Лингвистические разработки "Агамы" использовались при создании поисковой машины, в которой, скажем, в отличие от "Рамблера", изначально учитывалась морфология слов и осуществлялась по желанию клиента проверка орфографии запроса.
По тем же историческим причинам "Апорт" создавался и продолжает функционировать под Windows NT, хотя в XXI веке уже становится очевидным, что поисковая машина должна работать на платформе UNIX (когда речь идет о системе на базе NT, включающей 40-50 серверов, то кнопку Reset приходится нажимать несколько раз в день, а вовсе не один раз в месяц). Правда, "Апорт" не использует единственное кластерное решение, которое предлагает Microsoft (MS Claster Server со всеми его ограничениями), и вообще избегает универсальных решений (не используется, например, SQL-сервер или Oracle - они хороши для большого круга задач, но не для полнотекстового поиска).
Важнейшими свойствами первой версии "Апорта" являлся перевод запроса и результатов поиска на английский язык и обратно, а также реконструкция всех проидексированных страниц из собственной базы (что означает возможность просмотра страниц, уже несуществующих в оригинале).
В ноябре 1998 года компания "Агама" была куплена за 55 тысяч долларов израильским капиталом в лице Джозефа Авчука (с сохранением торговых марок "Апорт" и "Агама"). В марте 1999 года Авчук входит в долю, а летом того же года окончательно покупает каталог Ау!, торговой марке которого повезло существенно меньше - она была переименована сначала в AtRus, а потом и вовсе уничтожена при экспорте каталога на сайты "России он-лайн", "Омен" и "Апорт". К концу 1999 года Авчук вложил в "Апорт" и AtRus первый миллион долларов, позволивший в октябре того же года представить на компьютерных выставках по обе стороны океана принципиально новую поисковую машину "Апорт 2000", полностью интегрированную с Atrus (ныне "Каталог-Апорт").
"Апорт 2000" стал первым русским поисковиком, построенным на основе выдачи результатов по отдельно взятым сайтам. Для разделения ресурсов на сайты используется информация, которую "Апорту" предоставляет каталог AtRus или сведения, введенные в "Апорт" владельцами ресурсов. На худой конец, приходится опираться на алгоритм, который позволяет по некоторым формальным признакам выделить отдельные сайты.
"Апорт 2000" стал первой российской поисковой машиной, практически реализовавший две базовых технологии американской поисковой машины Google. Первая - учет "ранга страницы" (Page Rank), который характеризует ее популярность (вычисляется по количеству ссылок на ресурс из внешнего Интернета: вес ссылки с популярного сайта выше, чем вес ссылки с менее популярного; ссылки, включающие слова запроса, имеют больший вес, чем, скажем, слово "здесь"). Вторая - обработка запроса, ориентируясь на HTML-код страницы (к примеру, анализ текста, содержащегося между тегами шрифтов h2 и h6 дает больший приоритет для первого варианта). В "Апорт 2000" учитывается также вхождение слов запроса в URL. Среди недокументированных особенностей - больший приоритет сайтам, получившим высшую и элитную лигу в каталоге AtRus.
Еще на этапе разработки "Апорта 2000" в него были заложены "крючечки", позволяющие корректировать приоритеты в выдаче результатов с учетом посещаемости сайтов по счетчику Aport Top 1000 и для сайтов, чье название в службах реальных имен является синонимом или совпадает со словами запроса (так как любая служба имен модеририруется, и полной чуши в ее данных быть не может). Обе эти возможности до сих пор не реализованы.
Можно отметить и то, что "Апорт" первым устроил поиск по новостным лентам (какие бы ложные сведения о приоритете "Яндекса" в этом сервисе не распускал в свое время Internet.ru).
И, наконец, еще одно первенство "Апорта" - использование платной нулевой строки в выдаче (кстати, "Апорт" первым среди наших поисковиков начал покупать такой сервис у AltaVista, которая за небольшую плату выдавала его ссылку первой при запросе "Russian Search"). Однако в "Апорте" нельзя купить не нулевое, а просто более высокое место для своего сайта в результатах поиска.
Пользователи "Апорта" (в отличие завсегдатаев "Яндекса") мало пользуются расширенным поиском (на 8000 загрузок простой страницы приходится 300 вызовов страницы "Расширенный поиск").
Организация масштабируемости в архитектуре "Апорт 2000" такова, что можно дробить поисковую базу "Апорта" на несколько отдельных баз, каждый маленький "Апорт" работает на своем компьютере. "Апорт 2000" считает, что весь Интернет поделен на фрагменты. После проведения поиска по этим фрагментам, пользователю интегрируется и выдается общий ответ. Добавлять новые маленькие "апортики" можно путем не очень сложной процедуры. В случаях аварий отдельных машин выдаются несколько отличные от штатных интегральные результаты, что мы можем время от времени наблюдать.
31 июля 2000 года Golden Telecom купил семейство интернет-проектов "Агама", включающее "Апорт" и AtRus, для включения в "Россию-он-лайн" и околоконтентные проекты.
В мае 2001 года окончательно завершилась сделка по смене хозяина самого Golden Telecom. Андрей Косогов (первый заместитель председателя правления "Альфа-банка") сообщил "Интерфаксу" о том, что новые владельцы контрольного пакета будут осуществлять только стратегическое управление Golden Telecom через совет директоров (все прежние хозяева "Апорта" непосредственно вмешивались в управление проектом).
Поисковая система Yandex.
www.yandex.ru
www.ya.ru - текстовая версия
На сегодняшний день имеет самую большую базу данных, которая имеет кластерную структуру и размещена на нескольких серверах.
В 1996 году компанией CompTek, созданной со стопроцентным американским участием, на выставке Internetcom было официально объявлено о существовании "Яндекса". Это была морфологическая приставка к "Альтависте", которую отличало быстродействие и умение строить гипотезы. Пословный индекс для незнакомых слов организован также, как и для словарных - этим "Яндекс" отличается от других поисковиков.
23 сентября 1997 года "Яндекс" стал интернет-проектом. Релевантность документов вычислялась в зависимости от частотных характеристик искомых слов, веса слова или выражения, близости искомых слов в тексте документа друг к другу и так далее. В октябре 1999 года в интервью "ИнфоБизнесу" Аркадий Волож указал: "Финансирование "Яндекса" всегда было не ниже сегодняшнего финансирования "Апорта". В результате, 6 июня 2000 года была представлена вторая версия системы, а нынешняя версия функционирует с 23 мая 2001 года. Ее главное нововведение, которое потребовало неизбежной перестройки ядра, - ранжирование по ссылкам. Другие нововведения относятся, главным образом, к переформулированию системой запросов пользователя: "что такое предмет" преобразуется в "предмет - это...", а если запрос начинается на слово "как", то в результатах в первую очередь пытаются выдать FAQ или иной справочный документ. Новый "Яндекс" стал "понимать" альтернативную лексику, которая входит в 5 процентов запросов. Только в последней версии Яндекса индекс цитируемости стал непосредственно использоваться поисковой машиной.
В настоящее время "Яндекс" обладает самой полной базой документов среди русских искалок, а также самой узнаваемой маркой.
Сравнение качества поиска
Поисковая машина характеризуется двумя важнейшими параметрами: точностью и полнотой (полнота есть отношение количества найденных релевантных документов к полному количеству релевантных документов в базе данных).
Пример. Пусть по запросу найдено 50 документов. После просмотра их всех пользователь принимает решение, что 30 документов релевантны запросу, а 20 нерелевантны. Сплошной просмотр всей базы данных показывает, что в ней содержится 100 документов, релевантных запросу. Отсюда получаем, что полнота 30/100 = 0,3; точность 30/50 = 0,6. Как правило, улучшая один из названных параметров, ухудшаешь другой.
Используется также такая обобщенная характеристика, как техническая эффективность поисковых машин, включающая скорость поиска по запросу, объем базы, удобство представления результатов, скорость индексирования информации и так далее. Но особое место среди этих параметров занимают показатели качества поиска - в этом сходятся мнения всех создателей поисковых машин.
Отечественная компьютерная пресса, которая так любит устраивать тестирование лингвистических программ (например, систем оптического распознавания), пока ни разу не организовала ни одного тестирования отечественных поисковиков (в отличие от ZDnet). Научные тестирования поисковиков также представляются недостаточно объективными, так как используют, к примеру, всего четыре типа запросов (без учета реальной частоты этих запросов на некоторую поисковую машину). Поэтому остановимся на исследованиях для оценки точности по методике Н. Харина. Она используется во время периодических внутрифирменных тестирований поисковых машин в "Рамблере" группой приглашенных экспертов-лингвистов (обычно, в течение двух недель каждое). Можно считать это тестирование независимым, так как его результат не используется заказчиком в маркетинговых целях. Исследования проводились путем оценки результатов поиска различных поисковиков по одним и тем же 100 популярным запросам, состоящим из одного, двух, трех и четырех слов. Важным условием всех исследований были четкие формулировки, какие именно документы считать релевантными смыслу каждого из запросов (без этого были бы получены сильно завышенные оценки технической эффективности). Часто встречающиеся запросы, содержащие ненормативную лексику, не учитывались.
Результаты иследований представлены ниже. Значения годичной давности оставлены, чтобы показать изменения эффективности при переходе "Яндекса" на более совершенную версию поисковой машины в июне 2000 года и изменение точности "Рамблера", вследствие того, что с ноября 2000 года некоторые нововведения стали последовательно внедряться в старый движок.
Результаты для "Апорта", по словам его создателя Евгения Киреева, качественно похожи на правду, потому что за прошедший год ничего в технологиях повышения релевантности в этой системе не менялось, так как, по его мнению, ничего уже и невозможно принципиально изменить. По его словам, команда "Апорта" спокойно ждет, пока "Яндекс" и "Рамблер" подтянутся до такого же уровня, и это будет уровнем развития отрасли. Фактически, результаты последнего исследования от 24 мая 2001 года, проведенные на следующий день после представления новой версии "Яндекса", показывают, что с нынешнего лета уровень отрасли определяется им.
Хотя данные советы даны в качестве "советов по поиску в Яндексе", тем не менее они применимы к подавляющему большинству поисковых систем, так как все современные поисковые системы, в своих функциях и возможностях для поиска, очень похожи.
Проверяйте орфографию
Если поиск не нашел ни одного документа, то вы, возможно, допустили орфографическую ошибку в написании слова. Проверьте правильность написания. Если вы использовали при поиске несколько слов, то посмотрите на количество каждого из слов в найденных документах (перед их списком после фразы "Результат поиска"). Какое-то из слов не встречается ни разу? Скорее всего, его вы и написали неверно.
Используйте синонимы
Если список найденных страниц слишком мал или не содержит полезных страниц, попробуйте изменить слово. Например, вместо "рефераты" возможно больше подойдет "курсовые работы" или "сочинения". Попробуйте задать для поиска три-четыре слова-синонима сразу. Для этого перечислите их через вертикальную черту (|). Тогда будут найдены страницы, где встречается хотя бы одно из них. Например, вместо "фотографии" попробуйте "фотографии | фото | фотоснимки".
Ищите больше, чем по одному слову
Слово "психология" или "продукты" дадут при поиске поодиночке большое число бессмысленных ссылок. Добавьте одно или два ключевых слова, связанных с искомой темой. Например, "психология Юнга" или "продажа и покупка продовольствия". Рекомендуем также сужать область вашего вопроса. Если вы интересуетесь автомобилями ВАЗа, то запросы "автомобиль Волга" или "автомобиль ВАЗ" выдадут более подходящие документы, чем "легковые автомобили".
Не пишите большими буквами
Начиная слово с большой буквы, вы не найдете слов, написанных с маленькой буквы, если это слово не первое в предложении. Поэтому не набирайте обычные слова с Большой Буквы, даже если с них начинается ваш вопрос Яндексу. Заглавные буквы в запросе рекомендуется использовать только в именах собственных. Например, "группа Черный кофе", "телепередача Здоровье".
Найти похожие документы
Если один из найденных документов ближе к искомой теме, чем остальные, нажмите на ссылку "найти похожие документы". Ссылка расположена под краткими описаниями найденных документов. Яndex проанализирует страницу и найдет документы, похожие на тот, что вы указали. Но если эта страница была стерта с сервера, а Яндекс еще не успел удалить ее из базы, то вы получите сообщение "Запрошенный документ не найден".
Используйте знаки "+" и "-"
Чтобы исключить документы, где встречается определенное слово, поставьте перед ним знак минуса. И наоборот, чтобы определенное слово обязательно присутствовало в документе, поставьте перед ним плюс. Обратим внимание, что между словом и знаком плюс-минус не должно быть пробела. Например, запрос "частные объявления продажа велосипедов" выдаст вам много ссылок на сайты с разнообразными частными объявлениями. А запрос с "+" "частные объявления продажа +велосипедов" покажет объявления о продаже именно велосипедов. Если вам нужно описание Парижа, а не предложения многочисленных турагентств, имеет смысл задать такой запрос "путеводитель по парижу -агентство -тур".
Попробуйте использовать язык запросов
С помощью специальных знаков вы сможете сделать запрос более точным. Например, укажите, каких слов не должно быть в документе, или что два слова должны идти подряд, а не просто оба встречаться в документе. (Описание синтаксиса языка запросов - http://www.yandex.ru/info/syntax.html)
Искать без морфологии
Вы можете указать Яндексу не перебирать все словоформы слов из запроса при поиске. Например, !лукоморья найдет только страницы, цитирующие строчку из стихотворения Пушкина ("У лукоморья дуб зеленый").
Поиск картинок и фотографий
Яндекс умеет искать не только в тексте документа, но и отыскивать картинки по названию файла или подписи. Для этого на первой странице yandex.ru нажмите ссылку "расширенный поиск". Для поиска картинки предусмотрены два поля. В поле "Название картинки" вписываются слова для поиска по названиям картинок, обычно появляющихся, когда к картинке подводится курсор. Например, название картинки "Венера" выдаст все страницы с картинками Венеры (всего, что можно понимать под этим словом).
В поле "Подпись к картинке" вписывается название файла, содержащего картинку. Например, запрос dog найдет в Интернете все картинки, в имени файла которых встречается слово "dog". С большой вероятностью эти картинки связаны с собаками.
Поисковая система TELA
адрес сайта: http://tela.dux.ru
Поисковая система TELA, созданная петербургским Интернет-провайдером DUX, ориентирована на поиск русскоязычных страниц в WWW, а также англоязычных страниц на российских серверах. Сбором страниц занимается подсистема-робот, сделанная на базе робота MOMspider, а поисковая часть сервера TELA сделана на базе системы поиска freeWAIS-sf с использованием русской версии системы поддержки морфологии языка ILIAS. Возможно использование метасимволов, задание слов в любой словоформе, поиск документов, содержащих все ключевые слова или лишь одно из них. Проиндексированные документы полностью хранятся на поисковом сервере и могут быть просмотрены, даже если сервер, с которого они получены, недоступен или документ удален.
Система TELA имеет часть, предназначенную для поиска по ключевым словам в русскоязычных телеконференциях: иерархии relcom, fido7, медицинские телеконференции medlux, петербургские телеконференции группы spb и др. Предусмотрен отдельный поиск в каждой из коммерческих телеконференций "Релком" (группы relcom.commerce.*).
адрес сайта: http://tela.dux.ru/news.html
Зарубежные поисковики для русскоязычного пользователя
Среди поисковиков, в которых можно, задав русский запрос, получить на выдаче осмысленный ответ, пока еще остается Altavista (или не получивший развития Raging.com), но в ней русскоязычная база была порушена еще в 1999 году. Сейчас более или менее полноценными зарубежными искалками по Рунету можно считать лишь Fast и Google (или Yahoo!), которые предположительно получили себе тех пользователей, которые ранее искали русскоязычные ресурсы "АльтаВистой". Говорить о каких-либо долях рынка зарубежных искалок в Рунете до недавнего времени не имело смысла, а сравнивать с нашими их эффективность и технологии достаточно уместно - http://ricn.ru/neiron/article/?id=489.
Поисковая система Googlе
История
В 1998 году два студента Стэндфордского университета Сергей Брин и Ларри Пэйдж, которая уже получила признание. PageRank используемая в Google в основном основана на link popularity. Т.е. при вычислении релевантности страницы наибольший вклад имеет количество и качество ссылок на страницы с других страниц. Сейчас link popularity используется во всех основных поисковых системах мира (в той или иной степени). Кстати, в русскоязычных поисковых системах также используется этот параметр, например, в Яндекс, этот параметр называется индекс цитирования.
Google добился успеха благодаря этой технологии. Его траффик устойчиво увеличивается за последние 2 года. В июне 2000 г., такой Интернет-гигант, как Yahoo!, выбрал Google, как поставщика результатов поиска, вместо Inktomi.
Название поисковой системы Google было образовано в результате игры букв в слове "googol". Этим компания хочет подчеркнуть их намерение индексировать и обрабатывать большие объемы информации.
Размер
По заявлению Google, на данный момент их база данных насчитывает более 1,346,966,000 проиндексированных страниц.
Международная поддержка
Вы можете искать в Google на 10 различных языках. Вы также можете настроить интерфейс на нужный вам язык. Например, если вы ищите немецкий сайт, то вы можете вводить запрос на немецком языке, и все вспомогательные надписи интерфейса будут на немецком языке. Посмотреть список доступных языков вы можете здесь.
Отличительные особенности
Очень удобной функцией является "cache" . Благодаря этой функцией пользователь может просмотреть проиндексированную страницу даже если эта страница удалена или сервер, на котором расположена страница недоступен. Вы также можете использовать эту функцию для исследования ваших конкурентов, это также помогает лучше понять принцип индексирования страницы поисковым пауком (роботом).
С помощью Google можно найти страницы, которые не содержаться в его базе данных. Это возможно потому что поисковый паук индексирует текст ссылок со страниц.
Поисковая система AltaVista
Одна из наиболее популярных поисковых систем Altavista Search появилась в декабре 1995 года. Первоначально она задумывалась как демонстрация мощи 64-разрядного сервера Alpha APX корпорации Digital Equipment, однако быстро приобрела самостоятельное значение как эффективное и мощное средство поиска. По последним данным, на сегодняшний день в индексе Altavista зарегистрировано до 100 миллионов URL. Система поражает своим быстродействием - в сутки она обслуживает более 20 миллионов запросов, при этом она отвечает на запросы незамедлительно, без всякого "притормаживания". Благодаря таким характеристикам система используется не только конечными пользователями, но и другими службами поиска, в частности, каталогом Yahoo. Система обновления индекса - краулер - посещает WWW сервера во всем мире, не испытывая проблем с языковым многообразием, поскольку Altavista поддерживает поиск на 25 языках. Странички, обновляемые редко, посещаются краулером реже чем популярные и часто обновляющиеся страницы. К сожалению, автоматически из индекса никогда не удаляются "мертвые" ссылки, поэтому по некоторым запросам количество недействующих ссылок может быть довольно велико (до 12 %). Дизайн у системы простой и удобный - в центре экрана находится окно с полем ввода запроса и кнопками "Search" и "Refine", немного ниже - ссылки на расширенный поиск, помощь, информацию о системе и страницу с настройками. Сервер не перегружен рекламой и графикой, поэтому все странички загружаются очень быстро. Даже начинающий пользователь мгновенно освоит технологию построения простого запроса к Altavist'e. К сожалению, на этом список преимуществ системы Altavista для неискушенного пользователя заканчивается. На простой запрос она выдает огромное количество результатов, многие из которых совершенно не имеют отношения к интересующей пользователя теме, а составление сложных (расширенных) запросов требует освоения специального языка, что для многих пользователей неприемлемо. Результаты поиска отсортированы с учетом частоты встречаемости ключевых слов в документе, учитывается также раздел, в котором встречается ключевое слово (заголовок, название страницы, и т. д.), однако не производится сортировка по тематике - Altavista попросту не поддерживает концепцию темы. Поэтому, например, в результатах поиска по слову Scala будут соседствовать странички, посвященные известной бухгалтерской программе и странички об одноименной мультимедийной системе. Несколько улучшает ситуацию с простым поиском имеющаяся в системе Altavista функция Refine (уточнить). На страничке с результатами поиска нужно нажать Refine, после чего появится список терминов, которые наиболее часто встречаются в одном контексте с ключевым словом. Возле каждого термина есть выпадающий список, в котором можно выбрать, относится ли это слово к теме поиска или нет. После такого уточнения, как правило, релевантность верхних ссылок в результатах поиска резко повышается. Из всего вышесказанного следует, что Altavista не является оптимальным средством для простого поиска. Хотя результат, безусловно, будет достигнут, затраты времени на его получение будут довольно велики. Сильные стороны этой системы проявляются, когда пользователю необходимо осуществить сложный поиск с указанием многих критериев отбора или поиск редких терминов (например, поиск слова Antropomorphic). В этом случае Altavista предоставляет наиболее мощные и изощренные средства поиска среди всех рассматриваемых систем, среди которых такие уникальные средства как поиск документов на конкретном языке, поиск по названию страницы, поиск среди гиперссылок (можно узнать, например, есть ли в WWW ссылки на вашу страницу и если есть, то где), поиск объектов Java/ActiveX, поиск в "якорях" и т.д. Кроме того, Altavista обеспечивает набор более стандартных, но очень ценных критериев отбора, таких как логические операции над ключевыми словами, поиск с учетом вариантов написания слов, поиск целых фраз, поиск документов только на определенных серверах (или доменах), ограничения по дате создания документа, и т.д. Многие из этих возможностей доступны даже с основной страницы
Поисковый каталог Yahoo
Удивительно, но эта невероятно популярная система, обслуживающая миллионы запросов ежедневно, зародилась как простая коллекция закладок, которую пополняли всего 2 человека - Дэвид Фило и Джерри Янг. На сегодняшний день Yahoo, это уже не просто каталог, это целая группа разнообразных сервисов, среди которых такие как каталог Yahooligans - Yahoo для детей, система персональных каналов My Yahoo, бесплатный E-mail сервис, система "Shop with Yahoo" (покупайте с Yahoo), совместный с MTV проект MTV unfURLed и многое другое. Среди всех рассмотренных систем, Yahoo - единственная чисто каталоговая, на Yahoo нет собственной поисковой машины. Зато список категорий на Yahoo является наиболее полным и простым - в отличие от других каталогов, на Yahoo всегда легко определить, в каком разделе находится нужная информация. Заглавная страничка Yahoo грузится очень быстро - хотя на ней очень много ссылок, но все они текстовые. Центральная часть страницы, конечно, занята окном поиска и списком категорий. Ссылки вверху страницы (графические) обеспечивают доступ к такой информации, как "что нового", "что хорошего", "More Yahoos". Последнюю ссылку рекомендуется посетить - она приводит на страницу с огормным количеством ссылок на разнообразные Yahoo-каталоги и сервисы. В нижней части основной страницы Yahoo расположено большое количество ссылок на наиболее популярные разделы Yahoo. При вводе ключевых слов с основной страницы Yahoo, запрос обрабатывается по методу "Intelligent default", то есть Yahoo ищет наиболее подходящие результаты в таких областях: в категориях Yahoo; в Web-сайтах, зарегистрированных на Yahoo; на Altavista (запрос передается при отсутствии результатов); в новостях. Такой интеллектуальный поиск занимает довольно много времени. При задании критериев поиска для Yahoo нужно помнить, что Yahoo ищет эти слова только в названии и описании страницы, поскольку полнотекстового индекса на Yahoo нет. Поэтому не следует указывать при поиске слишком много терминов или синонимов - количество результатов с Yahoo снизится или даже будет нулевым. При вводе ключевых слов со страницы каталога, нужно выбрать область поиска - весь каталог Yahoo или только его текущий раздел. Это делается с помощью радиокнопок под полем ввода. На странице с результатами поиска выводятся сначала удовлетворяющие критерию поиска категории, а потом сайты. Возле каждой категории в скобках стоит число - это количество сайтов в данной категории. В случае если на Yahoo нет результатов, сразу выводятся результаты с Altavista. Вверху и внизу страницы выводится маленькая табличка, с помощью которой можно одним нажатием кнопки мыши произвести поиск в категориях Yahoo, на Altavista, в новостях и событиях. Количество результатов поиска на Yahoo, естественно, невелико, зато большинство из них являются релевантными. Возможна проблема с отсутствующими страницами, поскольку вебмастера обычно забывают удалить свои сайты с поисковых систем, а на Yahoo нет механизма автоматического обновления. Для расширенного поиска Yahoo предлагает не очень большой, но очень полезный набор инструметов. Чтобы попасть на страничку расширенного поиска, надо перейти по ссылке "options" с основной страницы Yahoo. Среди средств расширенного поиска - ограничение результатов по дате, поиск в Yahoo, Usenet и среди E-mail адресов, использование логических операций над терминами и поиск конкретной фразы. Также присутствует возможность искать слова с произвольными окончаниями, указывать слова, которые должны или НЕ должны присутствовать в документе, и т.д. Чисто русские ресурсы в Yahoo не добавляются, потому что в Yahoo Inc. просто некому смотреть и оценивать их содержимое. Но те запросы, которые не дали результатов на Yahoo передаются на Altavista, а там есть хороший индекс русских ресурсов.
Или вот некоторые характеристики узла InfoSeek
В качестве его аппаратной базы используется восьмипроцессорный компьютер Sun Microsystems Ultra Enterprise 4000 с 2Гбайт оперативной памяти (данные на конец 1998 года). Для разработчиков это далеко не предел, и они планировали в ближайшем будущем довести оперативную память до 14Гбайт. Столь мощное аппаратное обеспечение уже позволяет обрабатывать до тысячи полнотекстовых запросов в секунду, поэтому UltraSeek относится к числу самых быстрых поисковых систем Internet (к сожалению, в России это не всегда заметно).
Дисковое пространство составляет порядка 400 Гбайт. Это сразу позволило кардинально расширить объем базы данных, доведя ее более чем до 50 млн страниц в полнотекстовом режиме. По этому показателю InfoSeek превосходит AltaVista (более 31 млн). Помимо объема базы данных, для поисковых систем последнего поколения ключевое значение имеют возможности формирования запроса.
Краткая характеристика языка запросов системы InfoSeek .
Поисковый синтаксис системы InfoSeek, т. е. набор команд (операторов) для указания отношений между вводимыми терминами, хотя и относительно прост, но в то же время достаточен для формирования очень точного запроса. Основные операции, как правило, те же, что и в других поисковых системах, но синтаксис имеет некоторые ососбенности. Знаком "+" помечается термин, присутствие которого в документе обязательно, а "-" ставится перед словом, появление которого должно быть исключено. Если возникает потребность отыскать несколько вариантов названия одного и того же предмета или близких терминов, при их перечислении следует употреблять запятые, которые в этом случае равносильны оператору ИЛИ. InfoSeek допускает также поиск терминов, которые должны стоять вплотную друг к другу. Для этого расположенные рядом слова соединяются дефисом в единую цепочку без пробелов: 21st-century-information-resources. Система, чувствительная к употреблению заглавных и строчных букв, способна самостоятельно вычленять имена собственные, будь то имена людей или названия организаций, если они написаны с заглавных букв. Усечение окончаний вводимых терминов не допускается, однако морфологический механизм К дополнительным возможностям составления поискового предписания относится способность ограничивать поисковое пространство названием страницы или ее адресом. Для этого в начале запроса вводится слово title: или url:, а затем без пробела следуют искомые термины, например title:computerweek.
"Интеллектуальный уровень" системы во многом определяется тем, насколько точно, взвешенно и комфортно для пользователя она выдает результаты поиска.
InfoSeek обладает в этом смысле достаточно развитым механизмом выдачи найденных ссылок. Их перечень дается в порядке релевантности запросу. При этом система искусственного интеллекта на основании количества и местонахождения искомых лексических единиц в документе определяет уровень соответствия в процентах.
InfoSeek предоставляет также ряд мелких услуг, которые являются побочными результатами деятельности поискового робота. Например, можно узнать, сколько ссылок в Web приходится на конкретную страницу, т. е. степень ее популярности, или же, наоборот, выяснить, сколько ссылок на внешние страницы имеется на данном Web-узле, а также получить данные о том, сколько Web-узлов содержат определенный термин в адресе или названии. Полезна возможность поиска в Internet логотипов и изображений на различную тематику. Для этого в режиме ImageSeek вводится обозначение предмета, и система выдает соответствующие картинки. Например на запрос "football" было получено 36 фотографий, на которых запечатлены моменты этой популярной игры. Все перечисленные функции реализуются через специальное меню, расположенное слева от основной строки запроса.
За счет всего этого интерфейс InfoSeek служит неплохой отправной точкой для любых действий, связанных с поиском информации, что заметно облегчает жизнь пользователям. Все перечисленные сервисные возможности, конечно же, добавляют ценности всему Web-узлу InfoSeek.
|
