Найзручніший пошуковик. Як шукати інформацію в інтернеті, які бувають пошукові системи. Відеоогляд анонімних пошукових систем

Коли «павук» будує свої списків, процес називається веб-скануванням. Щоб створювати і підтримувати корисний список слів, «павуки» пошукової системи повинні дивитися на безліч сторінок. Як будь-який «павук» починає свої подорожі в Інтернеті? Відправними точками є звичайні списки дуже використовуваних серверів і дуже популярні сторінки. «Павук» почнеться з популярного веб-сайту, індексуючи слова на ваших сторінках і слідуючи кожному посиланні, знайденої на сайті.

У документі, який описує, як була побудована система, Сергій Брін і Лоуренс Пейдж наводять приклад того, як швидко їх павуки можуть працювати. Вони побудували свою первісну систему, щоб використовувати кілька павуків, зазвичай три одночасно. Кожен павук міг одночасно підтримувати близько 300 з'єднань з відкритими сторінками. При максимальній продуктивності, використовуючи чотири павука, його система могла сканувати більше 100 сторінок в секунду, генеруючи близько 600 кілобайт даних в секунду.

Зберігання всього, що працює швидко, означало створення системи для подачі інформації, необхідної для павуків. Слова на сторінці Де були знайдені слова. . Слова, які зустрічаються в заголовку, короткий зміст, метатегах і інших позиціях відносної важливості, були відзначені для особливого розгляду під час подальшого пошуку користувача. У інших павуків різні підходи. Ці різні підходи зазвичай намагаються змусити павук працювати швидше, дозволяючи користувачам шукати більш ефективно, або і те, і інше.

Наприклад, деякі павуки відстежуватимуть слова в заголовку, субтитрах і засланнях, а також 100 найбільш часто використовуваних слів на сторінці і кожне слово в перших 20 рядках тексту. Привід до цілісності в цьому підході супроводжується іншими системами в зверненні до невидимої частини веб-сторінки, метатегах.

Детальніше про метатегах читайте на наступній сторінці. Метатеги дозволяють власнику сторінки вказувати ключові словаі концепції, в яких сторінка буде проіндексована. Це може бути корисно, особливо в тих випадках, коли слова на сторінці можуть мати подвійні або потрійні значення - метатеги можуть визначати пошукову систему при виборі того, яке з кількох можливих значень для цих слів є правильним. Однак існує небезпека надмірної залежності від метатег, тому що недбалий або недобросовісний власник сторінки може додавати метатеги, які вписуються в дуже популярні теми, але не мають ніякого відношення до фактичного вмісту сторінки.

Щоб уникнути цього, павуки зіставляють метатеги з вмістом сторінки, відхиляючи метатеги, які не відповідають словами на сторінці. Все це передбачає, що власник сторінки насправді хоче, щоб вона включалася в результати діяльності пошукової системи. Найчастіше власник сторінки не хоче з'являтися на пошуковій системі або не хоче, щоб активність павука потрапляла на сторінку. Розглянемо, наприклад, гру, яка будує нові сторінки, активна кожен раз, коли Ви можете бачити розділи сторінки або використовуються нові посилання.

Якщо веб-павук звертається до однієї з цих сторінок і починає стежити за всіма посиланнями на нові сторінки, гра може заплутати діяльність високошвидкісного людини і вийти з-під контролю. Щоб уникнути подібних ситуацій, Був розроблений протокол виключення роботів. Цей протокол, реалізований в розділі метатега на початку веб-сторінки, вказує павук не індексувати сторінку автоматично - НЕ індексувати слова на сторінці і не намагатися відслідковувати її посилання.

Які існують російськомовні пошукові системи

Як тільки павуки завершили завдання пошуку інформації на веб-сторінках, пошуковій системі необхідно зберегти інформацію таким чином, щоб вона була корисною. Для збору зібраних даних доступні два основних компоненти. Інформація, що зберігається з даними Метод, за яким індексується інформація. . Фактично, це зробило б двигун обмеженим використанням, оскільки не було б способу визначити, чи використовувалася слово на важливому або тривіальний шляху на сторінці, чи використовувалася слово один або багато разів або якщо на сторінці містилися посилання на інші сторінки, що містять слово.

Іншими словами, не було б ніякого способу створити список ранжирування, який намагається представити найбільш корисні сторінки у верхній частині списку результатів пошуку. Двигун може зберігати кількість разів, коли слово відображається на сторінці. Двигун може привласнювати вагу кожного запису, збільшуючи значення, призначені словами, які з'являються у верхній частині документа, підзаголовки, посилання, метатеги або заголовок сторінки. Кожна комерційна пошукова система має іншу формулу для призначення ваги словами в своєму індексі.

Як видалити інформацію про себе з пошукової системи?

Це одна з причин того, що пошук одного і того ж слова в різних пошукових системах буде виробляти різні списки зі сторінками, представленими в різних замовленнях. Незалежно від точної комбінації елементів додаткової інформації, Що зберігається в пошуковій системі, дані будуть закодовані для економії місця для зберігання. Кожен фактор може приймати до 2 або 3 біт в двобайтового угрупованню. В результаті великий обсяг інформації може зберігатися в дуже компактній формі. Після стиснення інформації він готовий до індексування.

Індекс має одну мету: він дозволяє знайти інформацію якомога швидше. Існує кілька способів побудови індексу, але одним з найбільш ефективних способівє створення хеш-таблиці. У хешування застосовується формула для додавання числового значення до кожного слова. Формула призначена для рівномірного розподілу записів через задану кількість поділів. Це числове розподіл відрізняється від розподілу слів в алфавіті, що є ключем до ефективності хеш-таблиці.

На англійській мові є кілька листів, які починають багато слів, в той час як інші починають менше. Це нерівність означає, що пошук слова, що починається з дуже «популярного» листи, може зайняти набагато більше часу, ніж знайти слово, яке починається з менш популярного слова. Хеш вирівнює різницю і зменшує середній час, необхідний для пошуку запису. Він також відокремлює індекс від ефективного введення. Хеш-таблиця містить хеш-номер разом з драйвером для фактичних даних, який може бути відсортований в будь-якому випадку, дозволяючи йому зберігати більш ефективно.

Комбінація ефективної індексації та ефективного зберігання дозволяє швидко отримувати результати, навіть коли користувач створює складний пошук. Пошук за індексом передбачає, що користувач повинен побудувати запит і відправити його через пошукову систему. Запит може бути досить простим, одним словом, як мінімум. Для побудови більш складного запиту потрібне використання булевих операторів, які дозволяють вам уточнювати і розширювати умови пошуку.

Найбільш часто спостерігаються булеві оператори. Слова в лапках розглядаються як фраза, і фраза повинна бути знайдена в документі або файлі. Ціни котирування знаки. . Це може бути проблемою, коли слова, які ви вводите, мають кілька значень. «Ліжко», наприклад, може бути місцем для сну, місцем посадки квітів, місцем для зберігання вантажівки або місцем, де риба кладе яйця. Якщо вас цікавить тільки одне з цих значень, ви можете не захотіти бачити сторінки, наділені усіма іншими. Ви можете побудувати літеральний пошук, який намагається усунути небажані значення, але це добре, якщо сама пошукова система може допомогти.

Одна з пошукових областей пошукових систем заснована на пошуку по поняттю. Частина цього дослідження включає використання статистичного аналізу на сторінках, що містять слова або фрази, які ви шукаєте, щоб знайти інші сторінки, які можуть вас зацікавити. Очевидно, що інформація, що зберігається на кожній сторінці, більше для пошукової системи, заснованої на концепції, і для кожного пошуку потрібно набагато більше обробки. Проте, багато груп працюють над поліпшенням результатів і продуктивності цього типу пошукової системи.

Інші перейшли в іншу область досліджень, яка називається запитами природною мовою. Ідея запитів на природну мову полягає в тому, що ви можете вводити питання так само, як ви хотіли б запитати людину, що сидить поруч з вами, - немає необхідності відстежувати логічні оператори або складні структури запитів. Він працює тільки з простими запитами; але конкуренція важка для розробки механізму запитів на природну мову, який може прийняти запит з великою складністю.

Огляд ключових сервісів

Причина цього процесу - допомогти користувачеві в його майбутніх дослідженнях і запропонувати речі, які можуть його зацікавити. Цей збір даних може здатися нешкідливим, якщо ми хочемо запропонувати цільові оголошення, інформацію, близьку до наших центрів інтересів.

До російськомовним відносяться

Користувач думає, що він може вибирати, в той час як результати його досліджень поступово орієнтовані - навіть якщо це означає знищення інших. Користувач думає про те, щоб відкрити світу Інтернет, відкривати нові речі, в той час як на практиці пошукові системи блокують його в своєму власному світі, повертаючи його до своїх звичок.

Це не движок але це не є гарантією від відстеження. Користувач може дуже добре зловити «куки», відвідавши сайт, отриманий за результатами його досліджень. «Ви повинні перевиховувати користувача для Інтернету, без демонстрації інструменту», - говорить Жан-Марк Ван Гисемхем. В даний час пошукові системи Інтернету не дозволяють цього. Звідси вся зацікавленість вчитися знати альтернативних операторів, приборкувати їх і дотримуватися їх.

Деякі альтернативні пошукові системи

Тьєррі Де СМЕД: «В ідеалі це кооперативна модель»