Проблема может заключаться в том, что он обрабатывает ссылку с -downloads- (с s ) как ссылку со словом download и downloads , поэтому для проверки потребуется более сложный метод (например, с использованием regex ) для рассматривает его только как ссылку со словом загрузок

 импортный скрап
из scrapy.spiders импортировать CrawlSpider, Rule
из scrapy.linkextractors импортировать LinkExtractor
список слов = [
    "каталог",
    "каталог",
    "загрузки",
    "скачать",
]
класс WebsiteSpider (CrawlSpider):
    имя = "веб-краулер"
    
    разрешенные_домены = ["www.reichelt.com"]
    start_urls = ["https://www. reichelt.com/"]
    
    правила = [Правило (LinkExtractor(), Follow = True, callback = "check_buzzwords")]
    def check_buzzwords(я, ответ):
        print('[check_buzzwords] url:', response.url)
        
        ссылки = response.xpath('//a[@href]')
        
        для слова в списке слов:
            
            для ссылки в ссылках:
                URL-адрес = ссылка.attrib.get('href')
                если слово в URL:
                    print('[check_buzzwords] word: {} | url: {} | page: {}'.format(word, url, response.url))
                    # отправить в файл
                    yield {'word': слово, 'url': url, 'page': response.url}
# --- запустить без проекта и сохранить в `output.csv` ---
из scrapy.crawler импортировать CrawlerProcess
c = CrawlerProcess({
    'USER_AGENT': 'Мозилла/5.0',
    # сохранить в файл CSV, JSON или XML
    'FEEDS': {'output.csv': {'format': 'csv'}}, # новое в версии 2.1
})
c.crawl(WebsiteSpider)
с.старт()
 

21 совет по поиску в Google, который вы захотите изучить

Продукт настолько вездесущ, что породил собственный глагол. На Google приходится 86 процентов(opens in a new window) мировых поисковых запросов в Интернете, и благодаря распространению смартфонов , любой может искать что угодно из любого места — все, что вам нужно, — это подключение к Интернету. Это означает, что Google выполняет несколько миллиардов(Opens in a new window) поисков в день.

Легко принять как должное то, что современный веб-поиск может сделать для вас, но поистине удивительно, насколько безупречным Google сделал Интернет. Google может сообщать вам погоду, переводить языки, определять слова, указывать направления и делать многое другое. Когда вы в последний раз спорили с друзьями о чем-то и не проверяли ответ в Google?

Даже если вы используете Google несколько раз в день, вы, вероятно, многого не знаете о поисковой системе. Если вы когда-либо пытались добиться желаемых результатов или просто хотите узнать несколько секретов, приведенные ниже советы помогут вам улучшить свои навыки поиска в Google.

1.

Алгоритм поиска Google отлично справляется с поиском информации, которую вы ищете, даже если вы сами в этом не совсем уверены. Но для тех случаев, когда кажется, что Google не дает вам именно то, что вам нужно, есть несколько способов уточнить результаты поиска с помощью так называемых операторов.

Используйте кавычки ("") для поиска точной фразы:  Если вы ищете  Патрик Стюарт молодой , вы получите результаты, содержащие все эти слова, но не обязательно в том порядке, в котором вы ищете. Добавив цитаты и выполнив поиск " Патрик Стюарт молодой", , вы получите только результаты, содержащие все эти слова в указанном порядке.

Добавьте тильду (~) перед словом, чтобы найти синонимы: Когда вы хотите найти определенное слово и любые синонимы для этого слова. Если вы ищете iPhone ~дешевый , вы также получите результаты для « iPhone недорогой » и так далее.

Исключить термины со знаком минус (-): Используйте символ минус, чтобы исключить все термины, которые вам не нужны, например.  лучших приложений – Android  для результатов, в которых не указаны обзоры лучших приложений для Android.

Вставьте две точки (..) между числами для поиска диапазона: Если вы хотите сузить результаты до диапазона дат или цен, используйте две точки между числами. Вы можете искать компьютер в определенном ценовом диапазоне, поэтому вы можете искать компьютер $500..$900 только для получения результатов, которые соответствуют этому диапазону.

Найдите тот или иной результат с помощью операции ИЛИ:  Если вы ищете результаты, относящиеся к той или иной теме, но не более того, используйте модификатор ИЛИ, чтобы получить более точные результаты. Например, при поиске apple microsoft будут показаны результаты, относящиеся к любому термину, но поиск « apple OR microsoft » предоставит вам отдельные ссылки об Apple и Microsoft.

Добавить сайт: для поиска на одном веб-сайте: Если вам нужны результаты с одного конкретного веб-сайта, используйте  сайт:  , а затем непосредственно URL-адрес сайта, который вы хотите использовать. Вы должны указать домен сайта, например. Сайт советов по Google Фото: pcmag.com,  и не  Сайт советов по Google Фото: pcmag .

Поиск по типам файлов:  Если вы ищете файл определенного типа в Интернете, используйте  тип файла:  для поиска только тех загруженных файлов, которые соответствуют вашему запросу. Например, используйте тип файла:pdf  для поиска PDF-файла или тип файла:doc  для поиска документа Microsoft Office. Полный список доступных для поиска типов файлов можно найти здесь (откроется в новом окне).

Поиск похожих веб-сайтов:  Поиск похожих веб-сайтов с помощью квалификатора related: для отображения связанных результатов. Поиск related:amazon. com выдает результаты, включая Walmart и Overstock. Поиск related:google.com показывает Yahoo и Bing.

Подробный набор модификаторов поиска см. в этом руководстве(открывается в новом окне).

2. Выполните расширенный поиск

Не хотите изучать все эти модификаторы? Вы можете использовать их в расширенном поиске Google. На странице результатов Google щелкните значок шестеренки и выберите Расширенный поиск , чтобы открыть новую страницу расширенного поиска.

Эта функция позволяет вводить ключевые слова или фразы в определенные поля вместо того, чтобы полагаться на определенные модификаторы. Результаты могут быть сужены еще больше по языку, региону, последнему обновлению, домену, местоположению термина, явному содержанию, типу файла и праву использования. Поиск изображений также может быть сужен по размеру изображения, соотношению сторон, цвету и типу изображения.

Хотя вы не можете создать расширенный поиск на мобильном устройстве, вы можете отфильтровать поиск изображений. Коснитесь значка ползунка в верхней части поиска изображений, чтобы отфильтровать по последним изображениям, изображениям в формате GIF, HD, изображениям продуктов, цвету и правам использования.

3. Установка временных ограничений

Ищете только последние новости по теме или пытаетесь найти информацию, относящуюся к определенному периоду времени? Используйте инструменты поиска Google на ПК и мобильных устройствах, чтобы отфильтровать результаты поиска. На рабочем столе нажмите Инструменты под значком увеличительного стекла. На мобильном устройстве проведите пальцем в конец списка типов поиска Google и выберите Инструменты поиска .

Выберите В любое время , чтобы открыть раскрывающееся меню, в котором можно сузить результаты до последнего часа, 24 часов, недели, месяца и года. Пользователи настольных компьютеров могут выбрать Пользовательский диапазон для ввода конкретных дат.

4.

Google поддерживает "обратный" поиск изображений в большинстве браузеров. Эта функция позволяет загрузить файл изображения и найти информацию об этом изображении. Например, если вы загрузили изображение Эйфелевой башни, Google распознает его и предоставит вам информацию о памятнике в Париже. Он также работает с лицами и может направить вас на веб-сайты, на которых появляется изображение, идентифицировать произведение искусства или показать вам изображения, которые «визуально похожи».

Перейдите в Google Images и просто перетащите изображение в строку поиска. Вы также можете щелкнуть значок камеры, чтобы загрузить изображение, или ввести URL-адрес изображения. (Вот как выполнить обратный поиск изображений на телефоне.)

5. Google Search Dark Mode

Теперь у Google есть собственная опция темного режима, которая может сделать результаты поиска черными. На странице результатов поиска на рабочем столе щелкните шестеренку Настройки в правом верхнем углу и выберите Темная тема в разделе Внешний вид. (На Google.com вы также можете нажать «Настройки» в правом нижнем углу и выбрать Настройки поиска> Внешний вид> Темная тема .) Вы также можете выбрать Устройство по умолчанию , чтобы оно соответствовало другим настройкам вашей темы.

На мобильном телефоне выберите меню гамбургера в верхнем левом углу результатов поиска Google и выберите Темная тема , чтобы включать и выключать ее.

6. Посчитайте в окне поиска

Независимо от того, хотите ли вы рассчитать чаевые по еде или создать сложную географическую визуализацию, поиск Google предоставит вам возможность выполнять основные вычисления прямо в строке поиска. Например, поиск 34+7, 3 умножить на 7 или 20 % от 67,42 долл. США.  отобразит калькулятор под полосой с уже введенным правильным ответом. Или просто выполните поиск «калькулятор», чтобы ввести свои собственные уравнения.

Супер-математики могут создавать интерактивные виртуальные 3D-объекты (в настольных браузерах, поддерживающих WebGL), вставляя уравнение, которое использует «x» и «y» в качестве свободных переменных. Или подставьте разные числа вместе с некоторыми значениями cos(x), sin(y) и tan(x) и посмотрите, что получится.

7. Преобразование единиц с помощью Google

Google также поможет вам преобразовать что угодно. Вы можете искать 38 по Фаренгейту , 10 унций в фунтах, и даже 17,5 миллиметров в световых годах. Google выдаст ответ , а предоставит интерактивный калькулятор конвертации для дальнейшего конвертирования.

Кроме того, вы можете найти актуальные курсы конвертации валюты без необходимости знать официальный символ валюты ($, € и т. д.) или обозначение ISO (например, доллар США для доллара США или фунт стерлингов для британского фунта стерлингов). Алгоритм Google способен распознавать запросы в виде предложений, чтобы предоставить ответ, интерактивную диаграмму и калькулятор для дальнейших преобразований.

Например, поиск 38 долларов в Исландии возвращает ответ, что (по состоянию на 24 января) 38 долларов равны 4890,60 исландских крон. Поиск 1 биткойн в долларах показывает, что он стоит почти 35 тысяч долларов. Таблица конвертеров также будет включать в себя другие крипто-монеты, такие как Ethereum и Dogecoin.

8. Определение слов в поиске Google

Попросите поиск Google определить незнакомые слова (или фразы из двух слов), введя слово, за которым следует определение/определение . Это побудит Google вернуть карточку с определением, произношением и, если возможно, подробной этимологией. Иногда Google определяет слово в поле автозаполнения до того, как вы нажмете «Поиск».

9. Отслеживание пакетов в поиске Google

Хотите знать, куда делся этот груз? Вы можете отслеживать (большинство) пакетов в строке поиска. Просто вставьте номер для отслеживания в поиск, и Google распознает его и отобразит текущий статус посылки. Ссылка приведет вас на официальную страницу отслеживания перевозчика для получения более подробной информации.

10. Сколько времени в Токио?

Вычислить разницу во времени сложно, так почему бы не позволить Google сделать эту работу за вас? Введите время [любое местоположение] , которое может быть названием страны, города или (если это в США) почтовым индексом, чтобы вернуть карточку с актуальным местным временем вашего поиска. Это лучше, чем вручную вычислять, на сколько часов вы опережаете или отстаете.

11. Поиск восхода и захода солнца

Хотите знать, когда солнце взойдет или зайдет в вашем лесу? Поиск восход или закат , и Google даст вам ответ на основе текущего местоположения вашего устройства. Вы также можете искать время восхода/захода солнца для других мест.

Рекомендовано нашими редакторами

29 трюков Google Maps, которые вам нужно попробовать

Учись умнее: 10 основных советов по работе с Google Classroom

22 возможности Google Chromecast, о которых вы не знали

12. Поиск погоды

Узнайте погоду в вашем районе, набрав погода . Автозаполнение, скорее всего, даст вам текущий прогноз на сегодня по мере ввода, но полный поиск представит интерактивную карту с информацией о погоде для вашего IP-адреса, любезно предоставленную The Weather Channel. Если вы путешествуете или просто хотите узнать, каково это в другом месте, выполните поиск погода [любое место] , например. погода Толедо, Огайо  или  погода Кабул Афганистан .

13. Котировки акций в режиме реального времени

Введите тикер любой публично торгуемой компании, и Google предоставит информацию о цене этой компании в режиме реального времени, например. GOOG  (для Alphabet), AAPL  (для Apple) или AMZN  (для Amazon). Большинство крупных бирж работают в режиме реального времени, хотя Google предлагает полный отказ от ответственности(открывается в новом окне), в отношении которых биржи задерживаются.

14. Проверка времени полета

Если вы направляетесь в аэропорт или забираете любимого человека, введите номер рейса, и Google вернет карточку с актуальным временем и информацией о терминале/выходе. Если вы хотите забронировать рейс, воспользуйтесь Google Flights(откроется в новом окне), чтобы найти самые дешевые авиабилеты в Интернете.

15. Найдите, где идет трансляция

Практически невозможно отследить, какие фильмы транслируются в каких сервисах, но Google делает доблестную работу по отслеживанию за вас. Просто найдите фильм или передачу, которую хотите посмотреть, и на карточке будут перечислены все сервисы потокового видео, которые в настоящее время есть. Выберите сервис, и он свяжет вас с видео в Интернете или в приложении.

Чтобы вам было легче отслеживать все, что вы хотите посмотреть, выберите «Список наблюдения», чтобы сохранить его на потом. Тогда ищи мой список наблюдения , чтобы увидеть все фильмы и шоу, которые вы еще не посмотрели.

16. Играйте в игры в Google Поиске

У Google есть множество встроенных игр и инструментов, к которым вы можете получить доступ, набрав их в Google, включая Pac-Man(Opens in a new window), крестики-нолики, Solitaire, Minesweeper и Snake. Найдите подбросьте монетку  и Google сделает это за вас; то же самое с кубиком или спиннером. Также есть встроенный метроном, дыхательная гимнастика, пузырьковый уровень (на мобильных устройствах) и палитра цветов.

17. Запустить таймер

Найдите таймер , чтобы получить пятиминутный таймер (или секундомер , чтобы засечь время). Чтобы изменить количество времени, нажмите и введите желаемое время. Нажмите Старт . Обратный отсчет продолжится, даже если вы перейдете на новую вкладку; вы получите предупреждение, если попытаетесь случайно закрыть вкладку с таймером. Оставшееся время будет отображаться на вкладке вашего браузера; как только он включится, прозвучит сигнал будильника, и на вкладке будет отображаться значок песочных часов, пока вы не нажмете «ОК», чтобы отключить его.

18. Произнесите эти цифры по буквам

Как написать 6 546 345 645? Google может сказать вам, если вы ищете [число]=english . Карта покажет вам, что это шесть миллиардов пятьсот сорок шесть миллионов триста сорок пять тысяч шестьсот сорок пять.

19. Создать оповещение Google

Если вы хотите получать уведомления всякий раз, когда ключевое слово публикуется в Интернете, создайте оповещение Google (открывается в новом окне). Добавьте темы для отслеживания, затем настройте оповещение, определив, как часто вы должны получать уведомления, какие источники, язык и регион должны быть включены, сколько результатов будет показано и на какой адрес электронной почты оно должно быть доставлено.

Предварительный просмотр покажет вам, как будет выглядеть оповещение для существующих историй, уже проиндексированных Google. На главном экране «Оповещения» вы можете управлять всеми своими результатами, отправляя их в определенное время или все в одном электронном письме.

20. Фильтрация явного содержания

У ребенка есть компьютер? Защитите их от непристойного содержания с помощью функции безопасного поиска Google(открывается в новом окне). На странице результатов поиска щелкните значок шестеренки в правом верхнем углу и переключите Параметр фильтра явных результатов включен. Хотя Google признает, что это не на 100% точно, он предназначен для фильтрации явных ссылок, изображений или видео, которые могут быть сочтены неуместными для аудитории всех возрастов. Чтобы найти более надежное решение, ознакомьтесь с нашим выбором лучшего программного обеспечения для родительского контроля.

21. Я чувствую что-то еще

Помните кнопку Google «Мне повезет»? На Google. com введите поисковый запрос и нажмите Мне повезет , чтобы сразу перейти к первому результату поиска. Это хороший способ сэкономить время, когда вы точно знаете, что ищете. Однако Google добавил новую морщинку, которая может помочь вам найти что-то еще.

Прежде чем вводить что-либо в Google, наведите указатель мыши на кнопку «Мне повезет», и формулировка изменится. Оно может измениться на «Я в предприимчивом настроении», что даст вам монетку для подбрасывания. «Я чувствую голод» будет искать ближайшие рестораны в Google. «Я чувствую себя в тренде» покажет вам последние тренды Google. Каждый день появляются новые предложения с разными результатами.

Бонус: Google Search Easter Eggs

Инженеры тоже любят повеселиться, и в Google есть несколько пасхальных яиц, связанных с поиском. Вот несколько слов или фраз для поиска, если вы хотите небольшой сюрприз:

• Wordle: Используя текущий феномен Wordle, Google wordle для логотипа, вдохновленного веб-игрой, в левом верхнем углу.

• Анаграмма: Google спросит, имели ли вы в виду «Nag A Ram».

• Определение анаграммы: Google спросит, имели ли вы в виду «опять известность ботаников».

• ответ на жизнь вселенная и все остальное: Ответ 42.

• Перекос: Ваш экран наклонится.

• Блетчли-Парк: Google расшифрует имя под картой Google Maps.

• Blink HTML: Слова "HTML" и "blink" будут мигать на странице поиска.

• Выполнить бочку или z или r дважды : Экран сделает круг на 360.

• Festivus: В левую часть экрана добавлен столб Festivus.

• Google в 1998 году: Google будет выглядеть так же, как и раньше.

• История логотипа Google: Ознакомьтесь с различными версиями логотипа Google.