Демонстрационные программы парсинга сайтов: Head Hunter и kinozal-tv
Посмотреть код
- Сканирование информации о вакансиях
- Выдача информации на экран (ключ -v)
- Запись информации в файл csv (ключ -csv)
- Запись информации в файл Базы Данных SQLite (ключ -sqlite)
- Задать ограничение количества сканированных страниц (ключ -l)
- Задать ограничение времени сканирования (ключ -t)
Примеры результатов работы программы:
Информация на экран
Результат записанный в файл csv
Результат записанный в файл Базы Данных SQLite
Примеры команд запуска программы:
python3 ./hh_crawler.py -s программист -l 1 -v
Просмотреть вакансии с ключевым словом программист, ограничиться сканированием 1 страницы, результат на экран
python3 ./hh_crawler.py -s программист -csv s.csv -t 10
Просмотреть вакансии с ключевым словом программист, ограничить время сканирования около 10 сек, результат в файл csv
python3 ./hh_crawler.py -s программист -sqlite s.sqlite
Просмотреть вакансии с ключевым словом программист, результат в файл Базы Данных SQLite (s.sqlite)
Посмотреть код