El scrapper está construido en Python utilizando Flask. La base de datos es NoSQL y basada en documentos, mongoDB. El scrapper se desarrolló utilizando Selenium, un software que nos ayuda a navegar por la web simulando un navegador.
- Git
- Python 3>
- Virtualenv
- Google ChromeDriver
Clonar el repositorio y crear un entorno virtual para ahí instalar las librerías necesarias para que funcione el programa.
git clone https://github.com/dcamhi/workyCharactersScrapper.git
cd workyCharactersScrapper
virtualenv envScrapper
source ../envScrapper/bin/activate
pip install -r requirements.txt
touch .env
python manage.py runserver
DEBUG_VAR = os.environ.get("DEBUG_VAR")
dbName = os.environ.get("dbName")
dbUrl = os.environ.get("dbUrl")
debug = config.DEBUG
host = os.getenv('IP', '0.0.0.0')
port = int(os.getenv('PORT', 8080))
app = create_app(debug)
manager = Manager(app)
manager.add_command("ci", CICommand(settings))
manager.add_command("runserver", Server(
use_debugger=debug,
use_reloader=debug,
host=host,
port=port
))
app.register_blueprint(characters_app, url_prefix="/api/v1/")
#la ruta del scrapper se encuentra en:
#localhost:8080/api/v1/characters
Ver el código (todo está comentado y documentado)
Para dudas contactar a david.camhi26@gmail.com