El scrapper está construido en Python utilizando Flask. La base de datos es NoSQL y basada en documentos, mongoDB. El scrapper se desarrolló utilizando Selenium, un software que nos ayuda a navegar por la web simulando un navegador.
- Git
- Python 3>
- Virtualenv
- Google ChromeDriverClonar el repositorio y crear un entorno virtual para ahí instalar las librerías necesarias para que funcione el programa.
git clone https://github.com/dcamhi/workyCharactersScrapper.git
cd workyCharactersScrapper
virtualenv envScrapper
source ../envScrapper/bin/activate
pip install -r requirements.txt
touch .env
python manage.py runserverDEBUG_VAR = os.environ.get("DEBUG_VAR")
dbName = os.environ.get("dbName")
dbUrl = os.environ.get("dbUrl")debug = config.DEBUG
host = os.getenv('IP', '0.0.0.0')
port = int(os.getenv('PORT', 8080))
app = create_app(debug)
manager = Manager(app)
manager.add_command("ci", CICommand(settings))
manager.add_command("runserver", Server(
use_debugger=debug,
use_reloader=debug,
host=host,
port=port
))app.register_blueprint(characters_app, url_prefix="/api/v1/")
#la ruta del scrapper se encuentra en:
#localhost:8080/api/v1/charactersVer el código (todo está comentado y documentado)Para dudas contactar a david.camhi26@gmail.com