'''
Viktor Jacynycz García y Miguel del Andrés Herrero declaramos que esta solución es fruto
exclusivamente de nuestro trabajo personal. No hemos sido ayudados por ninguna otra persona
ni hemos obtenido la solución de fuentes externas, y tampoco hemos compartido nuestra solución
con nadie. Declaramos además que no hemos realizado de manera deshonesta ninguna otra actividad
que pueda mejorar nuestros resultados ni perjudicar los resultados de los demás.
'''
if len(sys.argv) != 3:
print "Falta el fichero!"
exit(-1)
sc = Context()
files = sys.argv[1] + "," + sys.argv[2]
lines = sc.textFile(files)
p = re.compile('(\d{4}\/\d{2})')
def find_values(set):
len = 0
min = 0
avg = 0
max = 0
value = set[1]
key = set[0]
for i in value:
curr_num = float(i)
if len == 0:
min = curr_num
import re
import sys
from pysparkling import Context
'''
Viktor Jacynycz García y Miguel del Andrés Herrero declaramos que esta solución es fruto
exclusivamente de nuestro trabajo personal. No hemos sido ayudados por ninguna otra persona
ni hemos obtenido la solución de fuentes externas, y tampoco hemos compartido nuestra solución
con nadie. Declaramos además que no hemos realizado de manera deshonesta ninguna otra actividad
que pueda mejorar nuestros resultados ni perjudicar los resultados de los demás.
'''
sc = Context()
file1 = sys.argv[1]
lines = sc.textFile(file1)
rdd_part_1 = (lines.flatMap(lambda x: re.sub("[^\w]", " ", x).split()).map(
lambda x: (x.lower(), 1)).reduceByKey(lambda x, y: x + y).filter(
lambda x: x[1] >= 20).map(lambda x: (x[0], (x[1], file1))))
file2 = sys.argv[2]
lines = sc.textFile(file2)
rdd_part_2 = (lines.flatMap(lambda x: re.sub("[^\w]", " ", x).split()).map(
lambda x: (x.lower(), 1)).reduceByKey(lambda x, y: x + y).filter(
lambda x: x[1] >= 20).map(lambda x: (x[0], (x[1], file2))))
file3 = sys.argv[3]
lines = sc.textFile(file3)
# coding=utf-8
import sys
from pysparkling import Context
'''
Viktor Jacynycz García y Miguel del Andrés Herrero declaramos que esta solución es fruto
exclusivamente de nuestro trabajo personal. No hemos sido ayudados por ninguna otra persona
ni hemos obtenido la solución de fuentes externas, y tampoco hemos compartido nuestra solución
con nadie. Declaramos además que no hemos realizado de manera deshonesta ninguna otra actividad
que pueda mejorar nuestros resultados ni perjudicar los resultados de los demás.
'''
if len(sys.argv) != 2:
print "Falta el fichero!"
exit(-1)
sc = Context()
lines = sc.textFile(sys.argv[1])
counts = (lines.filter(lambda x: float(x.split()[2]) < 2).filter(
lambda x: x.split()[4] != "--").map(
lambda x: (float(x.split()[2]), x.split()[0])).sortByKey(False))
output = counts.take(5)
for val in output:
print val
