#Salvando no dicionario do dataframe
data['tipo'].append(tipo_post)
data['titulo'].append(titulo_post)
data['link'].append(link_post)
data['data'].append(data_post)
data['descricao'].append(descricao_post)
#Mudando página
#conferindo se a próxima página existe ou se essa foi a última
if i + 1 > maxPages or i + 1 >= lastPage:
break
#Passando para a próxima
xpath_name = "//a[@title='Go to next page']"
next_icon = wait.until(EC.element_to_be_clickable((By.XPATH, xpath_name)))
chrome.execute_script("arguments[0].click();", next_icon)
time.sleep(3) #Tempo para carregamento
if len(data['titulo']) > 0: #se algum resultado for capturado
# ---- Salvando resultado
df = pd.DataFrame(data,
columns=['tipo', 'titulo', 'link', 'data',
'descricao']) #-> criando dataframe
# ---- Exportando para excel(xlsx) e/ou csv
exportar_df(df, 'xlsx', 'csv')
print('FIM DA EXECUÇÃO')
valid_post = False
break
if valid_post:
data['tipo'].append(all_collections[j]['tipo'])
data['titulo'].append(all_collections[j]['titulo'])
data['link'].append(all_collections[j]['link'])
data['data'].append(all_collections[j]['data'])
data['descricao'].append(all_collections[j]['descricao'])
data['autor'].append(all_collections[j]['autor'])
break
print("{} resultados encontrados.".format(len(data['link'])))
# --- EXECUTANDO
search_string = input(
"String: ") # ex.: ("Termo 1" OR "Termo 2)" AND "Termo 3"
result = tratamento_string(mark_operators(search_string))
result = clean_result(result)
# filtrando dados do banco de dados a partir dos resultados
search_filter()
# Convertendo o dicionário para data frame
df = pd.DataFrame(
data, columns=['tipo', 'titulo', 'link', 'data', 'autor', 'descricao'])
# Exportando o dataframe como xlsx (excel) e csv -> é salvo em ./resultados
exportar_df(df, "xlsx", "csv", wb="T")
# --- Unindo resultados em um único dicionário
for key in scraped_data:
#scraped_data[key] += scraped_data_scrum[key] + scraped_data_AA[key] + scraped_data_AC[key]
scraped_data[key] += scraped_data_AC[key]
print(len(scraped_data['titulo']))
if len(scraped_data['titulo']) > 0: #se algum resultado for capturado
# ---- Salvando resultado
df = pd.DataFrame(
scraped_data,
columns=['tipo', 'titulo', 'link', 'autor', 'data',
'descricao']) #-> criando dataframe
# ---- Exportando para excel(xlsx) e/ou csv
exportar_df(df, 'xlsx', 'csv', wb='AA')
print('FIM DA EXECUÇÃO')
# teste --> ("Paper" OR "Sheet") AND ("Agile learning" OR "Machines")
''' Testados ------------------------------------
"A" AND ("B" OR "C") AND "D" -> ['"A B D"', '"A C D"']
"A" AND ("B" OR "C") OR "D" -> ['"A B"', '"A C"', '"D"']
"A" AND ("B" OR "C") AND ("D") -> ['"A B D"', '"A C D"']
"A" AND ("B" OR "C") AND "D" AND "F" -> ['"A B D F"', '"A C D F"']
"A" AND ("B" OR "C") AND "D" OR "F" -> ['"A B D"', '"A C D"', '"F"']
"A" OR "B" AND ("C" OR "D") -> ['"A"', '"B C"', '"B D"']
"A" AND ("B" OR "C") AND ("D" AND "E") -> ['"A B D E"', '"A C D E"']
"A" AND "B" OR "C" AND "D" -> ['"A B"', '"C D"']
"A" AND ("B" OR "C") AND ("D" OR "E") AND "G" -> ['"A B D G"', '"A B E G"', '"A C D G"', '"A C E G"']
"A" AND ("B" OR "C" OR "D") -> ['"A B"', '"A C"', '"A D"']