def pull_folder_content(url):
"""
Extrai conteúdo de um diretório
Retorna soup.tbody da tabela que contém os itens do diretório
"""
response = request_url(url)
soup = BeautifulSoup(response.text, 'html.parser')
return soup.tbody
def pull_file_content(url):
"""
Extrai conteúdo de um arquivo
Retorna lista com informações do arquivo (linhas e bytes)
"""
response = request_url(url)
soup = BeautifulSoup(response.text, 'html.parser')
div = soup.find(FILE_ELEMENT_FINDER, class_=FILE_CLASS_FINDER)
if div:
return [
t.strip() for t in div.get_text().splitlines() if t.strip() != ''
]
else:
return []
def test_non_existent_repo_url():
assert request_url('not-a-user/not-a-repo').status_code == 404
def test_existent_repo_url():
assert request_url('jorgimello/github-web-scraper').status_code == 200
def test_with_no_args():
assert request_url()