#!/usr/bin/env python
# Pull in libraries
import gspread
import csv
from simplified_scrapy import req, SimplifiedDoc
url = 'https://www.census.gov/'
html = req.get(url)
doc = SimplifiedDoc(html)
lstA = doc.listA(url=url) # This is the result of de duplication
csvRow = [a.url for a in lstA]
# print(csvRow)
for row in csv.reader(csvRow):
if row.startswith("[") and row.endswith("]"):
row = string[1:-1]
print(row)
# with "a" as fp
# print(fp)
# print(csvRow)
# csvfile = "urls1.csv"
# with open(csvfile, "a") as fp:
# wr = csv.writer(fp, dialect='excel')
# wr.writerow(csvRow )
#Вам дана область карты https://stepik.org/media/attachments/lesson/266078/mapcity.osm
#Пройдите по всем way в этой области, выделите среди них замкнутые (те, у которых совпадает ссылка на первый и последний node),
#среди всех замкнутых выделите те, у которых установлен tag с ключом building и произвольным значением.
#Запомните id для way и список кортежей, содержащих координаты (широту и долготу) всех node, входящих в этот way.
#Вам предложена функция, которая определяет нечто похожее на площадь замкнутой ломаной.
#Она принимает на вход список с координатами точек так, как вы выводили его в предыдущей задаче (обратите внимание, что числа внутри кортежей должны иметь тип float).
#С помощью этой функции найдите id для самого большого площади здания.
from simplified_scrapy import SimplifiedDoc, utils, req
res = req.get('https://stepik.org/media/attachments/lesson/266078/mapcity.osm')
xml = res.read().decode('utf-8')
doc = SimplifiedDoc(xml)
import math
import operator
def getsqr(coordlist):
baselat = coordlist[0][0]
baselon = coordlist[0][1]
degreelen = 111300
newcoord = []
for now in coordlist:
newcoord.append(((now[0] - baselat) * degreelen,
(now[1] - baselon) * degreelen * math.sin(baselat)))
sqr = 0
for i in range(len(newcoord) - 1):
sqr += newcoord[i][0] * newcoord[i + 1][1] - newcoord[
i + 1][0] * newcoord[i][1]
sqr += newcoord[-1][0] * newcoord[0][1] - newcoord[0][0] * newcoord[-1][1]
return abs(sqr)
import requests
from bs4 import BeautifulSoup
from simplified_scrapy import SimplifiedDoc, req, utils
import csv
import time
while True:
time.sleep(14400)
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
standingsURL = "https://index.sim-football.com/DSFLS23/"
standingsPage = req.get(standingsURL)
doc = SimplifiedDoc(standingsPage)
standingTable = doc.selects('table.Grid')
standingTitles = standingTable.selects("tr.hilite")
standingHeaders = standingTable.selects("tr.alt")
standinglist = standingTitles.tds.text
url = "https://index.sim-football.com/DSFLS23/LeaguePassingStats.html"
page = requests.get(url, headers=headers)
soup = BeautifulSoup(page.content, 'html.parser')
tb = soup.find('table', class_='tablesorter')
table_rows = tb.find_all("tr")
wrurl = "https://index.sim-football.com/DSFLS23/LeagueReceivingStats.html"
wrpage = requests.get(wrurl, headers=headers)
wrsoup = BeautifulSoup(wrpage.content, 'html.parser')
wrtb = wrsoup.find('table', class_='tablesorter')