def get_plots(self, city_name, city_url, plots_url):
'''获取小区列表
从第一页开始循环
处理小区列表 URL(城市列表中的 URL 并非小区列表的 URL), 并访问, 然后将 HTML 转换为 etree 对象
判断一个 class 为 zhuan 的 div 标签是否存在, 如果存在则说明此页没有数据, 也说明当前城市数据采集完毕, 终止循环
获取小区列表中每个小区的名称及其 url, 并暂存到字典中, 在循环结束是保存到 JSON 文件中
'''
page, plots_dict = 1, dict()
while True:
temp_plots_url = plots_url.format(page=page)
common.print_and_sleep('{city_name}城市小区采集第{page}页: {url}'.format(
city_name=city_name, page=page, url=temp_plots_url))
plots_etree = gather.get_html_to_etree(temp_plots_url,
headers=self.headers)
if len(plots_etree.xpath(self.plots_error_xpath)) >= 1:
break
for plot_etree in plots_etree.xpath(self.plots_xpath):
plot_name, plot_url = plot_etree.xpath(
'text()')[0], plot_etree.xpath('@href')[0]
plots_dict[plot_name] = {
'plot_name': plot_name,
'plot_url': city_url + plot_url
}
page += 1
plots_file_name = self.plots_file_name.format(city_name=city_name)
common.print_and_sleep('{city_name}城市小区采集结束,保存数据至{file_name}'.format(
city_name=city_name, file_name=plots_file_name))
operation_file.write_json_file(plots_file_name, plots_dict)
def get_plots(self, city_name, city_url):
'''采集当前城市小区基本数据
访问当前城市的小区列表
在第一页获取小区数量, 然后判断出最大页数
循环页码, 组合小区列表页 url
访问并将 html 转换为 etree 对象, 并获取小区相关数据标签 etree 对象
采集小区列表中的 a 标签, 其中有小区名称和小区详情信息url
循环结束, 当前城市小区基本数据采集结束, 保存至 JSON 文件中
Args:
city_name: 城市名
city_url: 城市小区列表url
'''
page, max_page, plots_dict = 1, 1, dict()
while page <= max_page:
temp_url = city_url.format(page=page)
common.print_and_sleep('吉屋网：采集{city_name}小区第{page}页: {url}'.format(
city_name=city_name, page=page, url=temp_url),
time_interval=self.time_interval)
etree = gather.get_html_to_etree(temp_url, headers=self.headers)
if page == 1:
max_page = math.ceil(
int(etree.xpath('//div[@class="txt"]/span/text()')[0]) /
20)
for plot_etree in etree.xpath('//div[@class="tit"]/a'):
plot_name, plot_url = plot_etree.xpath(
'text()')[0], plot_etree.xpath('@href')[0]
plots_dict[plot_name] = {
'plot_name': plot_name,
'plot_url': plot_url
}
page += 1
print('{city_name}小区采集完成，保存数据'.format(city_name=city_name))
operation_file.write_json_file(
self.plots_file_name.format(city_name=city_name), plots_dict)
def get_plots(self, city_name, city_url):
'''采集当前城市小区基本数据
访问当前城市的小区列表(第一页, 但是 url 中无分页标识, 否则获取的区域 url 就会有分页标识)
判断一下 class 为 sec-list-nav clearfix 的 div 是否存在, 如果存在则说明当前城市没有小区, 直接返回
获取城市区域的名称及 url
循环城市区域, 循环页码, 组合小区列表页 url
访问并将 html 转换为 etree 对象, 并获取小区相关数据标签 etree 对象
判断当前区域当前页码中是否有小区数据, 如果没有则说明本区域小区数据采集完毕
若有小区数据则将小区数据暂存在字典中
所有循环结束, 当前城市小区基本数据采集结束, 保存至 JSON 文件中
'''
page_maximum, page, plot_dict = 1, 1, dict()
while page <= page_maximum:
plot_url = self.plots_url.format(domain=city_url, page=page)
common.print_and_sleep('采集{city}第{page}页: {url}'.format(
city=city_name, page=page, url=plot_url))
plot_etree = gather.get_html_to_etree(plot_url,
headers=self.headers)
if page_maximum == 1 and page == 1:
try:
page_maximum = int(
plot_etree.xpath(self.page_maximum_xpath)[0])
except BaseException:
page_maximum = 1
for plot_etree in plot_etree.xpath(self.plots_xpath):
plot_name, plot_url = plot_etree.xpath(
'text()')[0], plot_etree.xpath('@href')[0]
plot_dict[plot_name] = {
'plot_name': plot_name,
'plot_url': city_url + '/' + plot_url
}
page += 1
print('{city_name}采集结束,保存数据'.format(city_name=city_name))
operation_file.write_json_file(
self.plots_file_name.format(city=city_name), plot_dict)
def get_citys(self):
'''获取城市列表
访问城市列表 URL 并将得到的 HTML 转换为 etree 对象
从 etree 对象中得到城市信息所在的 a 标签
从 a 标签中取出城市名和城市对应的 URL, 保存至 JSON 文件中
'''
city_etree = gather.get_html_to_etree(self.citys_url,
headers=self.headers)
citys = dict()
for city in city_etree.xpath(self.city_list_xpath):
city_name, city_url = city.xpath(
'text()')[0], self.plots_url.format(
city_url=city.xpath('@href')[0], page="{page}")
citys[city_name] = {'city_name': city_name, 'city_url': city_url}
operation_file.write_json_file(self.citys_file_name, citys)
def get_citys(self):
'''获取城市列表
访问城市列表 URL, 并将 HTML 转换为 etree 对象
获取城市信息的 a 标签, 并从 a 标签中拿出城市名和城市 URL, 将这些数据保存到字典类型的变量中
将数据保存到 JSON 文件中
'''
print('采集城市列表')
etree = gather.get_html_to_etree(self.citys_url, headers=self.headers)
citys_etree = etree.xpath(self.citys_xpath)
citys_dict = dict()
for city_etree in citys_etree:
city_name, city_url = city_etree.xpath(
'text()')[0], city_etree.xpath('@href')[0]
citys_dict[city_name] = {
'city_name': city_name,
'city_url': city_url
}
operation_file.write_json_file(self.citys_file_name, citys_dict)
def _get_plots(self, city_name, city_url):
'''获取城市中的小区
初始化当前页码, 最大页码, 使其能通过循环的判定, 以进行第一次循环
将当前页码与 URL 组合, 访问此 URL 并将 HTMl 转换为 etree 对象
第一次循环, 需要采集到最大页码 (此处如果报错, 说明当前城市无小区信息或者被服务端检测到并拦截了)
从 etree 对象中得到小区信息所在的 a 标签
从 a 标签中取出小区名和小区对应的详情信息 URL
当前城市小区采集结束后, 保存数据至 JSON 文件
Args:
city_name: 城市名称
city_url: 城市对应的首页地址(非城市的小区地址)
return:
none
'''
page_maximum, page, plot_dict = 1, 1, dict()
while page <= page_maximum:
plot_url = city_url.format(page=page)
common.print_and_sleep('开始采集：{url}'.format(url=plot_url))
plot_etree = gather.get_html_to_etree(plot_url,
headers=self.headers)
# 获取最大页码
if page_maximum == 1 and page == 1:
try:
page_maximum = math.ceil(
int(plot_etree.xpath(self.page_maximum_xpath)[0]) / 30)
except BaseException:
print('获取最大页码异常, 跳过当前城市: {city_name}'.format(
city_name=city_name))
return
# 获取小区名称及url
for plot_etree in plot_etree.xpath(self.plot_list_xpath):
plot_name, plot_url = plot_etree.xpath(
'text()')[0], plot_etree.xpath('@href')[0]
plot_dict[plot_name] = {
'plot_name': plot_name,
'plot_url': plot_url
}
# 下次循环的准备
page += 1
# 将数据保存至文件中
common.print_and_sleep(
'{city_name}采集结束,保存数据'.format(city_name=city_name))
operation_file.write_json_file(
self.plots_file_name.format(file_name=city_name), plot_dict)
def get_citys(self):
'''获取城市列表
访问城市列表 URL, 并将 HTML 转换为 etree 对象
获取城市信息的 a 标签, 并从 a 标签中拿出城市名和城市 URL, 将这些数据保存到字典类型的变量中
将数据保存到 JSON 文件中
'''
common.print_and_sleep('采集城市列表: {url}'.format(url=self.citys_url))
city_list_etree = gather.get_html_to_etree(self.citys_url,
coding=self.coding,
headers=self.headers)
city_dict = dict()
for city_etree in city_list_etree.xpath(self.citys_xpath):
city_name, city_url = city_etree.xpath(
'text()')[0], city_etree.xpath('@href')[0]
city_dict[city_name] = {
'city_name': city_name,
'city_url': city_url
}
operation_file.write_json_file(self.citys_file_name, city_dict)
def get_citys(self):
'''获取城市列表
访问城市列表 URL, 并将 HTML 转换为 etree 对象
获取城市信息的 a 标签, 并从 a 标签中拿出城市名和城市 URL, 将这些数据保存到字典类型的变量中
将数据保存到 JSON 文件中
'''
common.print_and_sleep('吉屋网：采集城市列表', time_interval=self.time_interval)
etree = gather.get_html_to_etree(self.citys_url, headers=self.headers)
citys_etree = etree.xpath('//div[@class="fivindexcont citymar"]//a')
citys_dict = dict()
for city_etree in citys_etree:
city_name, city_url = city_etree.xpath(
'text()')[0], self.plots_url.format(
city_url=city_etree.xpath('@href')[0], page="{page}")
citys_dict[city_name] = {
'city_name': city_name,
'city_url': city_url
}
operation_file.write_json_file(self.citys_file_name, citys_dict)
def get_plots_detail(self, file_path):
'''获取当前城市的小区详细信息
读取小区信息文件, 并循环每个小区信息
判断此小区是否已采集过详细信息(这里按`地址`这个键来判断), 没有采集则采集详细信息
每采集20个小区的详细信息则保存一次数据, 小区采集结束后也会保存一次数据
Args:
file_path: 单城市的小区信息文件
'''
plots_dict = operation_file.read_json_file(file_path)
num = 1
for key in plots_dict.keys():
if plots_dict[key].get('地址') is None:
plots_dict[key] = self._get_plot_detail(plots_dict[key])
num += 1
if num % config.save_file_number == 0:
print('更新文件{file_path}'.format(file_path=file_path))
operation_file.write_json_file(file_path, plots_dict)
if num > 1:
print('更新文件{file_path}'.format(file_path=file_path))
operation_file.write_json_file(file_path, plots_dict)
def get_plots(self, city_name, city_url):
'''获取小区列表
处理小区列表 URL(城市列表中的 URL 并非小区列表的 URL)
每个城市的小区列表有两个变量, 一个是区域(包含城市自身和周边辖区, 从1开始按数字排序), 另一个是页码
一层循环, 循环区域num, 当前区域的第一页小区列表在此获取, 可以判定当前区域num中是否有小区列表, 如果没有则说明是无效区域, 则当前城市小区采集结束
二层循环, 循环页码, 从页码2开始采集(页码1已经采集过了), 同样根据是否有小区列表来判定此区域是否采集完成
将数据保存到 JSON 文件中
'''
plots_url = self.plots_url.format(city_url=city_url,
area_num="{area_num}",
page="{page}")
area_num, plots_dict = 1, dict()
while True:
temp_plots_url = plots_url.format(area_num=area_num, page=1)
common.print_and_sleep(
'采集{city_name}城市第{area_num}区域第{page}页: {url}'.format(
city_name=city_name,
area_num=area_num,
page=1,
url=temp_plots_url))
plots_dict, is_exist = self._get_plots(plots_dict, temp_plots_url)
if is_exist is False:
break
page = 2
while True:
temp_plots_url = plots_url.format(area_num=area_num, page=page)
common.print_and_sleep(
'采集{city_name}城市第{area_num}区域第{page}页: {url}'.format(
city_name=city_name,
area_num=area_num,
page=page,
url=temp_plots_url))
plots_dict, is_exist = self._get_plots(plots_dict,
temp_plots_url)
if is_exist is False:
break
page += 1
area_num += 1
operation_file.write_json_file(
self.plots_file_name.format(city_name=city_name), plots_dict)
def get_plots_detail(self, file_name):
'''获取当前城市的小区详细信息
读取小区信息文件, 并循环每个小区信息
判断此小区是否已采集过详细信息(这里按`地址`这个键来判断), 没有采集则采集详细信息
每采集20个小区的详细信息则保存一次数据, 小区采集结束后也会保存一次数据
Args:
file_name: 单城市的小区信息文件
'''
plots_dict = operation_file.read_json_file(file_name)
i = 1
for key in plots_dict.keys():
if plots_dict[key].get('地址') is None:
common.print_and_sleep('采集{name}小区详情: {url}'.format(
name=key, url=plots_dict[key]['plot_url']))
plots_dict[key] = self._get_plot_detail(plots_dict[key])
i += 1
if i % config.save_file_number == 0:
print('更新文件:{file_name}'.format(file_name=file_name))
operation_file.write_json_file(file_name, plots_dict)
if i > 1:
print('更新文件:{file_name}'.format(file_name=file_name))
operation_file.write_json_file(file_name, plots_dict)
def get_all_plot_detail(self):
# 读取链家目录下全部文件
# 读取每个文件中的 json 数据
# 判断每个小区数据, 如果没有详细数据则获取
# 每获取 100 个小区数据或者本文件读取结束, 保存
for plot_file in os.listdir(self.plots_dir_name):
plot_file_name = self.plots_dir_name + plot_file
plots_dict = operation_file.read_json_file(plot_file_name)
i = 1
for plot_key in plots_dict.keys():
if plots_dict[plot_key].get('地址') is None:
plots_dict[plot_key] = self._get_plot_detail(
plots_dict[plot_key])
i += 1
if i % config.save_file_number == 0:
print('更新文件: {file_name}'.format(
file_name=plot_file_name))
operation_file.write_json_file(plot_file_name,
plots_dict)
if i > 1:
print('更新文件: {file_name}'.format(file_name=plot_file_name))
operation_file.write_json_file(plot_file_name, plots_dict)
def get_plots_detail(self, plots_file_name):
'''获取文件中的小区详情数据
读取小区数据文件中的数据, 遍历
判断当前小区数据中是否存在`地址`数据, 如果存在则已经获取过详细数据了, 如果没有则获取
没采集一定数量的小区详情数据, 就更新一次文件(防止因特殊情况中断采集, 导致采集的数据全部丢失)
循环结束, 更新文件
'''
plots_dict = operation_file.read_json_file(plots_file_name)
i = 1
for plot_key in plots_dict.keys():
if plots_dict[plot_key].get('经纬度') is None:
common.print_and_sleep('采集{name}小区详情: {url}'.format(
name=plots_dict[plot_key]['plot_name'],
url=plots_dict[plot_key]['plot_url']))
plots_dict[plot_key] = self._get_plot_detail(
plots_dict[plot_key], plots_dict[plot_key]['plot_url'])
i += 1
if i % config.save_file_number == 0:
print(
'更新文件: {file_name}'.format(file_name=plots_file_name))
operation_file.write_json_file(plots_file_name, plots_dict)
if i > 1:
print('更新文件: {file_name}'.format(file_name=plots_file_name))
operation_file.write_json_file(plots_file_name, plots_dict)
