def ToJsonData_Q(Q_ID, mode="R"):
dataPath = "../WebCrawler/Data/Zhihu_GZ_Q.json"
jsonData = json.loads(FileRW.Rfile(dataPath))
is_inData = str(Q_ID) in jsonData
if is_inData:
print(str(Q_ID) + " 发现重复项")
return False
if mode == "W":
jsonData[str(Q_ID)] = 1
strJSON = json.dumps(jsonData, ensure_ascii=False)
if strJSON:
FileRW.Wfile(dataPath, strJSON)
return True #表示通过，没有发现相同项
def ToJsonData_U(L_U_ID):
dataPath = "../WebCrawler/Data/Zhihu_GZ_U.json"
jsonData = json.loads(FileRW.Rfile(dataPath))
for U_ID in L_U_ID[:]:
is_inData = str(U_ID) in jsonData
if is_inData:
print(str(U_ID) + " 是重复项")
L_U_ID.remove(U_ID)
continue
if not L_U_ID: return L_U_ID
for U_ID in L_U_ID[:]: #增加进去
jsonData[str(U_ID)] = 1
strJSON = json.dumps(jsonData, ensure_ascii=False)
if strJSON:
FileRW.Wfile(dataPath, strJSON)
return L_U_ID