def processCSV(self, csvreader): objecten = [] cols = csvreader.next() for record in csvreader: if record[0]: object = BestuurlijkObjectFabriek(cols, record) if object: objecten.append(object) else: Log.log.warn("Geen object gevonden voor " + str(record)) # Verwerk het bestand, lees gemeente_woonplaatsen in de database Log.log.info("Insert objectCount=" + str(len(objecten))) self.database.verbind() self.database.connection.set_client_encoding('LATIN1') for object in objecten: object.insert() self.database.uitvoeren(object.sql, object.valuelist) self.database.connection.commit()
def processCSV(self, csvreader, naam='onbekend'): objecten = [] cols = csvreader.next() for record in csvreader: if record[0]: obj = BestuurlijkObjectFabriek(cols, record) if obj: objecten.append(obj) else: Log.log.warn("Geen object gevonden voor " + str(record)) # Verwerk het bestand, lees gemeente_woonplaatsen in de database bericht = "Insert objectCount=" + str(len(objecten)) Log.log.info(bericht) self.database.verbind() # We gaan er even vanuit dat de encoding van de CSVs UTF-8 is self.database.connection.set_client_encoding('UTF8') for obj in objecten: obj.insert() self.database.uitvoeren(obj.sql, obj.valuelist) self.database.commit() Database().log_actie('insert_database', naam, bericht)
def processCSV(self, csvreader): BAGConfig.logger.debug("processor.processCSV(%s)" % csvreader) objecten = [] cols = next(csvreader) for record in csvreader: if record[0]: object = BestuurlijkObjectFabriek(cols, record) if object: objecten.append(object) else: BAGConfig.logger.warn("Geen object gevonden voor " + str(record)) # Verwerk het bestand, lees gemeente_woonplaatsen in de database BAGConfig.logger.info("%s objecten gevonden in bestand" % str(len(objecten))) return objecten