default=False, action="store_true", help="Aktiviert die detailliertere Ausgabe (Dokumententitel etc.).", ) (options, args) = parser.parse_args() options.sample = int(options.sample) if options.sample != 1: print "\nACHTUNG: Es wird nur jedes %d. Dokument importiert.\n" % options.sample streets = load_streets(config.STREETS_FILE) num_docs = 0 # Alle Aktenzeichen lesen references = db.get_references() num_overall = len(references) # Bisherige Dokumente aus Solr Löschen. # Wird erst ganz am Ende bei commit wirksam. s.delete(queries=["reference:*"]) for reference in references: num_docs += 1 if num_docs % options.sample != 0: continue print "%d von %d (%.2f%%) - reference: %s" % ( num_docs, num_overall, ((float(num_docs) / float(num_overall)) * 100.0), reference,
parser.add_option("-s", "--sample", dest="sample", default=1, help="z.B. die Zahl 10 um nur jedes zehnte Dokument zu importieren. Beschleunigt den Import beim Entwickeln.") parser.add_option("-v", "--verbose", dest="verbose", default=False, action="store_true", help="Aktiviert die detailliertere Ausgabe (Dokumententitel etc.).") (options, args) = parser.parse_args() options.sample = int(options.sample) if options.sample != 1: print "\nACHTUNG: Es wird nur jedes %d. Dokument importiert.\n" % options.sample streets = load_streets(config.STREETS_FILE) num_docs = 0 # Alle Aktenzeichen lesen references = db.get_references() num_overall = len(references) # Bisherige Dokumente aus Solr Löschen. # Wird erst ganz am Ende bei commit wirksam. s.delete(queries=['reference:*']) for reference in references: num_docs += 1 if num_docs % options.sample != 0: continue print "%d von %d (%.2f%%) - reference: %s" % (num_docs, num_overall, ((float(num_docs) / float(num_overall)) * 100.0), reference) import_doc(reference, verbose=options.verbose, streets=streets) s.commit(wait_flush=True, wait_searcher=False) s.optimize()