default=False,
action="store_true",
help="Aktiviert die detailliertere Ausgabe (Dokumententitel etc.).",
)
(options, args) = parser.parse_args()
options.sample = int(options.sample)
if options.sample != 1:
print "\nACHTUNG: Es wird nur jedes %d. Dokument importiert.\n" % options.sample
streets = load_streets(config.STREETS_FILE)
num_docs = 0
# Alle Aktenzeichen lesen
references = db.get_references()
num_overall = len(references)
# Bisherige Dokumente aus Solr Löschen.
# Wird erst ganz am Ende bei commit wirksam.
s.delete(queries=["reference:*"])
for reference in references:
num_docs += 1
if num_docs % options.sample != 0:
continue
print "%d von %d (%.2f%%) - reference: %s" % (
num_docs,
num_overall,
((float(num_docs) / float(num_overall)) * 100.0),
reference,
parser.add_option("-s", "--sample", dest="sample", default=1,
help="z.B. die Zahl 10 um nur jedes zehnte Dokument zu importieren. Beschleunigt den Import beim Entwickeln.")
parser.add_option("-v", "--verbose", dest="verbose", default=False, action="store_true",
help="Aktiviert die detailliertere Ausgabe (Dokumententitel etc.).")
(options, args) = parser.parse_args()
options.sample = int(options.sample)
if options.sample != 1:
print "\nACHTUNG: Es wird nur jedes %d. Dokument importiert.\n" % options.sample
streets = load_streets(config.STREETS_FILE)
num_docs = 0
# Alle Aktenzeichen lesen
references = db.get_references()
num_overall = len(references)
# Bisherige Dokumente aus Solr Löschen.
# Wird erst ganz am Ende bei commit wirksam.
s.delete(queries=['reference:*'])
for reference in references:
num_docs += 1
if num_docs % options.sample != 0:
continue
print "%d von %d (%.2f%%) - reference: %s" % (num_docs, num_overall, ((float(num_docs) / float(num_overall)) * 100.0), reference)
import_doc(reference, verbose=options.verbose, streets=streets)
s.commit(wait_flush=True, wait_searcher=False)
s.optimize()
