def get_args(): parser = argparse.ArgumentParser( description="Read a list of json files and split them ", parents=[jsonql.io_parser()], ) parser.add_argument("--pattern", type=str) parser.add_argument("--field", type=str, default="raw_content") parser.add_argument("--threshold", type=float, default=0) parser.add_argument("--model", type=str, required=True) parser.add_argument("--out_field", type=str, default="language") parser.add_argument("--top", type=int, default=1) return vars(parser.parse_args())
def get_args(): parser = argparse.ArgumentParser( description="Read a set of json files and allow to query them", parents=[jsonql.io_parser()], ) parser.add_argument("--field", type=str, default="raw_content") parser.add_argument("--output_hashes", type=str) parser.add_argument("--no_finalize", action="store_false", dest="finalize") # parser.add_argument("--mem_gb", type=int) parser.add_argument("--hashes", type=str) return vars(parser.parse_args())
def get_args(): parser = argparse.ArgumentParser( description="Compute the score of each sentences of a document", parents=[jsonql.io_parser()], ) parser.add_argument("--models", type=str) parser.add_argument("--sentences", action="store_true", default=False) parser.add_argument("--languages", type=str, help="Ignore doc with another language") parser.add_argument("--field", type=str, default=None) parser.add_argument("--newline", type=str, default="\n") return vars(parser.parse_args())