def _readurl(args): parser = ArgumentParser(prog='mx mxt-readurl') parser.add_argument('--url', action='store', help='target url', required=True) parser.add_argument('--print-tags', action='store_true', help='print all tags') args = parser.parse_args(args) if 'file://' in args.url: for f in os.listdir(args.url.replace('file://', '')): print f else: f = urllib.urlopen(args.url) text = f.read() parser = MyHTMLParser() if args.print_tags else DirHTMLParser() parser.feed(text) if not args.print_tags: for f in parser.files: print f