def format_validate_and_save_links(self, links_to_crawl, base_link, depth): links_to_crawl = self.__remove_duplicates(links_to_crawl) for link in links_to_crawl: link_to_process = Link(link, depth) link_to_process.fix_relative_link(base_link) link_to_process.set_link_attrs() link_to_process.remove_duplicate_link(self.__unique_links) link_to_process.remove_invalid_link() link_to_process.remove_uncrawlable_link() self.__save_link(link_to_process)