class TestFindText(TimedQApplication): '''Test cases for finding text''' def setUp(self): TimedQApplication.setUp(self, timeout=TIMEOUT) self.page = QWebPage() QObject.connect(self.page, SIGNAL('loadFinished(bool)'), self.load_finished) self.called = False def tearDown(self): #Release resources del self.page self.called = False TimedQApplication.tearDown(self) def testFindSelectText(self): url = QUrl.fromLocalFile(adjust_filename('fox.html', __file__)) self.page.mainFrame().load(url) self.app.exec_() self.assert_(self.called) def load_finished(self, ok): #Callback to check if load was successful if ok: self.called = True self.assert_(self.page.findText('fox')) self.assertEqual(self.page.selectedText(), 'fox') self.app.quit()
class ImageRenderer(QObject): def __init__(self, url, image_path): QObject.__init__(self) self.url = QUrl(url) self.image_path = image_path self.webpage = QWebPage(self) self.webpage.loadFinished.connect(self.render) self.webpage.mainFrame().load(self.url) def render(self, ok): if ok: print('Loaded {0}'.format(self.url.toString())) self.webpage.setViewportSize( self.webpage.mainFrame().contentsSize()) image = QImage(self.webpage.viewportSize(), QImage.Format_ARGB32) painter = QPainter(image) self.webpage.mainFrame().render(painter) painter.end() if image.save(self.image_path): print('Saved image to {0}'.format(self.image_path)) else: print('Could not save to {0}'.format(self.image_path)) else: print('Could not load {0.toString()}'.format(self.url)) QApplication.instance().quit()
class WebThumbnailer(QObject): finished = Signal(bool) def __init__(self, window_width, window_height): super(WebThumbnailer, self).__init__() self.ok = None self.page = QWebPage(self) self.page.mainFrame().setScrollBarPolicy( Qt.Horizontal, Qt.ScrollBarAlwaysOff) self.page.mainFrame().setScrollBarPolicy( Qt.Vertical, Qt.ScrollBarAlwaysOff) self.page.loadStarted.connect(self.on_page_started) self.page.loadFinished.connect(self.on_page_finished) self.page.networkAccessManager().finished.connect( self.on_network_finished) self.page.setViewportSize(QSize(window_width, window_height)) def on_page_started(self): logging.debug('on_page_started') self.ok = None def on_page_finished(self, ok): logging.debug('on_page_finished: ok=%s', ok) self.ok = ok self.finished.emit(ok) def on_network_finished(self, reply): logging.debug('on_network_finished: %s', reply.url().toEncoded()) def load(self, url): self.page.mainFrame().load(url) def save(self, out, width=None, height=None): image = self.render() scaled = self.scale(image, width, height) scaled.save(out) logging.debug('imagesize: %s', scaled.size()) def render(self): image = QImage(self.page.viewportSize(), QImage.Format_RGB32) painter = QPainter(image) self.page.mainFrame().render(painter) painter.end() return image def scale(self, image, width=None, height=None): if width is None and height is None: scaled = image elif width is None: scaled = image.scaledToHeight(height, Qt.SmoothTransformation) elif height is None: scaled = image.scaledToWidth(width, Qt.SmoothTransformation) else: scaled = image.scaled(width, height, Qt.KeepAspectRatioByExpanding, Qt.SmoothTransformation) scaled = scaled.copy(0, 0, width, height) return scaled
class InvoiceForm(QDialog, Ui_InvoiceDialog): def __init__(self, parent=None): super(InvoiceForm, self).__init__(parent) self.setupUi(self) self.progressBar.setHidden(True) self.invoice = Invoice(self) self.tableView.setModel(self.invoice) self.tableView.horizontalHeader().setResizeMode(QHeaderView.Stretch) self.tableView.setAlternatingRowColors(True) self.tableView.setSelectionBehavior(QAbstractItemView.SelectRows) self.updateButton.clicked.connect(self.update_invoices) self.tableView.selectionModel().selectionChanged.connect(self.invoice_selected) self.webpage = QWebPage() self.webpage.loadFinished.connect(self.save_invoice) self.webpage.networkAccessManager().sslErrors.connect(self.allow_connection) self.network_access_manager = QNetworkAccessManager() self.network_access_manager.finished.connect(self.fetched_invoices) self.network_access_manager.sslErrors.connect(self.allow_connection) def invoice_selected(self, new, old): try: row = self.invoice.invoices[new.indexes()[0].row()] except IndexError: return if row[1].startswith('Invoice'): self.invoice_filename = os.path.expanduser('~/.blusage/%s.png' % row[1].lower()) if os.path.exists(self.invoice_filename): self.load_invoice() else: usage = self.parentWidget().usage_model url = '%s%s' % (usage.user_endpoint[:-5], self.invoice.invoices[new.indexes()[0].row()][0]) self.webpage.mainFrame().load(QUrl(url)) self.webpage.mainFrame().setScrollBarPolicy(Qt.Vertical, Qt.ScrollBarAlwaysOff) self.webpage.mainFrame().setScrollBarPolicy(Qt.Horizontal, Qt.ScrollBarAlwaysOff) self.webpage.setViewportSize(QSize(800, 600)) self.enable_ui(False) else: self.invoiceLabel.setText(""" <center> <table> <tr> <th>Payment #</th> <td>{number}</td> </tr> <tr> <th>Date</th> <td>{date}</td> </tr> <tr> <th>Credit</th> <td>{credit}</td> </tr> <tr> <th>Balance</th> <td>{balance}</td> </tr> </table> </center> """.format(number=row[1][8:], date=row[2], credit=row[3], balance=row[5])) def load_invoice(self): pixmap = QPixmap(self.invoice_filename) self.invoiceLabel.setPixmap(pixmap) def update_invoices(self): usage = self.parentWidget().usage_model url = '%s?%s' % (usage.user_endpoint, self.invoice.post_data) request = QNetworkRequest(QUrl(url)) self.network_access_manager.get(request) self.enable_ui(False) def enable_ui(self, value=True): self.updateButton.setEnabled(value) self.progressBar.setHidden(value) self.tableView.setEnabled(value) def save_invoice(self, ok): self.enable_ui() if ok: frame = self.webpage.mainFrame() image = QImage(frame.contentsSize(), QImage.Format_ARGB32_Premultiplied) image.fill(Qt.transparent); painter = QPainter(image) painter.setRenderHint(QPainter.Antialiasing, True); painter.setRenderHint(QPainter.TextAntialiasing, True); painter.setRenderHint(QPainter.SmoothPixmapTransform, True); frame.documentElement().render(painter); painter.end(); image.save(self.invoice_filename) self.load_invoice() else: title = "An error occured" message = "Could not load invoice." \ + "\nPlease check your internet connection." QMessageBox.critical(self, title, message) def fetched_invoices(self, reply): self.enable_ui() if reply.error() == QNetworkReply.NoError: html = unicode(reply.readAll()) self.invoice.parse(html) self.invoice.reset() else: title = "An error occured" message = reply.errorString() \ + ".\nPlease check your internet connection." QMessageBox.critical(self, title, message) reply.deleteLater() def allow_connection(self, reply): reply.ignoreSslErrors()
class AvitoAdParser(QObject): """Парсер страницы объявления сайта avito.ru""" def __init__(self): super().__init__() self.app = QApplication(sys.argv) QNetworkProxyFactory.setUseSystemConfiguration(True) self.web_page = QWebPage(self) self.web_page.settings().setAttribute(QWebSettings.AutoLoadImages, False) self.web_page.loadFinished.connect(self.load_finished) # Адрес страницы объявления self.url = None # Переменная нужна для замера времени выполнения self.t = None self.phone_img_parser = AvitoPhoneImgParser() # Строка с номером телефона self.phone = None self.proxy_url = None self.proxy_type = None self.proxy_enabled = None # Сигнал вызывается, когда закончен парсинг сотового из объявления parse_phone_finished = Signal(str) def run(self, url): """Функция выполняет парсинг страницы объявления""" self.url = url self.phone = None self.t = time.clock() # Загружаем страницу объявления self.web_page.mainFrame().load(url) logger.debug('Начало выполнения загрузки "{}" {:.3f} секунд'.format(url, time.clock() - self.t)) # Ждем тут, пока закончится парсинг объявления -- все из-за ассинхронности webpage и моей лени -- хочется # просто в цикле запустить обработку и url, но из-за асинхронности с сигналами это не сработает -- какая-то # лажа происходит -- падает приложение с ошибкой где-то в QtCore.dll loop = QEventLoop() self.parse_phone_finished.connect(loop.quit) loop.exec_() logger.debug('Время выполнения парсера {:.3f} секунд'.format(time.clock() - self.t)) self.t = None def get_phone(self): """Функция выполняет поиск картинки с номером телефона, получает его адрес, скачивает, а после парсит картинку с номером и записывает в self.phone номер телефона. После парсинга вызывает сигнал parse_phone_finished, в котором передается номер телефона. """ # Ищем элемент с картинкой телефона el = self.web_page.mainFrame().findFirstElement("img[class='description__phone-img']") logger.debug('Поиск изображения телефона {:.3f} секунд'.format(time.clock() - self.t)) ok = not el.isNull() if ok: src = el.attribute('src') logger.debug('Атрибут src картинки с телефоном: "%s".', src) src = src.replace('data:image/png;base64,', '') logger.debug('Данные картинки с телефоном: "%s".', src) data = base64.b64decode(src) # TODO: вызывать исключение, если номер не найден # TODO: вызывать исключение, если номер не 11 символов (нормальный номер: 89615750404) phone_number = self.phone_img_parser.parse_from_data(data) logger.debug('Телефон получен: %s', phone_number) logger.debug('Парсинг номера телефона из картинки {:.3f} секунд'.format(time.clock() - self.t)) self.phone = phone_number self.parse_phone_finished.emit(phone_number) def find_and_click_element(self): """Функция ищет на странице объявления элемент 'Показать телефон' и кликает его, чтобы выполнились страшные скрипты и загрузилась картинка с номером телефона """ code = """ span_phone = $("span[class='description__phone-insert js-phone-show__insert'] span[class='btn__text']") span_phone.click() """ logger.debug('Выполняю программный клик по кнопке "Получить телефон"') ok = self.web_page.mainFrame().evaluateJavaScript(code) if ok is None: logger.warn('Выполнение js скрипта неудачно. Code:\n%s', code) return logger.debug('Время выполнения js скрипта {:.3f} секунд'.format(time.clock() - self.t)) self.get_phone() def load_finished(self, x): """Функция вызывается, когда QWebView отсылает сигнал loadFinished""" if x and self.phone is None: logger.info('Загрузка завершена {:.3f} секунд'.format(time.clock() - self.t)) self.find_and_click_element()
class AvitoAdParser(QObject): """Парсер страницы объявления сайта avito.ru""" def __init__(self): super().__init__() self.app = QApplication(sys.argv) QNetworkProxyFactory.setUseSystemConfiguration(True) self.web_page = QWebPage(self) self.web_page.settings().setAttribute(QWebSettings.AutoLoadImages, False) self.web_page.loadFinished.connect(self.load_finished) # Адрес страницы объявления self.url = None # Переменная нужна для замера времени выполнения self.t = None self.phone_img_parser = AvitoPhoneImgParser() # Строка с номером телефона self.phone = None self.proxy_url = None self.proxy_type = None self.proxy_enabled = None # Сигнал вызывается, когда закончен парсинг сотового из объявления parse_phone_finished = Signal(str) def run(self, url): """Функция выполняет парсинг страницы объявления""" self.url = url self.phone = None self.t = time.clock() # Загружаем страницу объявления self.web_page.mainFrame().load(url) logger.debug('Начало выполнения загрузки "{}" {:.3f} секунд'.format( url, time.clock() - self.t)) # Ждем тут, пока закончится парсинг объявления -- все из-за ассинхронности webpage и моей лени -- хочется # просто в цикле запустить обработку и url, но из-за асинхронности с сигналами это не сработает -- какая-то # лажа происходит -- падает приложение с ошибкой где-то в QtCore.dll loop = QEventLoop() self.parse_phone_finished.connect(loop.quit) loop.exec_() logger.debug( 'Время выполнения парсера {:.3f} секунд'.format(time.clock() - self.t)) self.t = None def get_phone(self): """Функция выполняет поиск картинки с номером телефона, получает его адрес, скачивает, а после парсит картинку с номером и записывает в self.phone номер телефона. После парсинга вызывает сигнал parse_phone_finished, в котором передается номер телефона. """ # Ищем элемент с картинкой телефона el = self.web_page.mainFrame().findFirstElement( "img[class='description__phone-img']") logger.debug( 'Поиск изображения телефона {:.3f} секунд'.format(time.clock() - self.t)) ok = not el.isNull() if ok: src = el.attribute('src') logger.debug('Атрибут src картинки с телефоном: "%s".', src) src = src.replace('data:image/png;base64,', '') logger.debug('Данные картинки с телефоном: "%s".', src) data = base64.b64decode(src) # TODO: вызывать исключение, если номер не найден # TODO: вызывать исключение, если номер не 11 символов (нормальный номер: 89615750404) phone_number = self.phone_img_parser.parse_from_data(data) logger.debug('Телефон получен: %s', phone_number) logger.debug( 'Парсинг номера телефона из картинки {:.3f} секунд'.format( time.clock() - self.t)) self.phone = phone_number self.parse_phone_finished.emit(phone_number) def find_and_click_element(self): """Функция ищет на странице объявления элемент 'Показать телефон' и кликает его, чтобы выполнились страшные скрипты и загрузилась картинка с номером телефона """ code = """ span_phone = $("span[class='description__phone-insert js-phone-show__insert'] span[class='btn__text']") span_phone.click() """ logger.debug('Выполняю программный клик по кнопке "Получить телефон"') ok = self.web_page.mainFrame().evaluateJavaScript(code) if ok is None: logger.warn('Выполнение js скрипта неудачно. Code:\n%s', code) return logger.debug( 'Время выполнения js скрипта {:.3f} секунд'.format(time.clock() - self.t)) self.get_phone() def load_finished(self, x): """Функция вызывается, когда QWebView отсылает сигнал loadFinished""" if x and self.phone is None: logger.info( 'Загрузка завершена {:.3f} секунд'.format(time.clock() - self.t)) self.find_and_click_element()