Python execute_remote_hive_queryの例

コード例 #1

ファイル: unittest_legoo.py プロジェクト: qfluo/legoo

    def test999_clean_up(self):
        # drop MySQL test table
        ddl = "drop table if exists %s.%s" % (self.mysql_db, self.mysql_table)
        legoo.execute_mysql_query(mysql_host=self.mysql_host, mysql_db=self.mysql_db, mysql_query=ddl)

        # drop HIVE test table
        ddl = "drop table if exists %s.%s" % (self.hive_db, self.hive_table)
        legoo.execute_remote_hive_query(hive_node=self.hive_node, hive_db=self.hive_db, hive_query=ddl)

        # remove test csv from hive export
        legoo.remove_file(file=self.hive_export_csv)
        # remove test csv from mysql export
        legoo.remove_file(file=self.mysql_export_csv)

コード例 #2

ファイル: unittest_legoo.py プロジェクト: vangulo-trulia/legoo

    def test300_mysql_to_hive(self):
        try:
            # drop table if exists
            ddl = "drop table if exists %s.%s" % ( self.hive_db, self.hive_table)
            legoo.execute_remote_hive_query(hive_node  = self.hive_node, \
                                            hive_db    = self.hive_db, \
                                            hive_query = ddl)

            legoo.mysql_to_hive(mysql_host = self.mysql_host, mysql_db = self.mysql_db, \
                                mysql_table = self.mysql_table, \
                                hive_node = self.hive_node, hive_db = self.hive_db, \
                                hive_table = self.hive_table, hive_create_table='Y', \
                                mapred_job_priority='VERY_HIGH', csv_delimiter='tab')
        except:
            self.fail("mysql_to_hive with option hive_create_table failed") 

コード例 #3

ファイル: unittest_legoo.py プロジェクト: bopopescu/legoo-1

    def test300_mysql_to_hive(self):
        try:
            # drop table if exists
            ddl = "drop table if exists %s.%s" % (self.hive_db,
                                                  self.hive_table)
            legoo.execute_remote_hive_query(hive_node  = self.hive_node, \
                                            hive_db    = self.hive_db, \
                                            hive_query = ddl)

            legoo.mysql_to_hive(mysql_host = self.mysql_host, mysql_db = self.mysql_db, \
                                mysql_table = self.mysql_table, \
                                hive_node = self.hive_node, hive_db = self.hive_db, \
                                hive_table = self.hive_table, hive_create_table='Y', \
                                mapred_job_priority='VERY_HIGH', csv_delimiter='tab')
        except:
            self.fail("mysql_to_hive with option hive_create_table failed")

コード例 #4

ファイル: unittest_legoo.py プロジェクト: bopopescu/legoo-1

    def test999_clean_up(self):
        # drop MySQL test table
        ddl = "drop table if exists %s.%s" % (self.mysql_db, self.mysql_table)
        legoo.execute_mysql_query(mysql_host     = self.mysql_host, \
                                  mysql_db       = self.mysql_db, \
                                  mysql_query    = ddl)

        # drop HIVE test table
        ddl = "drop table if exists %s.%s" % (self.hive_db, self.hive_table)
        legoo.execute_remote_hive_query(hive_node  = self.hive_node, \
                                        hive_db    = self.hive_db, \
                                        hive_query = ddl)

        # remove test csv from hive export
        legoo.remove_file(file=self.hive_export_csv)
        # remove test csv from mysql export
        legoo.remove_file(file=self.mysql_export_csv)

コード例 #5

ファイル: unittest_legoo.py プロジェクト: qfluo/legoo

 def test200_execute_remote_hive_query(self):
     # drop target table if exists
     ddl = "drop table if exists %s.%s" % (self.hive_db, self.hive_table)
     legoo.execute_remote_hive_query(hive_node=self.hive_node, hive_db=self.hive_db, hive_query=ddl)

コード例 #6

ファイル: unittest_legoo.py プロジェクト: bopopescu/legoo-1

 def test200_execute_remote_hive_query(self):
     # drop target table if exists
     ddl = "drop table if exists %s.%s" % (self.hive_db, self.hive_table)
     legoo.execute_remote_hive_query(hive_node     = self.hive_node, \
                                     hive_db       = self.hive_db, \
                                     hive_query    = ddl)