Python AzureDataLakeHook.check_for_fileの例

コード例 #1

ファイル: adls_gen1_webhdfs_sensor.py プロジェクト: sarahecraddock/airflow-hdinsight

    def poke(self, context):
        hook = AzureDataLakeHook(
            azure_data_lake_conn_id=self.azure_data_lake_conn_id)
        adls_conn = hook.get_conn()
        self.log.info('Poking for glob path: %s in ADLS://%s', self.glob_path,
                      adls_conn.kwargs['store_name'])

        return hook.check_for_file(self.glob_path)

コード例 #2

 def test_check_for_blob(self, mock_lib, mock_filesystem):
     from airflow.contrib.hooks.azure_data_lake_hook import AzureDataLakeHook
     hook = AzureDataLakeHook(azure_data_lake_conn_id='adl_test_key')
     hook.check_for_file('file_path')
     mock_filesystem.glob.called

コード例 #3

ファイル: test_azure_data_lake_hook.py プロジェクト: alrolorojas/airflow

 def test_check_for_blob(self, mock_lib, mock_filesystem):
     from airflow.contrib.hooks.azure_data_lake_hook import AzureDataLakeHook
     hook = AzureDataLakeHook(azure_data_lake_conn_id='adl_test_key')
     hook.check_for_file('file_path')
     mock_filesystem.glob.called