Python FileSource.for_bulk_file_formatの例

コード例 #1

 def _build_parquet_columnar_job(self, row_type: RowType):
     source = FileSource.for_bulk_file_format(
         ParquetColumnarRowInputFormat(row_type, Configuration(), 10, True, False),
         self.parquet_file_name
     ).build()
     ds = self.env.from_source(source, WatermarkStrategy.no_watermarks(), 'parquet-source')
     ds.map(lambda e: e).add_sink(self.test_sink)

コード例 #2

ファイル: test_file_system.py プロジェクト: xinsmile/flink

 def _build_parquet_columnar_job(self, row_type: RowType,
                                 parquet_file_name: str):
     source = FileSource.for_bulk_file_format(
         ParquetColumnarRowInputFormat(Configuration(), row_type, 10, True,
                                       True), parquet_file_name).build()
     ds = self.env.from_source(source, WatermarkStrategy.no_watermarks(),
                               'parquet-source')
     ds.map(PassThroughMapFunction()).add_sink(self.test_sink)