Exemplos de Dataset.filter em Python

Exemplo n.º 1

Arquivo: drmc_data_processor.py Projeto: QiuSYang/deep-learning-study

    def process(self, dataset: datasets.Dataset):
        dataset = dataset.filter(self._filter_cmrc_data)
        if self.task == 'hl_ag':
            dataset = dataset.filter(self._filter_task_hl)
        else:
            dataset = dataset.filter(self._filter_task_qa)
        dataset = dataset.map(self._convert_to_features)

        return dataset

Exemplo n.º 2

Arquivo: benchmark_map_filter.py Projeto: Priyansh2/nlp

def filter(dataset: datasets.Dataset, **kwargs):
    _ = dataset.filter(**kwargs)