Python default_predict_fn примеры использования

Пример #1

Файл: test_serving.py Проект: tanthml/sagemaker-pytorch-container

def test_default_predict_fn_gpu_gpu(tensor):
    tensor = tensor.cuda()
    model = DummyModel().cuda()
    prediction = default_predict_fn(tensor, model)
    assert torch.equal(model(tensor), prediction)
    assert prediction.is_cuda is True

Пример #2

Файл: test_serving.py Проект: tanthml/sagemaker-pytorch-container

def test_default_predict_fn(tensor):
    model = DummyModel()
    prediction = default_predict_fn(tensor, model)
    assert torch.equal(model(Variable(tensor)), prediction)
    assert prediction.is_cuda == torch.cuda.is_available()

Пример #3

Файл: test_serving.py Проект: tanthml/sagemaker-pytorch-container

def test_default_predict_fn_cpu_cpu(tensor):
    prediction = default_predict_fn(tensor.cpu(), DummyModel().cpu())

    model = DummyModel().to(device)
    assert torch.equal(model(Variable(tensor)), prediction)
    assert prediction.is_cuda == torch.cuda.is_available()