def test_simple_matmul_quant():
ncc.clear()
ncc.save_tflite(module)
init_values()
ncc.compile(['--inference-type', 'uint8', '-t', 'cpu',
'--dataset', ncc.input_dir + '/test.bin', '--dataset-format', 'raw',
'--input-type', 'float'])
ncc.infer(['--dataset-format', 'raw'])
ncc.close_to('test', 1e-3)
def test_matmul_quant(input):
ncc.clear()
ncc.save_input_array('test', input)
onnx_importer.utils.save(module, torch.from_numpy(input))
ncc.save_expect_array('test', onnx_importer.utils.run(input))
onnx_importer.utils.compile(['--inference-type', 'uint8', '-t', 'cpu',
'--dataset', ncc.input_dir + '/test.bin', '--dataset-format', 'raw',
'--input-type', 'float'])
ncc.infer(['--dataset-format', 'raw'])
ncc.close_to('test', 0.005)
def test_clip_k210_onnx_9(input):
ncc.clear()
ncc.save_input_array('test', input)
onnx_importer.utils.save(module, torch.from_numpy(input), opset_version=9)
ncc.save_expect_array('test', onnx_importer.utils.run(input))
onnx_importer.utils.compile(['--inference-type', 'uint8', '-t', 'k210',
'--dataset', ncc.input_dir + '/test.bin', '--dataset-format', 'raw',
'--input-type', 'float'])
ncc.infer(['--dataset-format', 'raw'])
ncc.close_to('test', 0.05)