Python ev_dataの例

コード例 #1

def main(path):
    train, test, valid = read_data(path)
    data = ev_data(train["text"])

    print(data)
    model = build_model(ev_data(valid["text"])).fit(data)

    evaluate(model, test.sample(frac=0.1), "test")
    evaluate(model, valid, "valid")
    evaluate(model, train, "train")

コード例 #2

ファイル: rnn.py プロジェクト: kqf/seq-to-rec

def main(path):
    train, test, valid = read_data(path)
    data = ev_data(train["text"])

    print(data)
    model = build_model(ev_data(valid["text"])).fit(data)

    model[-1].set_params(batch_size=32)

    evaluate(model, test, "test")
    evaluate(model, valid, "valid")
    evaluate(model, train, "train")

コード例 #3

def evaluate(model, dataset, title):
    data = ev_data(dataset["text"])

    with timer("Predict"):
        predicted = model.predict(data)

    with timer("Calculate the vectorized measures"):
        data["recall"] = recall(data["gold"], predicted)
        data["rr"] = rr(data["gold"], predicted)

    print("Evaluating on", title)
    print("Recall", data["recall"].mean())
    print("MRR", data["rr"].mean())
    return data

コード例 #4

ファイル: conftest.py プロジェクト: kqf/seq-to-rec

def flat_oov(oov):
    return ev_data(oov["text"])

コード例 #5

ファイル: conftest.py プロジェクト: kqf/seq-to-rec

def flat_data(data):
    return ev_data(data["text"])

コード例 #6

ファイル: experimental.py プロジェクト: kqf/seq-to-rec

def recall_scoring(model, X, y):
    dataset = ev_data(X.sample(frac=0.01)["text"])
    predicted = model.predict(dataset)
    return np.mean(recall(dataset["gold"], predicted))