def choose_action(self, sensor_info):
# хотим предсказать награду за все действия, доступные из текущего состояния
rewards_to_controls_map = {}
# дискретизируем множество значений, так как все возможные мы точно предсказать не сможем
all_actions = ((0., 0.), (0., .75), (0., -.75), (1., .75), (-1., .75))
probabilities = np.zeros(5)
s = 0. # sum for softmax
ind = 0
for steering, acceleration in all_actions:
action = Action(steering, acceleration)
agent_vector_representation = np.append(sensor_info, action)
agent_vector_representation = agent_vector_representation.flatten(
)[:, np.newaxis]
predicted_reward = float(
self.neural_net.feedforward(agent_vector_representation))
probabilities[ind] = np.exp(predicted_reward)
s += probabilities[ind]
ind += 1
probabilities /= s
ind = np.random.choice(5, size=1, p=probabilities)[0]
steering, acceleration = all_actions[ind]
best_action = Action(steering, acceleration)
# запомним всё, что только можно: мы хотим учиться на своих ошибках
self.sensor_data_history.append(sensor_info)
self.chosen_actions_history.append(best_action)
self.reward_history.append(
0.0) # мы пока не знаем, какая будет награда, это
# откроется при вызове метода receive_feedback внешним миром
return best_action
def best_action_and_reward(self, sensor_info, choose_random):
# хотим предсказать награду за все действия, доступные из текущего состояния
rewards_to_controls_map = {}
# дискретизируем множество значений, так как все возможные мы точно предсказать не сможем
for steering in np.linspace(
-1, 1, 3): # выбирать можно и другую частоту дискретизации, но
for acceleration in np.linspace(
-0.75, 0.75, 3): # в наших тестах будет именно такая
action = Action(steering, acceleration)
predicted_reward = self.learner.predict_reward(
sensor_info, action)
rewards_to_controls_map[predicted_reward] = action
# ищем действие, которое обещает максимальную награду
rewards = list(rewards_to_controls_map.keys())
highest_reward = max(rewards)
best_action = rewards_to_controls_map[highest_reward]
# Добавим случайности, дух авантюризма. Иногда выбираем совершенно
# рандомное действие
if choose_random:
highest_reward = rewards[np.random.choice(len(rewards))]
best_action = rewards_to_controls_map[highest_reward]
# следующие строки помогут вам понять, что предсказывает наша сеть
# print("Chosen random action w/reward: {}".format(highest_reward))
# else:
# print("Chosen action w/reward: {}".format(highest_reward))
return (best_action, highest_reward)
def choose_action(self, sensor_info):
# хотим предсказать награду за все действия, доступные из текущего состояния
rewards_to_controls_map = {}
# дискретизируем множество значений, так как все возможные мы точно предсказать не сможем
for steering in np.linspace(-1, 1, 3): # выбирать можно и другую частоту дискретизации, но
for acceleration in np.linspace(-0.75, 0.75, 3): # в наших тестах будет именно такая
action = Action(steering, acceleration)
agent_vector_representation = np.append(sensor_info, action)
agent_vector_representation = agent_vector_representation.flatten()[:, np.newaxis]
predicted_reward = float(self.neural_net.feedforward(agent_vector_representation))
rewards_to_controls_map[predicted_reward] = action
# ищем действие, которое обещает максимальную награду
rewards = list(rewards_to_controls_map.keys())
highest_reward = max(rewards)
best_action = rewards_to_controls_map[highest_reward]
# Добавим случайности, дух авантюризма. Иногда выбираем совершенно
# рандомное действие
if (not self.evaluate_mode) and (random.random() < 0.05):
highest_reward = rewards[np.random.choice(len(rewards))]
best_action = rewards_to_controls_map[highest_reward]
# следующие строки помогут вам понять, что предсказывает наша сеть
# print("Chosen random action w/reward: {}".format(highest_reward))
# else:
# print("Chosen action w/reward: {}".format(highest_reward))
# запомним всё, что только можно: мы хотим учиться на своих ошибках
self.sensor_data_history.append(sensor_info)
self.chosen_actions_history.append(best_action)
self.reward_history.append(0.0) # мы пока не знаем, какая будет награда, это
# откроется при вызове метода receive_feedback внешним миром
return best_action