1강_Introduction

Lecture 1 _ Introduction

Reinforcement Learning

key issues of reinforcement learning

• Sequence of Decisions : 하나만 나오고 끝나는 결정이 아닌 계속 이어지는 일련의 결정들

• Good Decisions : 정확도, 최대한의 보상을 받을 수 있는 최적의 결정

• the learning : 좋은 결정을 내리기 위해 agent를 학습시킴

key aspects of reinforcement learning

• 최적화
• 최적화는 모든 모델에서 필수

• 지연된 결과
• 현재의 결정이 미래에도 영향을 미칠 수 있음 (ex> 게임에서 지금 한 선택이 나중의 승패를 결정함)
• challenges : 지금 한 결정에 대해 즉각적인 피드백이 보장되지 않음 → 과거에 내린 결정과 미래에 받을 보상에 대한 관계를 일반화하기 힘들다 (↔ 특히 머신러닝과 다른 점)

• 탐색
• 이미 입력-결과가 나온 데이터로 학습하는 것이 아니라, agent가 탐색한 데이터로만 학습
• agent가 하는 결정들에 따라 학습하는 내용이 달라짐

• 일반화
• 이전에 학습하지 않은 상황에 대해서도 지금까지 학습한 것을 바탕으로 문제를 풀어갈 수 있는 능력
• 모든 action을 프로그래밍 하기엔 양이 너무 방대함 → 일반화하면 처음 보는 상황에서도 agent는 문제를 풀어갈 수 있다

differences from RL

• AI planning : 규칙이 이미 적용된 모델
• 최적화, 지연된 결과, 일반화는 해당하지만 탐색은 해당하지 않음
• 일련의 결정들을 결정하는 모델이지만, 규칙이 이미 적용되어 있어 현재의 결정이 미래에 어떤 영향을 미치는지 알고 있다

• Supervised Machine Learning : 주어진 경험을 통해 학습하는데 result O인 data 이용
• 최적화, 일반화는 해당하지만 지연된 결과, 탐색은 해당하지 않음
• 입력-결과가 이미 나온 경험 데이터를 통해 학습
• agent가 스스로 경험하며 학습하는 것이 아닌, 이미 경험한 데이터를 통해 학습

• Unsupervised Machine Learning : 주어진 경험을 통해 학습하는데 result X인 data 이용
• 최적화, 일반화는 해당하지만 지연된 결과, 탐색은 해당하지 않음
• agent가 스스로 경험하며 학습하는 것이 아닌, 이미 경험한 데이터를 통해 학습하나 행동에 대한 결과가 없는 데이터를 사용

• Imitation Learning
• 최적화, 지연된 결과, 일반화는 해당하지만 탐색은 해당하지 않음
• agent가 스스로 경험하며 학습하는 것이 아닌, 이미 경험한 데이터를 통해 학습
• 다른 객체에 대한 행동을 따라 학습하기 때문에, 모방해보지 않은 새로운 상황을 마주치면 해결이 불가능하다

Sequential Decision Making (under uncertainty)

• world와 agent가 서로 영향을 주며 연속적인 결정을 만든다

• 이 상호작용하는 폐쇄 루프의 목표는 미래의 보상이 최대가 될 수 있는 결정을 하는 것

• key challenges
• 즉각적인 보상과 미래의 보상 사이의 균형을 적절하게 맞춰야 한다
• 미래의 보상을 위해 즉각적인 보상을 포기해야 할 때도 있다
(e.g. 공부할 때 쉬운 문제만 푼다면 지금 맞는 문제(즉각적인 보상)는 많겠지만, 시험에서는 맞은 문제의 개수(미래의 보상)가 적을 것이다. 시험에서 맞는 문제(미래의 보상)을 최대화하기 위해 공부하며 맞는 문제의 개수(즉각적인 보상)을 포기해야 하는 사례)

• 즉각적인 보상과 미래의 보상의 비율을 설정하는 함수를 reward function이라 하는데, 이 reward function을 어떻게 지정하느냐에 따라 agent가 학습하는 것이 달라진다

용어 정리

The Markov assumption

• 미래과 과거로부터 독립적이고 현재의 state가 과거의 모든 history를 충분히 반영한다면, 그 state만으로 미래를 예측하고 결정을 내릴 수 있다.

• state 설정에 따라 Markov assumption은 항상 성립이 가능하므로 state를 잘 설정하는 것이 중요하다.

Full Observability

• MDP(Markov Decision Process)
• agent의 state(agent가 확인 및 사용할 수 있는 state)와 real world의 state(실제 모든 world의 state)가 일치한다면, state는 agent가 관찰할 수 있는 모든 부분이다.

• POMDP(Partially Observable Markov Decision Process)
• agent의 state와 real world의 state가 일치하지 않을 때 사용
• agent가 관찰할 수 없는 부분이 존재하므로, state를 agent가 관찰할 수 있는 부분으로만 설정하면 state의 정보가 부족하다.
• MDP보다 많은 정보를 포함
 

Type of Sequential Decision Processes

• Bandits
• 현재 agent가 관찰 가능한 모든 부분 만으로도 충분한 state가 구성될 수 있다
• 과거의 결정은 현재의 state와 관련이 없다

• MDPs and POMDPs
• actions이 미래의 state에 영향을 미친다는 것을 감안한다
• 보장된 부분과 아닌 부분을 설정하는 것이 중요

• How the World Changes
• Deterministic
• 어떤 action을 취했을 때 반환될 결과가 정해져있음
• Stochastic
• 어떤 action을 취했을 때 반환될 결과가 확률적

RL Algorithm Components

Model

• agent가 어떤 action을 취하느냐에 따라 world가 어떻게 바뀔지에 대한 예측 결과를 출력하는 함수

• Transaction / Dynamics model : agent의 다음 state를 예측
Reward model : 즉각적인 보상을 예측

Policy

• state를 입력받았을 때 agent가 action을 어떻게 선택할 지 결정하는 함수

• Deterministic Policy : 입력된 state에 따른 action 출력값이 하나
Stochastic Policy : 입력된 state에 따른 가능한 action 별 확률을 출력

Value Function

• 특정 policy에 따른 미래의 보상의 총합을 예상하는 함수

• 즉각적인 보상과 미래의 보상 각각에 얼마나 비중을 둘 것인지 결정하는 함수

• value가 높을수록 더 큰 보상을 얻을 수 있으며, 이를 좋은 policy라 한다

Types of RL Agents

• Model Based Agent
• model이 존재
• 이 model이 policy function이나 value function을 갖고 있을 수도, 아닐 수도 있음
• 즉 명시된 policy function이나 value function이 없음

• Model - free Agent
• model이 없음
• 명시된 policy function이나 value function이 존재

Key Challenged in learning to Make Sequences of Good Decisions

Planning (Agent’s internal computation)

• world의 동작에 대한 model 존재
• Dynamic/Reward model

• 학습 과정에서 world에 대한 탐색은 불필요하기 때문에, world와의 상호작용 불필요

• 여러 선택지 중 high reward를 보장하는 action으로 결정

Reinforcement Learning

• world의 동작에 대한 model이 존재하지 않음

• 학습 과정에서 world에 대한 탐색이 필요하기 때문에, 초반에 많은 시행착오 필요

• 학습 시 high reward를 받을 수 있는 방법과 world에 대한 정보를 얻을 수 있는 방법 모두를 고려해야 함

Exploration vs Exploitation

• agent가 시도하는 action만 수행됨

• RL agent 가 action을 조정하는 방법
• Exploration : trying new things that might enable the agent to make better decisions in the future 새로운 시도!
• Exploitation : choosing actions that are expected to yield good reward given past experience 여태까지 한 것 중에 좋은것 다시

• Exploration-Exploitation 사이 tradeoff가 이뤄지기도 함
• sacrifice reward in order to explore & learn about potentially better policy

Evaluation & Control

Evaluation

• 평가와 예측을 통한 보상 예측

Control

• Optimization : 가장 좋은 policy를 찾아 최적화