그로킹 심층 강화학습

이 글은 한빛미디어 도서 서평단 나는 리뷰어다 2021을 통해 책을 제공받아 작성하였습니다.

이 책은 번역서 '그로킹 심층 강화학습(미겔 모랄레스 지음, 한빛미디어)' 입니다.

 

 

이 책은 심층 강화학습의 이론과 실제 코드 작성에 대해 알려 줍니다. 기본적인 딥러닝 지식이 있으면 책을 읽어나가는 데 수월하지만 신경망에 대한 기초적인 지식들도 다룹니다.

 

1장 <심층 강화학습의 기초>와 2장 <강화학습의 수학적 기초>에서는 강화학습에 대한 기초와 이를 이해하기 위한 수학적인 배경과 프레임 워크를 소개합니다.

 

3장 <순간 목표와 장기 목표 간의 균형>에서는 에이전트가 환경의 다이나믹스를 알 때 문제를 푸는 알고리즘을, 4장 <정보의 수집과 사용 간의 균형>에서는 환경의 다이나믹스를 알지 못 할 때 문제를 푸는 알고리즘에 대해 설명합니다.

 

5장 <에이전트의 행동 평가>

 

6장 <에이전트의 행동 개선>에서는 시행착오를 통해 학습하여 정책을 최적화 시키는 방법을 설명하고, 7장 <조금 더 효율적인 방법으로 목표에 도달하기>에서는 샘플링을 개선하는 방법을 알려 줍니다.

 

8장 <가치 기반 심층 강화학습 개요>에서는 신경망을 이용해 함수를 근사화하는 법을 소개하며, 9장 <조금 더 안정적인 가치 기반 학습 방법들>에서는 함수 근사화 방법을 조금 더 개선시켜 봅니다. 그리고 10장 <샘플 효율적인 가치 기반 학습 방법들>에서는 이러한 방법들을 개선시킬 수 있는 기법에 대해 설명합니다.

 

11장 <정책-경사법과 액터-크리틱 학습법>에서는 강화학습에 딥러닝을 사용한 A3C, A2C 등을 소개합니다.

 

12장 <발전된 액터-크리틱 학습법>에서는 DDPG, TD3, SAC, PPO와 같은 비교적 최신 방법론과 기법들을 설명해 주며, 13장 <범용 인공지능을 향한 길>에서는 최신 강화학습의 연구 동향을 알려 줍니다.