GPT-2부터 자동 신경망 구성까지

송호연(Riiid VP of AIOps)

알파고, 테슬라 오토 파일럿, 스타크래프트2 자동 플레이 봇은 어떻게 만들었을까? 궁금하다면 강화 학습을 공부하자. 영화 〈엣지 오브 투모로우〉의 이야기로 쉽게 시작하는 강화 학습! 이 책 한 권이면 이론 공부는 물론이고 다양한 실습으로 강화 학습의 실체를 빠르게 파헤쳐 볼 수 있다. 블랙잭, 비행기 게임, 공 균형 유지 게임 봇, GPT-2 질의응답을 해주는 꼬맹이 자비스, 분산 강화 학습, NAS 자동 신경망 생성기 등을 만들면서 강화 학습을 피부로 느껴 보자!

_01장 강화 학습이란?
__01-1 강화 학습 멀리서 훑어보기
__01-2 마르코프 결정 과정으로 시작하는 강화 학습
__01-3 모델 프리 강화 학습

_02장 강화 학습에 딥러닝 조합하기
__02-1 딥러닝 쾌속 복습!
__02-2 DQN 공부하기

_03장 알파고 도전을 위한 첫걸음
__03-1 게임을 스스로 플레이하는 에이전트 만들기
__03-2 유니티 엔진으로 에이전트 만들기

_04장 딥레이서로 구현하는 자율 주행
__04-1 PPO 알고리즘 알아보기
__04-2 딥레이서로 공부하는 강화 학습

_05장 영화 〈아이언맨〉의 자비스 만들기
__05-1 자연어 처리가 뭐죠?
__05-2 자연어 처리 기법 알아보기
__05-3 GPT로 알아보는 자연어 처리와 강화 학습
__05-4 GPT-2로 자비스 만들기
__05-5 GPT-3와 강화 학습의 미래

_06장 분산 강화 학습 공부하기
__06-1 분산 학습 기초 공부하기
__06-2 분산 강화 학습을 위한 RLlib 라이브러리
__06-3 분산 강화 학습 실행해 보기

_07장 강화 학습으로 만드는 신경망 구조
__07-1 NAS란 무엇일까?
__07-2 NAS 흐름 알아보기
__07-3 NAS 직접 사용해 보기

_08장 NAS 더 자세히 알아보기
__08-1 NAS를 만드는 3단계 다시 알아보기
__08-2 탐색 전략 알아보기
__08-3 탐색 공간 알아보기
__08-4 성능 평가 전략 알아보기
__08-5 NAS, NASNet, ENAS 요약하기

이런 사람이 읽으면 좋아요
- 머신러닝·딥러닝 공부를 하면서 들은 ‘강화 학습’이 무엇인지 궁금해진 사람
- 알파고의 핵심 기술인 ‘강화 학습’을 다양한 실습으로 공부해 보고 싶은 사람
- 에저 분산 강화 학습, AWS 자율 주행 딥레이서 등 강화 학습 상용 서비스를 직접 사용하고 싶은 사람
- 강화 학습의 이론·실습 공부를 한 번에 끝내고 싶은 사람
이런 강화 학습 기술을 경험하고 배울 수 있어요
- 파이썬으로 블랙잭 봇 만들기
- OpenAI 짐 레트로로 2D 게임(비행기 게임)을 자동 플레이하는 에이전트 만들기
- UnityML로 3D 게임(공 균형 유지하기 게임)을 자동 플레이하는 에이전트 만들기
- AWS 딥레이서에서 자율 주행 에이전트 만들기
- MS 에저에서 분산 강화 학습 실습하기
- NAS로 자동 신경망 구성 실습하기
블랙잭 봇부터 자동 신경망 구성까지 실제 동작하는 강화 학습 에이전트 만들기
강화 학습으로 만든 알파고! 강화 학습은 대체 무엇이고 어떤 원리로 동작할까? 직접 만들고 실행하면서 공부하다 보면 강화 학습을 쉽게 이해할 수 있다! 나보다 게임을 더 잘하는 블랙잭, 2D·3D 게임 플레이 봇, 내가 정한 규칙에 맞게 트랙을 달리는 자율 주행 AWS 딥레이서, 내가 하는 질문에 척척 대답하는 GPT-2 꼬맹이 자비스, 신경망을 자동으로 만들어 주는 NAS까지! 책 한 권으로 강화 학습 공부를 끝내 보자!
마르코프 결정 과정, 몬테카를로 학습, PPO 알고리즘 등 강화 학습 이론 소개
강화 학습의 이론 공부도 빼놓을 수 없다! 영화 〈엣지 오브 투모로우〉로 마르코프 결정 과정이 무엇인지 이해하는 것으로 시작하여 블랙잭 봇을 만들며 몬테카를로 학습을 배우고, 게임 봇이나 아마존 딥레이서에 적용하는 PPO 알고리즘 등 ‘강화 학습에 입문하려면 꼭 알아야 하는 알고리즘’을 수식과 함께 소개했다.
AWS 딥레이서, MS 에저 분산 강화 학습 등 상용 서비스 활용 방법 수록
강화 학습을 현실에 적용할 수 있는지 알고 싶다면 상용 서비스를 직접 사용해 보면 된다! AWS 딥레이서 서비스로 자율 주행 자동차를 만들어 전 세계 사용자와 대결해 보고, MS 에저 분산 강화 학습을 실습하여 실제 강화 학습을 효과적으로 할 수 있는 분산 시스템도 경험해 본다!