李宏毅GAN学习笔记（1）

作者: SmallRookie | 来源:发表于2018-11-10 23:15 被阅读0次

GAN（1） GAN介绍: 基本概念及逻辑
李宏毅 GAN 学习笔记
李宏毅GAN学习笔记（1）
《李宏毅 - 深度学习》笔记
GAN（2）GAN的数学理论及推导
李毅宏【GAN 课程笔记 1】
李宏毅GAN学习笔记—— 简介
李宏毅GAN学习笔记（2）
李宏毅老师机器学习课程笔记_ML Lecture 3-1: Gr
[李宏毅机器学习]系列文章

GAN Algorithm

Initialize $\theta_d$ for D and $\theta_g$ for G

In each training iteration:
- Sample m examples $\{ x^1, x^2, \dots, x^m \}$ from database
- Sample m noise samples $\{ z^1, z^2, \dots, z^m \}$ from a distrubution
- Obtaining generated data $\{ \widetilde{x}^1, \widetilde{x}^2, \dots, \widetilde{x}^m \}, \, \widetilde{x}^i=G(z^i)$
- Update discriminator parameters to maximize
  - $\widetilde{V}=\frac{1}{m}\sum^m_{i=1}logD(x^i)+\frac{1}{m}\sum^m_{i=1}log(1-D(\widetilde{x}^i))$
  - $\theta_d \gets \theta_d+\eta\bigtriangledown_{\widetilde{V}(\theta_d)}$
- Sample m noise samples $\{z^1, z^2, \dots, z^m \}$ from a distribution
- Update generator parameters to maxmize
  - $\widetilde{V}=\frac{1}{m}\sum_{i=1}^mlog(D(G(z^i)))$
  - $\theta_g\gets\theta_g+\eta\bigtriangledown_{\widetilde{V}(\theta_g)}$

Structured Learning Approach

Bottom Up: Learn to generate the object at the component level
Top Down: Evaluating the whole object, and find the best one

$Bottom \; Up + Top \; Down \Rightarrow GAN$

Discriminator --- Training

General Algorithm
- Given a set of positive example, randomly generate a set of negative examples.
In each iteration
- Learn a discriminator D that can discriminate positive and negative examples.
- Generate negative examples by discriminator D: $\widetilde{x}=arg max_{x\in X}D(x)$

Generator v.s. Discriminator

Generator
- Pros:
  - Easy to generate even with deep model.
- Cons:
  - Imitate the appearance.
  - Hard to learn the correlation between components.

Discriminator
- Pros:
  - Considering the big picture.
- Cons:
  - Generation is not always feasible, especially when your model is deep.
  - How to do negative sampling?

Discriminator + Generator --- Training

General Algorithm
- Given a set of positive example, randomly generate a set of negative examples.
In each iteration
- Learn a discriminator D that can discriminate positive and negative examples.
- Generate negative examples by discriminator D: $\widetilde{x}=arg max_{x\in X}D(x) \,\Leftrightarrow\, G\to\widetilde{x}$

GAN（1） GAN介绍: 基本概念及逻辑
GAN介绍（李宏毅GAN课程学习笔记） Generative Adversarial Network GAN由Ia...
李宏毅 GAN 学习笔记
1. 介绍GAN GAN的基本思想为什么生成器不自己学？为什么判别器不自己做？具体算法笔记：李宏毅学习笔记...
李宏毅GAN学习笔记（1）
GAN Algorithm Initialize for D and for G In each traini...
《李宏毅 - 深度学习》笔记
学习资源视频：李宏毅深度学习完整版别人的中文笔记：李宏毅机器学习笔记(LeeML-Notes)李宏毅机器学习笔...
GAN（2）GAN的数学理论及推导
GAN 的数学理论及推导（李宏毅GAN课程学习笔记）在前一篇文章，我们已经从概念及逻辑上，对GAN进行了相对直观...
李毅宏【GAN 课程笔记 1】
本系列是自己看完李毅宏老师的GAN系列教程后整理的笔记，有错误的地方请指正。视频地址：https://www.b...
李宏毅GAN学习笔记—— 简介
以图片生成为例算法过程：首先初始化D和G的参数，然后进入迭代过程，在每一次迭代中，先固定G，训练D，然后在固定...
李宏毅GAN学习笔记（2）
GAN Lecture 2 Conditional Generation by GAN Algorithm In ...
李宏毅老师机器学习课程笔记_ML Lecture 3-1: Gr
引言：这个系列的笔记是台大李宏毅老师机器学习的课程笔记视频链接（bilibili）：李宏毅机器学习(2017)另...
[李宏毅机器学习]系列文章
介绍本系列文章为台湾大学李宏毅老师机器学习课程的个人学习笔记。参考资料 datawhale-李宏毅机器学习笔记...