1. 问题引入 本次要记录的论文是，CVPR2020 的 “ BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition “。该文旨在解决长尾数据分布的同时兼顾表示学习。 长尾数据是视觉认知任务如：图像分类、目标检测中影响实验结果的主要问题之一。长尾数据分布的意思是：数据集中某几个类别占据了大部分的数据，而剩余的类别各自的数据很少。 举个例子，想用一个1000张图像的数据集训练 ...

1. 两种Policy强化学习有两种训练方法： On-policy，要学的Agent边学边玩 Off-policy，要学的Agent看别人玩 前文讲解的Policy Gradient其实是On-policy的做法，这理解起来很直观： \nabla\bar{R}_\theta = E_{\tau\thicksim P_\theta(\tau)}[R(\tau)\nabla log(P_\theta(\tau))] 使用$\pi_\theta$来收集数据。当$\theta$被更新之后，必须重新采 ...

Linear Model Selection and Regularization在回归方法中，标准的线性模型如下： Y = \beta_0 + \beta_1x_1 + ... + \beta_px_p + \epsilon用来描述Response Y和一系列变量$x_1, x_2, … ,x_p$之间的关系。在前文中，我们使用最小二乘来拟合模型，的确线性模型在推理方面有自己的明确方式，在实际应用中也和非线性方法有得一拼。所以，在进入非线性世界之前，我们先讨论一些线性模型改进的方法，使用可选的 ...

1. RL几个应用 Learning to play AlphaGo Supervised（监督学习的方式） 从老师那里学习，即通过打标签的方式学习 比如看棋谱学，但棋谱是人下的，人下的那一步就是最优的吗？ Reinforement Learning 从经验中学习，其实人可能都不知道哪一步是最优的 AlphaGo的学习方式 先做Supervised Learning，从高手棋谱中学习 通过Supervised Learning训练出两个模型，他们互相博弈 Learning a ...

1. Cross-Validation on Classification Problems Cross-Validation用于分类任务概念 在系列前文中，描述的都是$Cross-Validation$在回归任务中的应用，并使用$MSE$量化Test Error，但$Cross-Validation$同样可以应用于分类任务中。 在分类任务中，$Cross-Validation$的用法和前文一致，不一样的地方在于没有使用$MSE$来量化误差，而是使用错误分类的个数。 举个例子，在分类任务中 ...

1. Resampling Methods重采样方法是现代统计学习中不可缺失的一环。它们包括： 重复的从训练集中采样 重复的拟合模型以获得额外的信息 重采样方法会耗费计算机资源，因为需要从训练集中采集不同的子集来多次拟合同一个模型。下面，我们将要讨论两个较为常用的重采样方法： $Cross-Validation$（交叉验证） $BootStrap$ 其中交叉验证估计测试误差以灵活的选择模型；$BootStrap$衡量了给定方法参数估计的准确性。 2. Cross Validation T ...

1. LDA for p > 1假设$X=(x_1, x_2, …, x_p)$来自多元高斯分布，关于K类有着不同的均值，但协方差矩阵相同。 多元高斯分布的一些直观概念 假设每个$predictor$符合一维高斯分布，每对$predictor$中存在相关性。 当$p=2$时，表面积的高度代表了$(x_1, x_2)$那边附近的概率；若言这$x_1$轴或者$x_2$轴切开，那得到的截面都是一维高斯分布的形状 当$p=2$时，若$Var(x_1) = Var(x_2)$，$Cor(x_1 ...

Logistic Regression 三种常用的分类方法 Logistic Regression Linear Discriminant Analysis K-NN Negihbor 为什么不用Linear Regression建模分类模型？ 若使用Linear Regression来建模 P(x) = \beta_0 + \beta_1x 上述模型存在两个问题 概率可能为负 概率可能超过1 Logistic Regression建模 P(x) = \frac{e^{\ ...

1. RSS, RSE, TSS等 RSS（Residual Sum of Squares） RSS = e_1^2 + e_2^2 + e_3^2 + ... + e_n^2 \\ =(\hat{y_1} - \hat{\beta_0} - \hat{\beta_1}x_1) + ... + (\hat{y_n} - \hat{\beta_0} - \hat{\beta_1}x_n) \\ = \sum_{i=1}^n(y_i - \hat{y_i})^2RSS定义了，在进行了回归之后， ...

1. Prerequisite Knowledge 此部分为预备知识，主要涉及内容如下： Upsampling, Uppooling, Transpose Convolution（上采样，上池化，转置卷积） Whitening and Coloring Transformations（白化与上色） Wavelet Transforms（小波变换） 若是熟悉这几块内容的童鞋可以直接跳过~ 1.1 Upsampling, UpPooling, Transpose Convolution Up ...