关于矩阵迹的一些求导法则

一、迹的基本性质

• 线性性质：$tr(\sum_ic_iA_i)=\sum_ic_itr(A_i)$
• 转置不变性：$tr(A)=tr(A^T)$
• 轮换不变性 $tr(ABC)=tr(BCA)=tr(CAB)$

注意：轮换不变性不等于交换性，例如$tr(ABC)\neq tr(ACB)$

二、范数与迹的关系

1. $\Vert X\Vert_\mathcal{F}^2=tr(X^TX)=\sum_{i=1}^m\sum_{j=1}^na_{ij}^2$

三、迹的求导规则

1. $\dfrac{\partial tr(AB)}{\partial A}=\dfrac{\partial tr(BA)}{\partial A}=B^T$

2. $\dfrac{\partial tr(A^TB)}{\partial A}=\dfrac{\partial tr(BA^T)}{\partial A}=B$

3. $\dfrac{\partial tr(A^TBA)}{\partial A}=BA+B^TA$

4. $\dfrac{\partial (ABA^T)}{\partial A}=AB^T+AB$

5. $\dfrac{\partial tr(AXBXC^T)}{\partial X}=A^TCX^TB^T+B^TX^TA^TC$

6. $\dfrac{\partial tr(AXBX)}{\partial X}=A^TX^TB^T+B^TX^TA^T$

7. $\dfrac{\partial tr(AXBX^T)}{\partial X}=A^TXB^T+AXB​$

8. $\dfrac{\partial tr(A^TXB^T)}{\partial X}=\dfrac{\partial tr(AX^TB)}{\partial X}=AB$

9. $\dfrac{\partial tr(A^TXB)}{\partial X}=AB^T$

10. $\dfrac{\partial tr(A^TX^TXA)}{\partial X}=2XAA^T$

11. $\dfrac{\partial tr[(XA-B)^T(XA-B)]}{\partial X}=2(XA-B)A^T$

    核心公式：$\nabla tr(XAX^TB)=B^TXA^T+BXA$

在sublime text3上使用python虚拟环境–记录

1. 在cmd窗口中使用conda命令创建虚拟环境，具体为

   1	conda create -n venv-name python=3.8.5

   其中，venv-name是所创建的虚拟环境名字，python=3.8.5可以指定python的版本。

2. 如何在虚拟环境中安装库？首先利用conda activate venv-name激活虚拟环境，然后在虚拟环境pip install package-name安装即可，或者pip install -r requirements.txt批量安装。

   注意：如果使用了国内镜像源安装，一定要关闭本地电脑上的代理服务器。

   到目前为止，已经创建好python虚拟环境。接下来在sublime text3中使用该虚拟环境

文献：Song C, Qu Z, Blumm N, et al. Limits of predictability in human mobility. Science, 2010, 327(5968): 1018-1021.

地址：Limits of predictability in human mobility

A range of applications, from predicting the spread of human and electronic viruses to city planning and resource management in mobile communications, depend on our ability to foresee the whereabouts and mobility of individuals, raising a fundamental question: To what degree is human behavior predictable? Here we explore the limits of predictability in human dynamics by studying the mobility patterns of anonymized mobile phone users. By measuring the entropy of each individual’s trajectory, we find a 93% potential predictability in user mobility across the whole user base. Despite the significant differences in the travel patterns, we find a remarkable lack of variability in predictability, which is largely independent of the distance users cover on a regular basis.

1. 计算user的熵率

$X_i$是随机变量，表示在时间$i$​时，user所在位置。Entropy定义为
$$
S=-\sum_{x\in X}P(x)log_2p(x)
$$
$p(x)=Pr\lbrace X=x\rbrace$。

给定$X$，随机变量$Y$​的条件概率熵为
$$
S(Y|X)\equiv \sum_{x\in X}p(x)S(Y|X=x)
$$

tikz的一些画图例子

前言

在此记录一些tikz绘制图形的例子，以方便后续使用。

0. 前言

在处理数据时， 我们的第一步工作往往是将数据导入到处理软件中，本文以python读取excel文件为例，作一个简短的记录！

1. 读写文本文件（.csv, .txt）

python中numpy库, pandas库以及csv库都可以读入.csv文件，np.loadtxt函数可以加载.txt文件，但是值得注意的是它是将文本文件导入为数组格式。下面来简单总结下这几种方法。

前言

最近需要用到python来绘制热图（斑图， 色度图），查阅资料之后发现主要使用matplotlib库中的imshow函数来实现。

函数参数解析

matplotlib.pyplot.imshow(X, cmap=None, norm=None, aspect=None, interpolation=None, alpha=None, vmin=None, vmax=None, origin=None, extent=None, shape=, filternorm=1, filterrad=4.0, imlim=, resample=None, url=None, *, data=None, **kwargs)[source]

X: array-like or PIL image（数组或者是图片）
cmap: str or Colormap(颜色映射)
norm: Normalize(标准化到（0， 1）区间)
aspect: {‘equal’, ‘auto’} or float(控制轴的纵横比)
interpolation: str(插值方法)，可选为( ‘none’, ‘antialiased’, ‘nearest’, ‘bilinear’, ‘bicubic’, ‘spline16’, ‘spline36’, ‘hanning’, ‘hamming’, ‘hermite’, ‘kaiser’, ‘quadric’, ‘catrom’, ‘gaussian’, ‘bessel’, ‘mitchell’, ‘sinc’, ‘lanczos’.)
剩下的具体参数解释可参考文档解释

前言

2014年，Ian Goodfellow等人提出一种全新神经网络训练模型–生成对抗模型(Generative Adversarial Network,GAN)。GAN是近年来最火热的无监督学习算法，在此基础上，许多研究者对其不断进行改进，衍生出很多相应的算法，也逐渐将其应用到半监督和有监督学习中。该系列博客主要记录从GAN的理论推导，编程实现和将GAN应用到半监督学习中。这第一篇文章就先将GAN的理论知识和实现简单介绍下。

前言

写过一段时间的python代码或者阅读过python程序的人一定不会陌生“装饰器”，其语法糖为@。今天就来好好看看到底什么是python装饰器，它到底装饰了什么？以及为什么要使用装饰器。

“装饰器”

什么是装饰器

python装饰器是的本质也是函数或者类，它接受另外的函数的作为其逻辑参数，将真正的业务函数包裹在其中。在不影响业务函数执行情况下，对业务函数添加额外的功能。

为什么要用装饰器

在前面已经说过，装饰器的作用是在不影响业务函数执行情况下， 对业务函数添加额外的功能。例如，需要打印函数的执行日志，一种方法是在业务函数中添加打印日志语句；但是，当函数数量很多时，这种方法就显得不那么靠谱，而且程序中会充斥着大量的重复代码，影响程序的可读性。这时，装饰器就能够发挥很大的作用。