Jensen不等式

Jensen不等式，凸函数的期望大于等于期望的函数

Ef(X) /geq f(EX)

利用这个不等式，可以推导出相对熵总是非负的。而在等于0时，相对熵的两个函数相等。