有哪些信誉好的足球投注网站- 1、本文档共10页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
Maximum Entropy Modeling
最大熵理论:
一、熵:熵是描述事物无序性的参数，熵越大则无序。
熵越大，事件越不确定。熵等于0，事件是确定的。
二、熵的性质
1.当可能状态的数量有限，若所有状态发生的概率相等时，熵取得最大值。（不证明了）
抛硬币： p（head）=0.5，p（tail）=0.5 H（p）=-0.5log2（0.5）+（-0.5log2（0.5））=1
熵值最大，正反面的概率相等，事件最不确定。
Maximum Entropy Modeling
“学习”这个词可能是动词，也可能是名词。可以被标为主语、谓语、宾语、定语…… 令x1表示“学习”被标为名词，?x2表示“学习”被标为动词。
令y1表示“学习”被标为主语，?y2表示被标为谓语，y3表示宾语，?y4表示定语。
问题是：在x条件下，y发生的概率？
首先满足下面的约束：
Maximum Entropy Modeling
如果没有其他的知识，我们有：
p(x1)=p(x2)=0.5
p(y1)=p(y2)=p(y3)=p(y4)=0.25
但是在实际情况中，“学习”被标为定语的可能性很小，只有0.05。我们引入这个新的知识：p(y4)=0.05，在满足了这个约束的情况下，其他的事件我们尽可能的让他们符合自然，符合均匀分布：
p(x1)=p(x2)=0.5
p(y1)=p(y2)=p(y3)=0.95/3
Maximum Entropy Modeling
已经有了两个知识了，那么其他的我们尽可能的要让他们不受约束，不受影响，分布的均匀一些。现在应该怎么让他们符合尽可能的均匀分布呢？
其实就是使熵尽可能的大就行了。
为此，我们引出最大熵模型。
Maximum Entropy Modeling
实际问题中，由于条件x和结果y取值比较多样化，为模型表示方便起见，通常我们将条件x和结果y表示为一些二制特征。
现在，我们有N个样本(xl,yl), (x2, y2) . . . . . (XN, YN)，
在训练样本中，定义概率分布：
(x,y)在样本中发生的次数
对于一个特征(x0,y0),定义特征函数：
Maximum Entropy Modeling
特征函数在样本中的期望值为：
我们要建立的关于特征函数f 模型，它的期望值：
令此模型满足：
Maximum Entropy Modeling
在数学上，对条件分布p(y|x)的均匀程度的评估，由条件熵来给出：
我们的目的是，在满足给定的约束下，使模型的概率分布更加均匀，则应该令上面的熵最大即可:(数学最优化问题)
且要满足约束：
1. 2.
Maximum Entropy Modeling
引入拉格朗日乘数，得到下面的模型表达式：
解得：
其中：
这里除了参数外，其它都已知。
可以用IIS算法来求参数：
文档评论（0）