交叉熵
编辑：Simone
2025-04-01 21:33:06
529 阅读
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。复杂度的意义是用该模型表示这一文本平均的分支数，其倒数可视为每个词的平均概率。平滑是指对没观察到的N元组合赋予一个概率值，以保证词序列总能通过语言模型得到一个概率值。通常使用的平滑技术有图灵估计、删除插值平滑、Katz平滑和Kneser-Ney平滑。
想要了解更多“交叉熵”的信息，请点击：交叉熵百科
版权声明：本站【百问十九】文章素材来源于网络或者用户投稿，未经许可不得用于商用，如转载保留本文链接：https://www.baiwen19.com/life/212855.html
