计算语言学熵2 lezione.pdfVIP

Entropiaeorganizzazione

l L’entropiaaumentaconl’aumentaredeglistatipossibilidiun

sistema

l Aparitàdistatipossibilil’entropiadiminuisceseaumentala

“struttura”el’”organizzazione”delsistema

l aumentalapredicibilitàdelledinamichedelsistema

a• maggiore“ridondanzadell’informazione”

i

p• regolaritànelledinamichedelsistema

o

r

t• esistenzadischemiepatternricorrenti

n

e

nellasequenzadeglistati,ecc.

33

Un’applicazionedell’entropia

l L’entropiavieneutilizzataperindividuarele

parolepiùinformativesulcontenutodiuntesto

l Piùunaparolaèuniformementedistribuitain

testidiversi,minoreèlasuainformatività

l “lelettrone,insiemeaprotoneeneutrone,èparte

dellastrutturadegliatomi”

l “icomunisonopartedellastrutturadellaPubblica

Amministrazione”

l “partedeisquadredicalciosonoormaiincrisi

economica”

4

Un’applicazionedell’entropia

l EntropiadiunaparolainuncorpusditestiC

H(w)=−p(w,t)logp(w,t)

∑i2i

t∈C

i

l p(w,t)=probabilitàchewricorraneltestot

ii

l vienestimatacomeilrapportotralafrequenzadiw

intielafrequenzacomplessivadiwinC

5

Un’applicazionedell’entropia

l C=