సమాచార సంకరత (ఇన్ఫర్మేషన్ ఎంట్రొపీ)

సమాచార సిద్ధాంతంలో, ఒక అనిర్దిష్ట చరరాశికి సంబంధించిన అనిశ్చితి యొక్క ప్రమాణాన్ని ఎంట్రోపీ (సంకరత) అంటారు. ప్రస్తుత సందర్భంలో ఈ పదం సాధారణంగా షానోన్ ఎంట్రోపీ ని సూచిస్తుంది, ఇది ఒక ఆపేక్షిత విలువ యొక్క భావంలో ఒక సందేశంలో ఉన్న సమాచారాన్ని సాధారణంగా బిట్‌ల వంటి ప్రమాణాల్లో కొలుస్తుంది. సమానంగా, అనిర్దిష్ట చరరాశి విలువ తెలియనప్పుడు కనిపించని విలువ సగటు సమాచార విషయం యొక్క ప్రమాణాన్ని షానోన్ ఎంట్రోపీ అంటారు. క్లాడే ఇ. షానోన్ 1948నాటి తన పరిశోధక పత్రం "ఎ మాథమ్యాటికల్ థియరీ ఆఫ్ కమ్యూనికేషన్"లో ఈ భావాన్ని పరిచయం చేశారు.

నిర్ణీత నిరోధాల పరిధిలో, ఏదైనా సమాచార ప్రసారం యొక్క ఉత్తమ సంభవనీయమైన నష్టంలేని సంఘాతంపై ఒక సంపూర్ణ పరిమితికి షానోన్ యొక్క ఎంట్రోపీ ప్రాతినిధ్యం వహిస్తుంది: స్వతంత్ర మరియు సమరూపంగా-పంపిణీ చేయబడే అనిర్దిష్ట చరరాశుల యొక్క ఒక క్రమంలో సందేశాలను సంకేతీకరిస్తూ షానోన్ యొక్క మూల సంకేతీకరణ సిద్ధాంతం (షానోన్స్ సోర్స్ కోడింగ్ థీరమ్), పరిమితిలో, ఒక ఇచ్చిన అక్షరమాలలో సందేశాలను సంకేతీకరించడానికి, అతి కనిష్ట సంభవనీయ ప్రాతినిధ్యం యొక్క సగటు పొడవును లక్షిత అక్షరమాలలోని అనేక గుర్తుల సంవర్గమానం చేత విభజించబడే వాటి యొక్క ఎంట్రోపీగా చూపిస్తుంది.

ఒక సముచిత నాణెం (ఫెయిర్ కాయిన్) ఎంట్రోపీ ఒక బిట్ ఉంటుంది. అయితే, నాణెం సముచితం కానట్లయితే, అప్పుడు అనిశ్చితి తగ్గుతుంది (తరువాత వచ్చే ఫలితాన్ని ఊహించాలంటే, మనం తరచుగా వచ్చే ఫలితాన్ని ఆశ్రయించేందుకు ప్రాధాన్యత ఇవ్వాలి), అందువలన షానోన్ ఎంట్రోపీ కూడా తగ్గుతుంది. గణితశాస్త్రపరంగా, నాణేన్ని ఎగరవేయడం బెర్నౌలీ ట్రయల్‌కు ఒక ఉదాహరణగా చెప్పవచ్చు, దీని యొక్క ఎంట్రోపీని ద్వియాంశ సంకరత ప్రమేయం ద్వారా తెలియజేయవచ్చు. ప్రతి అక్షరం ఊహించదగిన విధంగా ఉండటం వలన, పునరావృతమయ్యే అక్షరాల యొక్క ఒక పొడవైన వరుసకు ఎంట్రోపీ రేటు 0 ఉంటుంది. మానవ ప్రయోగాలు ఆధారంగా షానోన్ వేసిన అంచనాలు ప్రకారం ఆంగ్ల పాఠ్యంలో ప్రతి అక్షరం యొక్క ఎంట్రోపీ రేటు 1.0 మరియు 1.5 బిట్‌ల మధ్య ఉంటుంది, లేదా ప్రతి అక్షరానికి అతి కనిష్టంగా 0.6 నుంచి 1.3 బిట్‌ల వరకు ఉంటుంది.

లేమాన్ నియమాలు

లేమాన్ నియమాల్లో, సమాచార సంకరత (ఎంట్రోపీ) అనిర్దిష్టత మాదిరిగానే కనిపిస్తుంది. వాస్తవానికి, ఏదైనా నిర్దేశిత, పరిణామాల ఫలితంగా సంభవించే, సంబద్ధమైన లేదా ఏదైనా తర్కం అవసరమైన క్రమం నుంచి నిష్క్రమణను సమాచారం వర్ణిస్తుంది. నిర్వచనం ప్రకారం, ఏదైనా ఇటువంటి క్రమం లేకపోవడాన్ని అనిర్దిష్టత అంటారు. అందువలన, "fHJZXpVVbuqKbaazaaw" అనే వరుస వ్యాప్తంగా ఉన్న అనిర్దిష్ట అక్షరాల క్రమానికి అధిక సమాచార ఎంట్రోపీ ఉందని చెప్పవచ్చు, మరోరకంగా చెప్పాలంటే దీనికి పెద్ద పరిమాణాల్లో ఎంట్రోపీ ఉంటుంది. దీనికి విరుద్ధంగా, షేక్‌స్పియర్ యొక్క మొత్తం రచనలకు ఇదే పొడవున్న ఒక అనిర్దిష్ట క్రమం కంటే అతి తక్కువ సమాచార ఎంట్రోపీ ఉంటుంది. వాస్తవానికి, ప్రజలు అనిర్దిష్ట క్రమం కంటే షేక్‌స్పియర్ యొక్క రచనలను మరింత సులభంగా గుర్తుంచుకోగలరు. సమాన పొడవు ఉన్న క్రమాలు వివిధ పరిమాణాల్లో సమాచారాన్ని కలిగివుండవచ్చు, అర్థవంతమైన పదబంధాలు, కొన్ని అక్షరాల మేళనాలు మరియు ఇతరాల కంటే ఎక్కువగా సంభవించేందుకు అవకాశం ఉన్న పదాలు సృష్టిస్తున్నప్పుడు మినహా, మిగిలిన మార్గాల్లో వీటిని వివరించలేము. ఉదాహరణకు ఆంగ్లంలో ఒక పదంలో మీరు 'q'ను చూసినట్లయితే, దాని తరువాత అక్షరంగా దాదాపుగా 'u' ఉంటుంది. మరో రకంగా చెప్పాలంటే, నాణెం ఉదాహరణను ఉపయోగించడం ద్వారా మీరు, ఒక అనిర్దిష్ట క్రమంలో తరువాతి అక్షరంతో పోలిస్తే ఒక కథలో తరువాతి అక్షరం విషయంలో మరింత విశ్వసనీయ ఫలితాన్ని ఊహించవచ్చు.

ఒక ఆచరణీయ సూచన ఏమిటంటే, ఒక ఇచ్చిన పాఠ్యం యొక్క ఎంట్రోపీని దాదాపుగా దాని యొక్క జతబొందు ప్రాతినిధ్యం పొడవుగా చెప్పవచ్చు.

నిర్వచనం

సంభవనీయ విలువలు {{1}x₁, ..., x _n }తో ఒక వివిక్త అనిర్దిష్ట చరరాశి X యొక్క ఎంట్రోపీ H

$H(X) = \operatorname{E}(I(X)).$

ఇక్కడ E అనేది ఆపేక్షిత విలువ ప్రమేయం, మరియు I (X ) అనేది X యొక్క సమాచార విషయం లేదా స్వీయ-సమాచారం.

I (X ) అనేది కూడా ఒక అనిర్దిష్ట చరరాశి. p అనేది X యొక్క సంభావ్య రాశి ప్రమేయం అయినట్లయితే, ఎంట్రోపీని స్పష్టంగా ఈ విధంగా రాయవచ్చు

$H(X) = \sum_{i=1}^n {p(x_i)\,I(x_i)} = -\sum_{i=1}^n {p(x_i) \log_b p(x_i)},$

ఇక్కడ b అనేది ఉపయోగించిన సంవర్గమానం (లాగరిథమ్) యొక్క పాదం. b యొక్క ఉమ్మడి విలువలు 2, యూలర్స్ నెంబర్ e మరియు 10 అవతాయి, ఎంట్రోపీ యొక్క ప్రమాణం b = 2కు బిట్, b = eకు నాట్, b = 10కు డిట్ (లేదా డిజిట్) అవుతుంది.

i కు p _i = 0 అయిన సందర్భంలో, సమానమైన సుమండ్ 0 log_b 0 విలువను 0గా తీసుకోవాలి, ఇది పరిమితితో స్థిరంగా ఉంటుంది

$\lim_{p\to0+}p\log p = 0.$

ఉదాహరణ

రేఖా చిత్రం లో, ఏగరేసిన నాణెం ను బిట్స్ లో కొలిచిన సంకరత H(X) (అధేన్టంటే ఊహించిన ఆశ్చర్యత); మరియు నాణెం యొక్క అసలు విలువ Pr (X=1) రెండూ చూపించబడతాయి. గమనించండి రేఖా చిత్రం లో అధికంగా పంపిణి పై ఆధారపడుతుంది: ఇక్కడ తిరగేసిన నాణెం యొక్క అసలు ఫలితం తో సమాచారం అందించడానికి దాదాపుగా ఒక బిట్ అవసరం అవుతుంది: కానీ పాచిక యొక్క అసలు ఫలితానికి log2(6) బిట్స్ అవసరం అవ్వచ్చు.

ప్రధాన వ్యాసం: Binary entropy function

సముచితమైన నాణేన్ని మాత్రమే కాకుండా, తెలిసిన నాణేన్ని ఎగరవేసినప్పుడు, బొమ్మ లేదా బొరుసు సంభవనీయతలను పరిగణలోకి తీసుకోవాలి.

నాణెం సముచితమైనది అయినట్లయితే (అంటే బొమ్మ మరియు బొరుసు రెండింటికీ సమానంగా 1/2 సంభవనీయతలు ఉంటాయి) తరువాతి టాస్ (నాణేన్ని ఎగరవేయడం) యొక్క తెలియని ఫలితానికి సంబంధించిన ఎంట్రోపీ పెరుగుతుంది. దీనిని గరిష్ట అనిశ్చిత పరిస్థితిగా చెప్పవచ్చు, ఎందుకంటే తరువాతి టాస్ ఫలితాన్ని అంచనా వేయడం కష్టం; నాణేన్ని ఎగరవేసిన ప్రతిసారి ఫలితం ఒక పూర్తి 1 బిట్ సమాచారాన్ని అందిస్తుంది.

ఇదిలా ఉంటే, మనకు నాణెం సముచితమైనది కాదని (ఫెయిర్ కాదని) తెలిసి, బొమ్మలు మరియు బొరుసుల యొక్క సంభవనీయతలు p మరియు q అయితే, అప్పుడు తక్కువ అనిశ్చితి ఉంటుంది. ఎగరవేసిన ప్రతిసారి, రెండో వైపుల్లో ఒకవైపు ఫలితం మాత్రమే రావడానికి ఎక్కువ అవకాశం ఉంటుంది. తగ్గిన అనిశ్చితిని ఒక తక్కువ ఎంట్రోపీలో కొలవవచ్చు: నాణెం యొక్క ప్రతి టాస్ అందించే సగటు ఒక పూర్తి 1 బిట్ సమాచారానికి తక్కువగా ఉంటుంది.

చివరి సందర్భం ఏమిటంటే రెండువైపులా బొమ్మలు ఉన్న నాణెం ఎప్పటికీ బొరుసు ఫలితాన్ని చూపించలేదు. అందువలన ఇక్కడ ఎటువంటి అనిశ్చితి ఉండదు. ఎంట్రోపీ సున్నా అవుతుంది: నాణెం యొక్క ప్రతి టాస్ ఎటువంటి సమాచారాన్ని అందించదు.

కారణ వివరణం

$n\,$ ఫలితాలు $\{ x_i : i = 1, \ldots , n\}$తో ఒక అనిర్దిష్ట చరరాశి $X\,$కి $H(X)\,$తో సూచించే షానోన్ ఎంట్రోపీని, అంటే ఒక అనిశ్చితి ప్రమాణాన్ని (మరింత కింద చూడండి) ఈ కింది విధంగా నిర్వచించవచ్చు

style="width:95%"

$\displaystyle H(X) = - \sum_{i=1}^np(x_i)\log_b p(x_i)$

style=

(1)

ఇక్కడ $p(x_i)\,$ అనేది $x_i\,$ యొక్క సంభవనీయ రాశి ప్రమేయం.

ఉదాహరణ (1) అర్థాన్ని అర్థం చేసుకోవడానికి, మొదట సమాన సంభవనీయత $p(x_i) = 1 / n\,$తో $\left\{ x_i : i = 1 , \ldots , n \right\}$ సంభవనీయ ఫలితాల (సంఘటనలు) సమితి $n\,$ పరిగణలోకి తీసుకోవాలి. $1\,$ నుంచి $n\,$ వరకు $n\,$ విలువలతో ఒక సముచిత పాచిక ఒక ఉదాహరణ అవుతుంది. ఇటువంటి $n\,$ ఫలితాల సమితి యొక్క అనిశ్చితి ని ఈ కింది విధంగా నిర్వచించవచ్చు

style="width:95%"

$\displaystyle u = \log_b (n).$

style=

(2)

స్వతంత్ర అనిశ్చితి కోసం సంకలనీయత లక్షణాన్ని అందించేందుకు సంవర్గమానాన్ని ఉపయోగిస్తారు. ఉదాహరణకు, మొదటి పాచిక యొక్క ప్రతి విలువకు $m\,$ సంభవనీయ ఫలితాలు $\left\{ y_j : j = 1 , \ldots , m \right\}$ గల రెండో పాచిక యొక్క విలువను జతచేయడాన్ని పరిగణలోకి తీసుకోవాలి. అందువలన ఇక్కడ $mn\,$ సంభవనీయ ఫలితాలు $\left\{ x_i y_j : i = 1 , \ldots , n , j = 1 , \ldots , m \right\}$ అవతాయి. అప్పుడు ఇటువంటి $mn\,$ ఫలితాల సమితికి అనిశ్చితి

style="width:95%"

$\displaystyle u = \log_b (nm) = \log_b (n) + \log_b (m).$

style=

(3)

ఈ విధంగా రెండు పాచికలతో ఉన్న అనిశ్చితిని రెండో పాచిక యొక్క అనిశ్చితి $\log_b (m)\,$ని మొదటి పాచిక యొక్క అనిశ్చితి $\log_b (n)\,$కి జతచేయడం ద్వారా పొందవచ్చు.

ఇప్పుడు ఒకే పాచికను (మొదటి పాచిక) ఉపయోగించే సందర్భాన్ని పరిశీలిద్దాం. ప్రతి సంఘటన యొక్క సంభవనీయత $1/n\,$ కాబట్టి, మనం ఈ కింది విధంగా రాయవచ్చు

$\displaystyle u_i = \log_b \left(\frac{1}{p(x_i)}\right) = - \log_b (p(x_i)), \ \forall i \in \{1, \ldots , n\}.$

ఏకరూపంలోలేని సంభవనీయత రాశి ప్రమేయం సందర్భంలో (లేదా నిరంతర అనిర్దిష్ట చరరాశుల సందర్భంలో సాంద్రత) మనం

style="width:95%"

$\displaystyle u_i := - \log_b (p(x_i))$

style=

(4)

దీనిని ఒక అనూహ్య ఫలితంగా పిలువవచ్చు; $x_i\,$ ఫలితానికి, తక్కువ సంభవనీయత $p(x_i)\,$, అంటే $p(x_i) \rightarrow 0$, అధిక అనిశ్చితి లేదా అనూహ్య ఫలితం, అంటే $u_i \rightarrow \infty$ ఉంటుంది.

$\langle \cdot \rangle$ సగటు పరికర్తతో సగటు అనిశ్చితి $\langle u \rangle$ని

style="width:95%"

$\displaystyle \langle u \rangle = \sum_{i=1}^{n} p(x_i) u_i = - \sum_{i=1}^{n} p(x_i) \log_b (p(x_i))$

style=

(5)తో

పొందవచ్చు, దీనిని ఉదాహరణ (1)లో ఎంట్రోపీ $H(X)\,$కి నిర్వచనంగా ఉపయోగించవచ్చు . పై సూత్రం సమాచార సంకరత మరియు సమాచార అనిశ్చితి ని పరస్పరంగా ఎందుకు ఉపయోగిస్తున్నారో వివరిస్తుంది.

వరుసగా x_i మరియు y_j విలువలను తీసుకోవడం ద్వారా X మరియు Y రెండు సందర్భాల యొక్క నియత సంకరత ను (కండీషనల్ ఎంట్రోపీ) కూడా ఈ కింది విధంగా నిర్వచించవచ్చు

$H(X|Y)=\sum_{i,j}p(x_{i},y_{j})\log\frac{p(y_{j})}{p(x_{i},y_{j})}$

ఇక్కడ p(x_i,y_j) అనేది X=x_i మరియు Y=_j సంభవనీయత. మీకు Y విలువ తెలిసినప్పుడు అనిర్దిష్ట చరరాశి X లో అనిర్దిష్టత పరిమాణంగా ఈ రాశిని అర్థం చేసుకోవాలి. ఉదాహరణకు మీవద్ద ఆరు పలకల పాచిక ఉన్నట్లయితే, దానికి సంబంధించిన ఎంట్రోపీ H(die) అవుతుంది, అయితే 1,2, లేదా 3 ఉన్న పార్శ్వాలవైపు మాత్రమే ఫలితాన్ని చూపించే విధంగా మోసపూరిత సర్దుబాటు చేసిన పాచిక మీ వద్ద ఉందని తెలిసినట్లయితే, అప్పుడు ఈ పాచికకు సంబంధించిన ఎంట్రోపీ భిన్నంగా ఉంటుంది మరియు దాని ఎంట్రోపీ H(పాచిక | 1,2, లేదా 3 ఫలితాలు మాత్రమే ఇచ్చే పాచిక) అవుతుంది.

కోణాలు

ఉష్ణగతిక సంకరతతో సంబంధం

ప్రధాన వ్యాసం: Entropy in thermodynamics and information theory

షానోన్ యొక్క సూత్రం మరియు దానికి బాగా సారూప్యంగా ఉండే ఉష్ణగతిక శాస్త్రం (థర్మోడైనమిక్స్)లోని సూత్రాల మధ్య దగ్గరి సంబంధం సమాచార సిద్ధాంతంలోకి ఎంట్రోపీ అనే పదాన్ని స్వీకరించడానికి స్ఫూర్తిగా నిలిచింది.

సాంఖ్య ఉష్ణగతిక శాస్త్రంలో ఒక ఉష్ణగతిక వ్యవస్థ యొక్క ఉష్ణగతిక సంకరత S యొక్క అత్యంత సాధారణ సూత్రం గిబ్స్ ఎంట్రోపీ అవుతుంది,

$S = - k_B \sum p_i \ln p_i \,$

ఇక్కడ k _B అనేది బోల్ట్‌మాన్ స్థిరాంకం బోల్ట్‌మాన్ ప్రారంభ కృషి తరువాత, 1878లో గిబ్స్ ఎంట్రోపీని జె. విల్లార్డ్ గిబ్స్ నిర్వచించాడు.

వాన్ న్యూమాన్ ఎంట్రోపీని ఇచ్చేందుకు పరిమాణ భౌతికశాస్త్ర ప్రపంచంలోకి దాదాపుగా మార్చకుండా అనువదించబడింది, న్యూమాన్ ఎంట్రోపీని జాన్ వాన్ న్యూమాన్ 1927లో పరిచయం చేశాడు.

$S = - k_B \,\,{\rm Tr}(\rho \ln \rho) \,$

ఇక్కడ ρ అనేది పరిమాణ యాంత్రిక వ్యవస్థ యొక్క సాంద్రత మాత్రిక.

రోజువారీ ఆచరణీయ స్థాయిలో సమాచార సంకరత మరియు ఉష్ణగతిక సంకరత మధ్య దగ్గరి సంబంధాలేమీ లేవు. ఒక మార్పులేని సంభవనీయ పంపిణీ కంటే, ఉష్ణగతిక శాస్త్రం యొక్క రెండో సూత్రానికి అనుగుణంగా వ్యవస్థ ప్రాథమిక పరిస్థితుల నుంచి స్వేచ్ఛగా పరిమాణం చెందుతుండటంతో భౌతిక శాస్త్రవేత్తలు మరియు రసాయన శాస్త్రవేత్తలు సంకరతలో మార్పుల పై ఎక్కువ ఆసక్తి చూపుతున్నారు. రసాయన మరియు భౌతిక ప్రక్రియల్లో నిమిషాలు మాత్రమే ఉండే పదార్థాలకు కూడా S / k _Bలో మార్పులు దత్తాంశ సంఘాతం లేదా సంకేత సంవిధానంలో కనిపించే దేనితోనైనా పోల్చినప్పుడు బాగా పెద్ద స్థాయిలోని ఎంట్రోపీ పరిమాణాలకు ప్రాతినిధ్యం వహిస్తాయని, బోల్ట్‌మాన్ యొక్క స్థిరాంకం k _B యొక్క సంఖ్యా సూక్ష్మత సూచిస్తుంది.

బహుళక్రమశిక్షణ స్థాయి వద్ద, ఉష్ణగతిక మరియు సమాచార సంకరత మధ్య సంబంధాలు ఏర్పరచవచ్చు , అయితే సంబంధాన్ని పూర్తిగా స్పష్టం చేసేందుకు సాంఖ్య యాంత్రిక శాస్త్రం మరియు సమాచార సిద్ధాంతం యొక్క సిద్ధాంతాల అభివృద్ధి చేయడానికి అనేక సంవత్సరాల సమయం పట్టింది. వాస్తవానికి, జైనెస్ (1957) ఉష్ణగతికశాస్త్రాన్ని షానోన్ యొక్క సమాచార సిద్ధాంతం యొక్క ఒక అనువర్తనం గా చూడాలని అభిప్రాయపడ్డాడు: వ్యవస్థ యొక్క సమగ్ర సూక్ష్మ దశను నిర్వచించేందుకు అవసరమైన తదుపరి షానోన్ సమాచార పరిమాణం యొక్క అంచనాగా ఉష్ణగతిక సంకరతను వివరించాలి, అయితే సంప్రదాయ ఉష్ణగతిక శాస్త్రం యొక్క సూక్ష్మ చరరాశుల నియమాల వర్ణనను మాత్రమే పరిగణలోకి తీసుకొని దీనిని వివరించలేకపోతున్నారు. ఉదాహరణకు, వ్యవస్థకు ఉష్ణాన్ని జోడించడం వలన దాని యొక్క ఉష్ణగతిక సంకరత పెరుగుతుంది, ఎందుకంటే ఇది ఉండదగిన సంభవనీయ సూక్ష్మ దశల సంఖ్యను పెంచుతుంది, అందువలన ఏదైనా సంపూర్ణ దశ వర్ణన సుదీర్ఘంగా ఉంటుంది. (ఈ వ్యాసాన్ని కూడా చూడండి: గరిష్ట సంకరత ఉష్ణగతికశాస్త్రం ). అఖండ పరమాణువుల దశల గురించి సమాచారాన్ని ఉపయోగించడం ద్వారా వ్యవస్థ యొక్క ఉష్ణగతిక సంకరతను మాక్స్‌వెల్స్ డెమోన్ (పరికల్పితంగా) తగ్గించగలదు; అయితే అతను ప్రతిపాదించిన మొదట సేకరణ మరియు నిల్వ కోసం డెమోన్‌ను పనిచేయించాలంటే ఈ ప్రక్రియలో దాని యొక్క ఉష్ణగతిక సంకరతను కనీసం షానోన్ సమాచార పరిమాణం స్థాయికి పెంచాలని లాండౌయెర్ (1961 నుంచి) మరియు ఆయన సహచరులు నిరూపించారు; అందువలన మొత్తం సంకరత తగ్గదని వారు వెల్లడించారు (ఇది వైరుధ్యాన్ని పరిష్కరించింది).

సమాచార విషయంగా సంకరత

ప్రధాన వ్యాసం: Shannon's source coding theorem

సంకరతను ఒక సంభవనీయ నమూనా సందర్భంగా నిర్వచించవచ్చు. స్వతంత్ర సముచిత నాణేనికి ఎగరవేసిన ప్రతిసారి సంకరత 1 బిట్ ఉంటుంది. ఎల్లప్పుడూ B యొక్క పొడవైన వరుసను సృష్టించే A మూలానికి సంకరత 0 ఉంటుంది, తరువాతి అక్షరం ఎల్లప్పుడూ B అవుతుంది కాబట్టి దీని ఎంట్రోపీ (సంకరత) సున్నా అవుతుంది.

ఒక దత్తాంశ మూలం యొక్క ఎంట్రోపీ రేటును దానిని సంకేతీకరించడానికి అవసరమైన ప్రతి సంకేతానికి సగటు బిట్‌ల సంఖ్యగా అర్థం చేసుకోవచ్చు. అంచనాలు వేసే వ్యక్తులతో షానోన్ నిర్వహించిన ప్రయోగాలు, ప్రయోగ అమరిక ఆధారంగా, ప్రతి పాత్రకు 0.6 మరియు 1.3 బిట్‌ల మధ్య సమాచార రేటును చూపిస్తున్నాయి; ఆంగ్ల పాఠ్యంలో PPM సంఘాత సంవర్గమానం ప్రతి అక్షరానికి 1.5 బిట్‌ల సంఘాత నిష్పత్తిని సాధించగలదు.

గత ఉదాహరణతో, ఈ కింది అంశాలను గమనించవచ్చు:

1. ఎంట్రోపీ పరిమాణం ఎల్లప్పుడూ బిట్‌ల యొక్క ఒక పూర్ణంక సంఖ్య కాదు.
2. అనేక దత్తాంశ బిట్‌లు సమాచారాన్ని ప్రసరింపజేయకపోవచ్చు. ఉదాహరణకు, దత్తాంశ వ్యవస్థల్లో తరచుగా సమాచారాన్ని విస్తారంగా నిల్వచేస్తాయి లేదా దత్తాంశ వ్యవస్థలో సమాచారంతో సంబంధంలేకుండా ఏకరూప విభాగాలు ఉంటాయి.

ఎంట్రోపీకి సంబంధించిన షానోన్ నిర్వచనాన్ని ఒక సమాచార మూలానికి వర్తింపజేసినప్పుడు సంకేతీకరించిన ద్వియాంశ డిజిట్‌లుగా మూలాన్ని ఆధారపడదగిన విధంగా బదిలీ చేసేందుకు కనిష్ట మార్గ సామర్థ్యం అవసరం ఉంటుందని గుర్తించవచ్చు (కింద ఇటాలిక్స్‌లో కావీట్‌ను చూడండి). సమాచార మూలం నుంచి ఒక డిజిట్‌లో ఉన్న సమాచార పరిమాణం యొక్క గణిత అంచనాను లెక్కించేందుకు సూత్రాన్ని నిర్వచించవచ్చు. ఇది కూడా చూడండి షానోన్-హార్ట్ సిద్ధాంతం.

గుర్తించిన (లేదా ఊహించిన) సందేశంలోని భాగానికి వ్యతిరేకంగా ఒక సందేశంలోని సమాచారాన్ని షానోన్ ఎంట్రోపీ కొలుస్తుంది. అక్షరం లేదా పద జతలు, త్రిపాదులు తదితరాల సంభవనీయతలకు సంబంధించిన భాషా నిర్మాణం లేదా సాంఖ్యా లక్షణాల్లో పునరుక్తిని రెండోదానికి ఒక ఉదాహరణగా చెప్పవచ్చు. మార్కోవ్ గొలుసు చూడండి.

దత్తాంశ సంఘాతం

మూస:Expand ఎంట్రోపీ బలమైన నష్టంలేని (లేదా సమీప నష్టంలేని) సంఘాత సాధ్యనీయత యొక్క ప్రదర్శనకు సమర్థవంతంగా నిబద్ధమై ఉంటుంది, దీనిని సిద్ధాంతపరంగా విలక్షణ సమితిని ఉపయోగించడం ద్వారా లేదా ఆచరణలో హుఫ్‌మాన్, లెంపెల్-జీవ్ లేదా అంకగణిత సంకేతీకరణను ఉపయోగించడం ద్వారా సఫలం చేయవచ్చు. ఇప్పటికే ఉన్న దత్తాంశ సంఘాత సంవర్గమానాల ప్రదర్శనను తరచుగా ఒక దత్తాంశ విభాగం యొక్కం ఒక అనిర్దిష్ట అంచనాగా ఉపయోగించవచ్చు. కోల్మోగోరోవ్ సంక్లిష్టతను కూడా చూడండి.

సమాచార విషయంగా ఎంట్రోపీ హద్దులు

ఒకే మార్గంలో సమాచార విషయాన్ని గణితశాస్త్ర ప్రకారం కొలిచే ఎంట్రోపీ-సంబంధ అనేక విషయాలు ఉన్నాయి:

• ఒక వ్యక్తి సందేశం లేదా చిహ్నం యొక్క స్వీయ-సమాచారాన్ని ఇచ్చిన సంభవనీయ పంపిణీ నుంచి తీసుకోవచ్చు,
• సందేశాలు లేదా చిహ్నాలు యొక్క ఒక ఇచ్చిన సంభవనీయ పంపిణీ యొక్క ఎంట్రోపీ , మరియు
• ఒక యాదృచ్ఛిక ప్రక్రియ యొక్క ఎంట్రోపీ రేటు .

(ఒక ఇచ్చిన యాదృచ్ఛిక ప్రక్రియ ద్వారా సృష్టించబడే సందేశాలు లేదా చిహ్నాలు యొక్క ఒక నిర్దిష్ట శ్రేణి కోసం కూడా స్వీయ-సమాచార రేటును నిర్వచించవచ్చు: ఇది ఎల్లప్పుడూ ఒక యాదృచ్ఛిక ప్రక్రియ యొక్క సందర్భంలో ఎంట్రోపీ రేటుకు సమానంగా ఉంటుంది.) ఇతర సమాచార ప్రమాణాలను వివిధ సమాచార మూలాలను పోల్చేందుకు లేదా అనుబంధించేందుకు కూడా ఉపయోగిస్తారు.

పై భావనలతో గందరగోళానికి గురికాకుండా చూసుకోవడం ముఖ్యం. తరచుగా ఇది అర్థం కోసం ఉద్దేశించిన సందర్భం నుంచి స్పష్టీకరించబడుతుంది. ఉదాహరణకు, ఆంగ్ల భాష యొక్క ఎంట్రోపీ ప్రతి అక్షరానికి 1.5 బిట్‌లు అని ఎవరైనా చెప్పినప్పుడు, వారు వాస్తవానికి ఆంగ్ల భాషను ఒక యాదృచ్ఛిక ప్రక్రియగా నమూనీకరించడం మరియు దాని ఎంట్రోపీ రేటు గురించి మాట్లాతుండవచ్చు.

ఎంట్రీపీని తరచుగా ఒక దత్తాంశ మూలం యొక్క సమాచార విషయం యొక్క పాత్ర చిత్రీకరణగా ఉపయోగిస్తున్నప్పటికీ, ఈ సమాచార విషయం సంపూర్ణంగా ఉండదు: ఇది ఎక్కువగా సంభవనీయ నమూనాపై ఆధారపడుతుంది. ఎల్లప్పుడూ ఒకే చిహ్నాన్ని సృష్టించే మూలానికి ఎంట్రోపీ రేటు 0 ఉంటుంది, అయితే ఆ చిహ్నం యొక్క నిర్వచనం అక్షరమాలపై ఆధారపడి ఉంటుంది. ABABABABAB...వరుసను సృష్టించే ఒక మూలాన్ని పరిగణలోకి తీసుకుంటే, ఇందులో ఎప్పుడూ A తరువాత B మరియు B తరువాత A వస్తుంటాయి. సంభవనీయ నమూనా విడి అక్షరాలను స్వతంత్ర భాగాలుగా పరిగణలోకి తీసుకుంటే, ఈ శ్రేణి యొక్క ఎంట్రోపీ రేటు ప్రతి అక్షరానికి 1 బిట్ అవుతుంది. అయితే రెండు-అక్షరాలు ఉన్న భాగాల గుర్తులతో "AB AB AB AB AB..." శ్రేణిని పరిగణలోకి తీసుకున్నట్లయితే, అప్పుడు ప్రతి అక్షరానికి ఎంట్రోపీ రేటు 0 బిట్‌లు అవుతుంది.

ఇదిలా ఉంటే, మనం చాలా పెద్ద భాగాలను ఉపయోగించినట్లయితే, అప్పుడు ప్రతి అక్షరం యొక్క ఎంట్రోపీ రేటు అంచనా కృత్రిమంగా చాలా తక్కువగా ఉండవచ్చు. ఇది ఎందుకంటే వాస్తవంలో, శ్రేణి యొక్క సంభవనీయ పంపిణీని స్పష్టంగా తెలియదు; ఇది కేవలం ఒక అంచనా మాత్రమే. ఉదాహరణకు, ప్రతి చిహ్నం ఒక సంపూర్ణ పుస్తకం యొక్క పాఠ్యాన్ని సూచించే విధంగా, ఎల్లప్పుడూ ప్రచురించబడే ప్రతి పుస్తకం యొక్క పాఠ్యాన్ని ఒక శ్రేణిగా పరిగణలోకి తీసుకున్నారని అనుకుందాం. ఇప్పుడు మొత్తం N ప్రచురిత పుస్తకాలు ఉన్నట్లయితే, ప్రతి పుస్తకం ఒకసారి మాత్రమే ప్రచురించబడి ఉంటే, ప్రతి పుస్తకం యొక్క సంభవనీయత అంచనా 1/N మరియు ఎంట్రోపీ (బిట్‌లలో) log₂ 1/N అవుతుంది. ఒక ఆచరణీయ సంకేతంగా, ఇది ప్రతి పుస్తకానికి ఒక ప్రత్యేక గుర్తింపు కారకాన్ని కేటాయిస్తుంది, ఎవరైనా పుస్తకాన్ని చదవాలని అనుకున్నప్పుడు పాఠ్యం యొక్క స్థానంలో ఈ సంకేతం ఉపయోగించబడుతుంది. పుస్తకాల గురించి మాట్లాడేందుకు ఇది ఎంతో ఉపయోగకరంగా ఉంటుంది, అయితే సాధారణంగా ఒకే పుస్తకం లేదా భాష యొక్క సమాచార విషయాన్ని వర్ణించేందుకు ఇది ఉపయోగకరంగా ఉండదు: సంభవనీయ పంపిణీ తెలియకుండా ఒక పుస్తకాన్ని దాని యొక్క గుర్తింపు కారకం నుంచి పునర్నిర్మించడం సాధ్యంకాదు, అంటే, అన్ని పుస్తకాల యొక్క సంపూర్ణ పాఠ్యం తెలియకుండా ఇది సాధ్యపడదు. కీలకమైన దత్తాంశాల సంభవనీయ నమూనా యొక్క సంక్లిష్టతను తప్పనిసరిగా పరిగణలోకి తీసుకోవాలి. కోల్మోగోరోవ్ సంక్లిష్టతను ఈ ఆలోచన యొక్క సైద్ధాంతిక సాధారణీకరణగా చెప్పవచ్చు, ఇధి ఏదైనా నిర్దిష్ట సంభవనీయ నమూనా యొక్క స్వతంత్ర శ్రేణి సమాచార విషయాన్ని పరిగణలోకి తీసుకునేందుకు ఇది వీలు కల్పిస్తుంది; ఇది శ్రేణిని సృష్టించే ఒక యూనివర్సల్ కంప్యూటర్ కోసం అతి తక్కువ క్రమణిక (ప్రోగ్రామ్)ను పరిగణలోకి తీసుకుంటుంది. ఒక ఇచ్చిన నమూనా కోసం శ్రేణి యొక్క ఎంట్రోపీ రేటును సాధించే ఒక సంకేతం, సంకేతపుస్తకాన్ని (అంటే సంభవనీయ నమూనా) కలిపి ఇటువంటి ఒక క్రమణికగా చెప్పవచ్చు, అయితే ఇది అతి తక్కువ నిడివి కలిగివుండకపోవచ్చు.

ఉదాహరణకు, 1, 1, 2, 3, 5, 8, 13, ...ను ఫిబోనాచీ శ్రేణి అంటారు. ఈ శ్రేణిని ఒక సందేశంగా మరియు ప్రతి సంఖ్యను ఒక చిహ్నంగా పరిగణలోకి తీసుకోవడం వలన, సందేశంలో అక్షరాలు ఉన్నాయి కాబట్టి దీనిలో దాదాపుగా అనేక చిహ్నాలు ఉంటాయి, దీనికి ఎంట్రోపీ సుమారుగా log₂(n ) ఉంటుంది. అందువలన ఫిబోనాచీ శ్రేణి యొక్క మొదటి 128 చిహ్నాలకు ఎంట్రోపీ సుమారుగా ప్రతి చిహ్నానికి 7 బిట్‌లు ఉంటుంది. ఇదిలా ఉంటే, ఒక సూత్రాన్ని ఉపయోగించి శ్రేణిని వ్యక్తం చేయవచ్చు, అది [F(n ) = F(n -1) + F(n -2), n ={3,4,5,...}, F(1)=1, F(2)=1] మరియు ఈ సూత్రానికి చాలా తక్కువ ఎంట్రోపీ ఉంటుంది, ఇది అన్నిరకాల ఫిబోనాచీ శ్రేణులకు ఇది వర్తిస్తుంది.

ఒక మార్కోవ్ ప్రక్రియగా దత్తాంశాలు

పాఠ్యం యొక్క ఎంట్రోపీని నిర్వచించేందుకు ఒక సాధారణ మార్గం పాఠ్యం యొక్క మార్కోవ్ నమూనాపై ఆధారపడివుంటుంది. క్రమం-0 మూలానికి (ప్రతి అక్షరం ముందు అక్షరాలకు స్వతంత్రంగా ఉన్న క్రమం) ద్వియాంశ ఎంట్రోపీ:

$H(\mathcal{S}) = - \sum p_i \log_2 p_i, \,\!$

ఇక్కడ p _i అనేది i యొక్క సంభవనీయత. ఒక మొదటి-క్రమ మార్కోవ్ మూలం (ముందు ఉన్న అక్షరంపై ఆధారపడి ఒక అక్షరాన్ని ఎంచుకునే సంభనీయత ఉన్న మూలం) యొక్క ఎంట్రోపీ రేటు :

$H(\mathcal{S}) = - \sum_i p_i \sum_j \ p_i (j) \log_2 p_i (j), \,\!$

ఇక్కడ i అనేది ఒక దశ (నిర్దిష్ట ముందు అక్షరాలు) మరియు $p_i(j)$ అనేది $i$ను ముందు అక్షరంగా ఇచ్చినప్పుడు $j$ యొక్క సంభవనీయత.

ద్వితీయ క్రమ మార్కోవ్ మూలానికి, ఎంట్రోపీ రేటు

$H(\mathcal{S}) = -\sum_i p_i \sum_j p_i(j) \sum_k p_{i,j}(k)\ \log_2 \ p_{i,j}(k). \,\!$

b -ఎరీ ఎంట్రోపీ

సాధారణంగా మూల అక్షరం S = {{1}a₁, ..., a_n } మరియు వివిక్త సంభవనీయ పంపిణీ P = {{1}p₁, ..., p_n }తో (ఇక్కడ p_i అనేది a_i (say p_i = p (a_i )) యొక్క సంభవనీయత) ఒక మూలం $\mathcal{S}$ = (S ,P ) యొక్క b -ఎరీ ఎంట్రోపీ ని ఈ కింది విధంగా నిర్వచించవచ్చు:

$H_b(\mathcal{S}) = - \sum_{i=1}^n p_i \log_b p_i, \,\!$

గమనిక: "b -ఎరీ ఎంట్రోపీ"లో b అనేది మూలంలోని అక్షరాలను కొలిచేందుకు ప్రామాణిక కొలబద్దగా ఉపయోగించే "ఆదర్శవంతమైన అక్షరం" యొక్క వివిధ చిహ్నాల సంఖ్య. సమాచార సిద్ధాంతంలో, ఒక అక్షరం సమాచారాన్ని సంకేతీకరించేందుకు వీలు కల్పించడానికి రెండు చిహ్నాలు అవసరమతాయి మరియు సరిపోతాయి, అందువలన వీలు కోసం b = 2 ("ద్వియాంశ ఎంట్రోపీ") భావించవచ్చు. తద్వారా, ఇచ్చిన ప్రయోగాత్మక సంభవనీయ పంపిణీతో మూల అక్షరం యొక్క ఎంట్రోపీ సంఖ్య, మూల అక్షరం యొక్క ప్రతి చిహ్నాన్ని సంకేతీకరించేందుకు అవసరమైన ఒక సర్వోత్కృష్టమైన సంభవనీయ పంపిణీని కలిగివున్న ఆదర్శవంతమైన అక్షరం యొక్క చిహ్నాల సంఖ్య (సంభవనీయ అంశిక)కు సమానంగా ఉంటుంది. గుర్తుంచుకోవాల్సిన మరో విషయం ఏమిటంటే, సర్వోత్కృష్టమైన సంభవనీయ పంపిణీని ఇక్కడ ఒక ఏకరూప పంపిణీగా అర్థం చేసుకోవాలి: అక్షరం యొక్క సంభవనీయ పంపిణీ ఏకరూపంలో ఉన్నప్పుడు, n చిహ్నాలు గల ఒక మూల అక్షరానికి గరిష్ట సంభవనీయ ఎంట్రోపీ (n చిహ్నాలు గల ఒక అక్షరానికి) ఉంటుంది. ఈ సర్వోత్కృష్ట ఎంట్రోపీ $\log_b \, n$గా ఉంటుంది.

సమర్థత

ఏకరీతిలోలేని పంపిణీ గల ఒక మూల అక్షరానికి, దాని యొక్క చిహ్నాలు ఏకరీతి పంపిణీని (అంటే సర్వోత్కృష్ట అక్షరం) కలిగివున్నప్పటి కంటే తక్కువ ఎంట్రోపీ ఉంటుంది. ఎంట్రోపీలో ఈ లోపాన్ని ఒక నిష్పత్తిగా వ్యక్తం చేయవచ్చు:

$\mathrm{efficiency}(X) = -\sum_{i=1}^n {p(x_i) \log_b p(x_i)} / \log_b (n)$

ఒక సమాచార ప్రసార మార్గం యొక్క సమర్థవంతమైన ఉపయోగాన్ని కొలిచేందుకు సమర్థత ఉపయోగపడుతుంది.

వర్గీకరణ

ఈ కింద పేర్కొనబడిన కొద్ది సంఖ్యలో ప్రమాణాలతో షానోన్ ఎంట్రోపీ వర్గీకరించబడుతుంది. ఈ అంచనాలను సంతృప్తిపరిచే ఏదైనా ఎంట్రోపీ యొక్క నిర్వచనం ఈ కింది రూపంలో ఉంటుంది

$-K\sum_{i=1}^np_i\log p_i\,\!$

ఇక్కడ K అనేది కొలిచే ప్రమాణాల యొక్క ఒక ప్రత్యామ్నాయానికి అనుగుణంగా ఉండే ఒక స్థిరాంకం.

$p_i=\Pr(X=x_i)$ మరియు $H_n(p_1,\ldots,p_n)=H(X)$ అవతాయి.

నిరంతరత

ప్రమాణం నిరంతరత కలిగివుండాలి, అందువలన అతికొద్ది పరిమాణంలో మారే సంభనీయతల యొక్క విలువలు ఎంట్రోపీని కొద్ది పరిమాణంలో మాత్రమే మార్చాలి.

సమరూపత

ఫలితాలు x _i తిరిగి క్రమపరచబడినట్లయితే ప్రమాణంలో మార్పు ఉండకూడదు.

$H_n\left(p_1, p_2, \ldots \right) = H_n\left(p_2, p_1, \ldots \right)$ etc.

గరిష్టం

అన్ని ఫలితాలు సమాన సంభవనీయత కలిగివున్నట్లయితే ప్రమాణం గరిష్టంగా ఉంటుంది (అన్ని సంభవనీయ సంఘటనలు సమానసంభావ్యతలను కలిగివున్నట్లయితే అనిశ్చితి గరిష్టంగా ఉంటుంది).

$H_n(p_1,\ldots,p_n) \le H_n\left(\frac{1}{n}, \ldots, \frac{1}{n}\right).$

సమానసంభవనీయ సంఘటనలకు ఎంట్రోపీ ఫలితాల సంఖ్యతో పెరుగుతూ ఉండాలి.

$H_n\bigg(\underbrace{\frac{1}{n}, \ldots, \frac{1}{n}}_{n}\bigg)$

సంకలనీయత

ప్రక్రియ భాగాలుగా ఏ విధంగా విభజించబడుతుందో గుర్తించడానికి ఎంట్రోపీ పరిమాణం స్వతంత్రంగా ఉండాలి.

ఈ చివరి క్రియాత్మక సంబంధం ఒక వ్యవస్థ యొక్క ఎంట్రోపీని ఉప-వ్యవస్థలతో వర్గీకరిస్తుంది. ఉప-వ్యవస్థల మధ్య సంకర్షణలు తెలిసినట్లయితే, ఒక వ్యవస్థ యొక్క ఎంట్రోపీని దాని యొక్క ఉప-వ్యవస్థల యొక్క ఎంట్రోపీ నుంచి లెక్కించడాన్ని ఇది సాధ్యపరుస్తుంది.

ప్రతిదానిలో b₁ , b₂ , ... , b_k మూలకాలతో k భాగాలు (ఉప-వ్యవస్థలు)గా విభజించబడి ఉన్న n ఏకరీతి పంపిణీ మూలకాలు గల ఒక సమూహాన్ని ఇచ్చినట్లయితే, భాగాల వ్యవస్థ యొక్క ఎంట్రోపీ మరియు నిర్దిష్ట భాగంలో ఉన్న సంభవనీయతతో ముడిపడిన ఒక్కొక్క భాగం యొక్క ఎంట్రోపీల మొత్తానికి ఈ సమూహం యొక్క మొత్తం ఎంట్రోపీ సమానంగా ఉంటుంది.

ధనాత్మక పూర్ణాంకాలు b_i కు, ఇఖ్కడ b ₁ + ... + b_k = n ,

$H_n\left(\frac{1}{n}, \ldots, \frac{1}{n}\right) = H_k\left(\frac{b_1}{n}, \ldots, \frac{b_k}{n}\right) + \sum_{i=1}^k \frac{b_i}{n} \, H_{b_i}\left(\frac{1}{b_i}, \ldots, \frac{1}{b_i}\right).$

k = n , b ₁ = ... = b_n = 1గా ఎంచుకోవడం ఒక నిర్దిష్ట ఫలితం యొక్క ఎంట్రోపీని సున్నాగా సూచిస్తుంది:

$H_1\left(1\right) = 0\,$

n చిహ్నాలు గల ఒక మూల అక్షరం యొక్క సమర్థత దాని యొక్క n -ఎరీ ఎంట్రోపీకి సమానంగా ఉంటుందని నిర్వచించవచ్చని ఇది సూచిస్తుంది. పునరుక్తి (సమాచార సిద్ధాంతం)ని కూడా చూడండి.

మరిన్ని లక్షణాలు

షానోన్ ఎంట్రోపీ ఈ కింది లక్షణాలను సంతృప్తిపరుస్తుంది, వీటిలో కొన్నింటి విషయంలో ఎంట్రోపీని ఒక నియమరహిత చరరాశి X యొక్క విలువను వెల్లడించడం ద్వారా నేర్చుకున్న (లేదా అనిశ్చితి తొలగించిన) సమాచార పరిమాణంగా వర్ణించడం ఉపయోగకరంగా ఉంటుంది:

• సున్నా సంభవనీయతతో ఒక సంఘటనను జోడించడం లేదా తొలగించడం ఎంట్రోపీకి సాయపడదు:

$H_{n+1}(p_1,\ldots,p_n,0) = H_n(p_1,\ldots,p_n)$.

• జెన్సెన్ అసమానతను ఉపయోగించి ఈ కింది సూత్రాన్ని ధ్రువీకరించవచ్చు.

$H(X) = \operatorname{E}\left[\log_b \left( \frac{1}{p(X)}\right) \right] \leq \log_b \left[ \operatorname{E}\left( \frac{1}{p(X)} \right) \right] = \log_b(n)$.

$\log_b(n)$ ఈ గరిష్ట ఎంట్రోపీని ఒక ఏకరీతి సంభవనీయ పంపిణీ ఉన్న ఒక మూల అక్షరం ద్వారా సమర్థవంతంగా సాధించవచ్చు: అన్ని సంభవనీయ సంఘటనలు సమానసంభావ్యత కలిగివున్నట్లయితే అనిశ్చితి గరిష్టంగా ఉంటుంది.

• (X ,Y ) (అంటే, X మరియు Y లను ఒకే సమయంలో అంచనా వేయడం)లను అంచనా వేయడం ద్వారా వెల్లడైన ఎంట్రోపీ లేదా సమాచార పరిమాణం రెండు వరుస ప్రయోగాలు నిర్వహించడం ద్వారా వెల్లడైన సమాచారానికి సమానంగా ఉంటుంది: మొదట Y యొక్క విలువను గుర్తించడం, తరువాత తెలుసుకున్న Y విలువ ఆధారంగా X విలువను గుర్తించడం. దీనిని ఈ విధంగా రాయవచ్చు

$H[(X,Y)]=H(X|Y)+H(Y).$

• X మరియు Y అనేవి రెండు స్వతంత్ర ప్రయోగాలు అయినట్లయితే, అప్పుడు Y యొక్క విలువను తెలుసుకోవడం X యొక్క విలువను తెలుసుకోవడంపై ప్రభావం చూపదు (స్వతంత్రత కారణంగా ఇవి రెండు ఒకదానిని ఒకటి ప్రభావితం చేయలేవు):

$H(X|Y)=H(X).$

• రెండు ఏకసమయ ప్రయోగాల యొక్క ఎంట్రోపీ, ప్రతి వినిర్దిష్ట సంఘటన యొక్క ఎంట్రోపీల మొత్తం కంటే ఎక్కువేమీ ఉండదు, మరియు రెండు సంఘటనలు స్వతంత్రమైనవి అయినట్లయితే సమానంగా ఉంటుంది. మరింత ముఖ్యంగా, X మరియు Y అనేవి ఒకే సంభవనీయ ప్రదేశంలో రెండు అనిర్దిష్ట చరరాశులు అయినట్లయితే మరియు (X,Y) వాటి కార్టీజియన్ లబ్దాన్ని సూచిస్తున్నట్లయితే, అప్పుడు

$H[(X,Y)]\leq H(X)+H(Y).$

ముందు పేర్కొన్న రెండు ఎంట్రోపీ లక్షణాల నుంచి దీనిని గణితశాస్త్ర ప్రకారం నిరూపించడం సులభం.

నిరంతర సందర్భానికి వివిక్త ఎంట్రోపీని విస్తరించడం: అవకలన ఎంట్రోపీ

ప్రధాన వ్యాసం: Differential entropy

వివిక్త విలువలు కలిగివున్న అనిర్దిష్ట చరరాశులకు షానోన్ ఎంట్రోపీ నిషిద్ధపరచబడింది. సూత్రం

$h[f] = -\int\limits_{-\infty}^{\infty} f(x) \log f(x)\, dx,\quad (1)$

ఇక్కడ f అనేది నిజ రేఖపై ఒక సంభవనీయ సాంద్రత ప్రమేయాన్ని సూచిస్తుంది, ఇది షానోన్ ఎంట్రోపీ సమానంగా ఉంటుంది, అందువలన ఇది నిజ సంఖ్యల యొక్క పరిధికి షానోన్ ఎంట్రోపీ విస్తరణగా పరిగణించబడుతుంది.

బోల్ట్‌మాన్ యొక్క H-సిద్ధాంతంలో క్రియాత్మక $H$కు సమీకరణాన్ని (1)లో ఇచ్చిన నిరంతర ఎంట్రోపీ $h[f]$ యొక్క పూర్వగామిగా పరిగణిస్తారు.

సూత్రం (1) సాధారణంగా నిరంతర ఎంట్రోపీ లేదా అవకలన ఎంట్రోపీగా సూచించబడుతుంది. రెండు ప్రమేయాల మధ్య సారూప్యత స్పష్టంగా ఉన్నప్పటికీ, ఈ కింది ప్రశ్నను పరిష్కరించాల్సి ఉంటుంది: అవకలన ఎంట్రోపీ షానోన్ వివిక్త ఎంట్రోపీకి ఆమోదయోగ్యమైన విస్తరణ అవుతుందా? అవకలన ఎంట్రోపీకి షానోన్ వివిక్త ఎంట్రోపీ కలిగివున్న అనేక లక్షణాలు ఉండవు - ఇది రుణాత్మకంగా కూడా ఉండవచ్చు - అందువలన కొన్ని సవరణలు సూచించబడ్డాయి, ముఖ్యంగా వివిక్త బిందువుల యొక్క సాంద్రతను పరిమితం చేయడం.

ఈ ప్రశ్నకు సమాధానమివ్వడానికి, మనం తప్పనిసరిగా రెండు ప్రమేయాల మధ్య సంబంధాన్ని ఏర్పాటు చేయాలి:

బిన్ పరిమాణం సున్నాకు పోయే మాదిరిగా, ఒక సాధారణ పరిమిత ప్రమాణాన్ని మనం పొందాలనుకుంటాము. వివిక్త సందర్భంలో, సంభవనీయతలను p_n తో సూచించే ప్రతి n బిన్‌ల (పరిమిత లేదా అపరిమిత) వెడల్పును బిన్ పరిమాణం (అస్పష్టంగా)గా సూచిస్తారు. నిరంతర పరిధికి మనం సాధారణీకరించేందుకు, మనం ఈ వెడల్పును గోప్యపరచాలి.

దీనిని చేసేందుకు, ఒక నిరంతర ప్రమేయం f ను చిత్రంలో చూపించినట్లుగా వివిక్తపరచడంతో ప్రారంభించాలి.

చిత్రం సూచినట్లుగా, సగటు-విలువ సిద్ధాంతం ద్వారా ప్రతి బిన్‌లో x_i అనే ఒక విలువ ఉంటుంది, అందువలన

$f(x_i) \Delta = \int_{i\Delta}^{(i+1)\Delta} f(x)\, dx$

మరియు తద్వారా ప్రమేయం f యొక్క పూర్ణాంకాన్ని ఈ కింది సూత్రంతో అంచనా వేయవచ్చు (రీమానియన్ కోణంలో)

$\int_{-\infty}^{\infty} f(x)\, dx = \lim_{\Delta \to 0} \sum_{i = -\infty}^{\infty} f(x_i) \Delta$

ఇక్కడ ఈ పరిమితి మరియు బిన్ పరిమాణం సున్నా అవడం సమానంగా ఉంటాయి.

ఈ విధంగా రాయవచ్చు

$H^{\Delta} :=- \sum_{i=-\infty}^{\infty} \Delta f(x_i) \log \Delta f(x_i)$

సంవర్గమానాన్ని విస్తరించడం ద్వారా, ఈ కింది ఫలితం వస్తుంది

$\begin{align} H^{\Delta} &= - \sum_{i=-\infty}^{\infty} \Delta f(x_i) \log \Delta f(x_i) \\ &= - \sum_{i=-\infty}^{\infty} \Delta f(x_i) \log f(x_i) -\sum_{i=-\infty}^{\infty} f(x_i) \Delta \log \Delta. \end{align}$

$\Delta \to 0$ కాబట్టి, మనం ఈ కింది సూత్రాన్ని పొందవచ్చు

$\sum_{i=-\infty}^{\infty} f(x_i) \Delta \to \int f(x)\, dx = 1$

మరియు అందువలన

$\sum_{i=-\infty}^{\infty} \Delta f(x_i) \log f(x_i) \to \int f(x) \log f(x)\, dx.$

అయితే $\Delta \to 0$ కాబట్టి, $\Delta \to 0$ అవుతుంది, అందువలన అవకలన లేదా నిరంతర ఎంట్రోపీకి మనకు ఒక ప్రత్యేక నిర్వచనం అవసరమవుతుంది:

$h[f] = \lim_{\Delta \to 0} \left[H^{\Delta} + \log \Delta\right] = -\int_{-\infty}^{\infty} f(x) \log f(x)\,dx,$

అంటే, ముందుగా చెప్పినట్లుగా, అవకలన ఎంట్రోపీ గా సూచించబడుతుంది. $n \to \infty$ వద్ద అవకలన ఎంట్రోపీ షానోన్ ఎంట్రోపీకి ఒక పరిమితి కాదని దీనర్థం. ఇలా కాకుండా, ఒక అపరిమిత ఆఫ్‌సెట్ ద్వారా షానోన్ ఎంట్రోపీ యొక్క పరిమితి నుంచి విభేదిస్తుంది.

షానోన్ ఎంట్రోపీ మాదిరికాకుండా, అవకలన ఎంట్రోపీ సాధారణంగా అనిశ్చితి లేదా సమాచారానికి ఒక మంచి ప్రమాణం కాదనే ఫలితాన్ని ఇది బహిర్గతం చేస్తుంది. ఉదాహరణకు, అవకలన ఎంట్రోపీ రుణాత్మకంగా ఉండవచ్చ; నిరంతర సమన్వయ బదిలీల పరిధిలో ఇది స్థిరంగా కూడా ఉండదు.

నిరంతర సందర్భానికి ఎంట్రోపీ యొక్క మరో ఉపయోగకర ప్రమాణం ఏమిటంటే పంపిణీ యొక్క సాపేక్ష ఎంట్రోపీ , దీనిని ఒక సూచన ప్రమాణం m (x )కు పంపిణీ నుంచి కుల్‌బాక్-లీబ్లెర్ అపసరణంగా నిర్వచించవచ్చు,

$D_{\mathrm{KL}}(f(x)\|m(x)) = \int f(x)\log\frac{f(x)}{m(x)}\,dx.$

వివిక్త పంపిణీ నుంచి నిరంతర పంపిణీకి ప్రత్యక్షంగా సాపేక్ష ఎంట్రోపీ బదిలీ అవుతుంది, సమన్వయ పునఃప్రమాణీకరణ పరిధిలో స్థిరంగా ఉంటుంది.

కాంబినేటరిక్స్‌లో ఉపయోగం

కాంబినేటరిక్స్‌లో ఎంట్రోపీ ఒక ఉపయోగకర ప్రమాణంగా మారింది. దీనికి ఒక సాధారణ ఉదాహరణ ఏమిటంటే, లూమీస్-వైట్నీ అసమానత యొక్క ఒక ప్రత్యామ్నాయ సాక్ష్యం: ప్రతి ఉపసమితి $A\subseteq \mathbb{Z}^{d}$కు, మనం ఈ కింది విషయాన్ని గుర్తించవచ్చు

$|A|^{d-1}\leq \prod_{i=1}^{d} |P_{i}(A)|$

ఇక్కడ $P_{i}(A)=\{(x_{1},...,x_{i-1},x_{i+1},...,x_{d}):(x_{1},...x_{d})\in A$, అంటే $P_{i}$ అనేది iవ నిర్దేశాంకంలో లంబకోణీయ ప్రక్షేపం.

షియరెర్స్ అసమానత (ఇన్‌ఈక్వాలిటీ) యొక్క ఒక సాధారణ పరిణామంగా సాక్ష్యం ఈ కింది విధంగా ఉంటుంది: $X_{1},...$$X_{d}$ అనిర్దిష్ట చరరాశులు మరియు $S_{1},...,S_{n}$ అనేవి $\{1,2,...,d\}$ యొక్క ఉపసమితులు అయితే, ప్రతి పూర్ణాంకం సరిగ్గా ఈ ఉపసమితిల యొక్క r లో 1 మరియు d మధ్య ఉంటుంది, అప్పుడు

$H[(X_{1},...,X_{d})]\leq \sum_{i=1}^{n}H[(X_{j})_{j\in S_{i}}]$

ఇక్కడ $(X_{j})_{j\in S_{i}}$ అనేది $S_{i}$లో j సూచికలతో అనిర్దిష్ట చరరాశులు $X_{j}$ యొక్క కార్టీజియన్ లబ్దం (అందువలన ప్రతి వెక్టార్ యొక్క కొలత $S_{i}$ యొక్క పరిమాణానికి సమానంగా ఉంటుంది).

మనం దీని నుంచి సంగ్రహంగా వర్ణించడంలో లూమీస్-వైట్నేలను మనం అనుసరించవచ్చు, X అనేది A లోని విలువలతో ఒక ఏకరీతిలో పంపిణీ చేయబడిన అనిర్దిష్ట చరరాశి అనుకున్నట్లయితే, A లోని ప్రతి బిందువు సమాన సంభవనీయతతో ఏర్పడుతుంది. అప్పుడు (పైన పేర్కొన్న ఎంట్రోపీ యొక్క మరిన్ని లక్షణాలు ద్వారా) $H(X)=\log|A|$ అవుతుంది, ఇక్కడ |A| అనేది A యొక్క కార్డినాలిటీ (ఒక సమితి లేదా సమూహంలోని మూలకాల సంఖ్య)ని సూచిస్తుంది. $S_{i}=\{1,2,...,i-1,i+1,...,d\}$ అనుకున్నట్లయితే. $P_{i}(A)$లో $(X_{j})_{j\in S_{i}}$ పరిధి ఉంటుంది, అందువలన $H[(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|$. ఇప్పుడు షియరర్ యొక్క అసమానత కుడివైపున కట్టడి చేసేందుకు మరియు మీరు ఫలితంగా పొందిన అసమానత యొక్క రెండు వ్యతిరేక వైపుల్లో ఘాతీయం చేసేందుకు దీనిని ఉపయోగించాలి.

వీటిని కూడా చూడండి

• ద్వియాంశ సంకరత ప్రమేయం – సంభావ్య సఫలత్వం p తో కూడిన బెర్నౌలీ ట్రయల్ యొక్క సంకరత
• కండిష్ణల్ ఎంట్రోపీ
• డిఫరెన్షీయల్ ఎంట్రోపీ
• ఎంట్రోపీ (యారో అఫ్ టైం)
• ఎంట్రోపీ అంచన
• ఎంట్రోపీ శక్తి యెక్క అసమానత్వం
• ఎంట్రోపీ రేట్
• క్రాస్స్ ఎంట్రోపీ – రెండు సంభావనీ పంపిణీ మధ్య ఒక సంఘటన యొక్క వీలును గుర్తించుటకు కావలసిన బిట్స్ సంఖ్య యొక్క సగటు ఆధారముతో చేసే కొలమానం
• సంకేతీకరింపబడిన సంకరత – ఓక సాంకేతకరిమ్పబడిన కార్యం ఆయా గుర్తులకు సంకేతాలు జతపరుస్తుంది తద్వారా గుర్తుల యొక్క సంభావ్యత పొడవుకు తగిన రీతిలో సరిపోతుంది.
• ఫిషర్ సమాచారం
• హేమింగ్ డిస్టెన్స్
• ఉమ్మడి సంకరత – రెండు నియమరహిత చరరాశులు కలిగిన ఒక ఉమ్మడి వ్యవస్థలో ఎంత సంకరత ఉన్నదని కొలిచే కొలమానం.
• కొల్మొగొరొవ్ సంక్లిష్టత
• శక్తిశీలమైన వ్యవస్థ లో కొల్మొగొరొవ్-సినాయి సంకరత
• లెవిన్స్టెయిన్ దూరము
• వివిక్త ప్రదేశాలు యొక్క సాంద్రత హద్దు - చట్టుముట్టిన వివిక్తత పంపిణి
• పరస్పర సమాచారం
• నేగన్ట్రోఫి
• అస్తిరత్వం
• గుణాత్మక వ్యత్యాసం – నామమాత్ర పంపిణీలు కై సంఖ్యా గానాన్కికం కొలమానం
• క్వాంటం సంభంధమైన సంకరత – రెండు క్వాంటం స్థితుల మధ్య వ్యత్యాసం గ్రహించుటకు వీలుకలిగే కొలమానం.
• రెన్యి సంకరత – షానన్ సంకరత యొక్క క్రమబద్ధికరణ; భిన్న్నత్వం, అస్తిరత్వత లేదా క్రమరహిత వ్యవస్థలో అర్హతలు నిర్ణయించు ఒక కుటుంభ ప్రమేయం
• థేయిల్ ఇన్డెక్ష్
• సమాచార సిద్ధాంతం యెక్క చరిత్ర
• ఎన్ట్రోపి యెక్క చరిత్ర
• షానొన్ ఇన్డెక్ష్

బాహ్య లింకులు

• ఇన్ఫర్మేషన్ ఈస్ నాట్ ఎన్ట్రోపి, ఇన్ఫర్మేషన్ ఈస్ నాట్ అన్సెర్టైనిటి! - "సమాచారం" మరియు "సంకరత" యొక్క ప్రయోజనాల గురించి చర్చ.
• ఐ యామ్ కన్ఫ్యస్ద్: హౌ కుడ్ ఇంఫోర్మేషన్ ఈక్వల్ ఎన్ట్రోపి? - బయోనెట్.ఇన్ఫో- థీరి FAQ లో ఒకేవిధమైన చర్చ.
• హొవార్డ్ రైన్గోల్డ్ చే డిస్క్రిప్షన్ అఫ్ ఇంఫోర్మేషన్ ఎన్ట్రోపి ఫ్రొం " టూల్స్ ఫర్ థోట్ "
• ఆంగ్ల సంకరత లెక్కించడానికి పై షానొన్స్ పరిశోధన ను సూచించడానికి ఒక జావ యాప్లెట్
• సమాచార పొందిక మరియు సంకరత ను వివరించడానికి ప్రదర్సన
• గణిత ప్రాధాన్యత గల చాలినంత క్రమరాహిత్యం ఉన్న సంకరత (బిట్స్ లో) కలిగిన సర్టైన్కీస్ పాస్స్వోర్డ్ స్త్రెంగ్థ్ మీటర్