የኢንፎርሜሽን ኢንትሮፒ ጽንሰ-ሀሳብ ለአንድ እሴት አሉታዊ ሎጋሪዝምን ያሳያል። ስለዚህ የመረጃ ምንጩ ዝቅተኛ ዕድል ያለው እሴት ሲኖረው (ማለትም ዝቅተኛ እድል ያለው ክስተት ሲከሰት) ክስተቱ የበለጠ "መረጃ" ("አስገራሚ") ይይዛል..
በእያንዳንዱ ክስተት የሚተላለፈው የመረጃ መጠን በዚህ መንገድ የተገለፀው የዘፈቀደ ተለዋዋጭ ሲሆን የሚጠበቀው ዋጋ የመረጃ ኢንትሮፒ ነው። በአጠቃላይ፣ ኢንትሮፒ (entropy) የሚያመለክተው ረብሻን ወይም አለመረጋጋትን ነው፣ እና በመረጃ ፅንሰ-ሀሳብ ውስጥ ጥቅም ላይ የዋለው ፍቺው በቀጥታ በስታቲስቲካዊ ቴርሞዳይናሚክስ ውስጥ ጥቅም ላይ ከዋለ ጋር ተመሳሳይ ነው። የ IE ጽንሰ-ሐሳብ በ 1948 በጻፈው "የመግባቢያ የሂሳብ ቲዎሪ" በሚለው ጽሑፉ በክላውድ ሻነን አስተዋወቀ። የ"Shannon's informational entropy" የሚለው ቃል የመጣው ከዚህ ነው።
ፍቺ እና ስርዓት
የመረጃ ማስተላለፊያ ስርዓት መሰረታዊ ሞዴል ሶስት አካላትን ያቀፈ ነው-የውሂብ ምንጭ ፣ የመገናኛ ቻናል እና ተቀባይ ፣እና ሻነን እንዳሉት "መሰረታዊ የግንኙነት ችግር" ተቀባዩ በጣቢያው ላይ በሚደርሰው ምልክት ላይ በመመስረት ምንጩ ምን ውሂብ እንደተፈጠረ መለየት ይችላል. ኢንትሮፒ በተቻለ መጠን አጭር በሆነው አማካይ ኪሳራ-አልባ ኢንኮዲንግ የታመቀ የምንጭ መረጃ ርዝመት ላይ ፍጹም ገደብ ይሰጣል። የምንጩ ኢንትሮፒ ከመገናኛ ቻናል የመተላለፊያ ይዘት ያነሰ ከሆነ የሚያመነጨው መረጃ ወደ ተቀባዩ በአስተማማኝ ሁኔታ ሊተላለፍ ይችላል (ቢያንስ በንድፈ ሀሳብ ምናልባት አንዳንድ ተግባራዊ ጉዳዮችን ለምሳሌ ውሂቡን ለማስተላለፍ የሚያስፈልገው የስርዓት ውስብስብነት ቸል ማለት ነው። እና ውሂብ ለማስተላለፍ የሚወስደው ጊዜ)።
የመረጃ ኢንትሮፒ አብዛኛውን ጊዜ በቢትስ (በአማራጭ "ሻኖንስ" ይባላል) ወይም አንዳንድ ጊዜ በ"natural units"(nats) ወይም አስርዮሽ ቦታዎች ("dits""ባንስ" ወይም "ሃርትሌይ" ይባላሉ) ይለካሉ። የመለኪያ አሃድ የሚወሰነው ኢንትሮፒን ለመወሰን ጥቅም ላይ በሚውለው በሎጋሪዝም መሰረት ነው።
ንብረቶች እና ሎጋሪዝም
የሎግ ፕሮባቢሊቲ ስርጭት እንደ ኢንትሮፒ መለኪያ ጠቃሚ ነው ምክንያቱም ለገለልተኛ ምንጮች ተጨማሪ ነው። ለምሳሌ፣ የአንድ ሳንቲም ፍትሃዊ ውርርድ ኢንትሮፒ 1 ቢት ሲሆን የ m-volumes entropy m ቢት ነው። በቀላል ውክልና፣ ሎግ2(n) ቢት ከ n እሴቶች ውስጥ አንዱን የሚወስድ ተለዋዋጭ ለመወከል ያስፈልጋሉ n የ 2 ኃይል ከሆነ። እነዚህ እሴቶች እኩል ከሆኑ፣ ኢንትሮፒ (በቢትስ) ከዚያ ቁጥር ጋር እኩል ነው። ከዋጋዎቹ ውስጥ አንዱ ከሌሎቹ የበለጠ ሊሆን የሚችል ከሆነ ፣ ምልከታው እሱ ነው።ትርጉሙ ተከስቷል፣ አንዳንድ ያነሰ አጠቃላይ ውጤት ከተከሰተ ያነሰ መረጃ ሰጪ ነው። በተቃራኒው፣ ያልተለመዱ ክስተቶች ተጨማሪ የመከታተያ መረጃ ይሰጣሉ።
የመታየት እድሉ አነስተኛ ስለሆነ፣ተመጣጣኝ ካልሆኑ መረጃዎች የተገኘ ኢንትሮፒ (አማካኝ መረጃ ነው ተብሎ የሚታሰበው) ሁል ጊዜ ከሎግ2(n) ያነሰ ወይም እኩል እንደሚሆን የሚያመሳስላቸው ነገር የለም። አንድ ውጤት ሲገለጽ ኢንትሮፒ ዜሮ ነው።
የሻነን መረጃ ኢንትሮፒ እነዚህን ግምትዎች የሚለካው ከስር ያለው መረጃ የመሰራጨቱ ዕድል በሚታወቅበት ጊዜ ነው። የተስተዋሉ ክስተቶች ትርጉም (የመልእክቶች ትርጉም) በ entropy ፍቺ ውስጥ ተዛማጅነት የለውም። የኋለኛው ደግሞ አንድን የተወሰነ ክስተት የማየት እድልን ብቻ ከግምት ውስጥ ያስገባል ፣ ስለሆነም የሚይዘው መረጃ ስለ እድሎች ስርጭቱ መረጃ እንጂ ስለ ዝግጅቶቹ ትርጉም አይደለም። የመረጃ ኢንትሮፒ ባህሪያት ከላይ እንደተገለፀው አንድ አይነት እንደሆኑ ይቆያሉ።
የመረጃ ቲዎሪ
የመረጃ ፅንሰ-ሀሳብ መሰረታዊ ሀሳብ አንድ ሰው ስለአንድ ርዕሰ ጉዳይ የበለጠ ባወቀ መጠን ስለ እሱ የሚያገኘው መረጃ ያነሰ ነው። አንድ ክስተት በጣም ሊሆን የሚችል ከሆነ, ሲከሰት አያስገርምም እና ስለዚህ ትንሽ አዲስ መረጃ ይሰጣል. በተቃራኒው፣ ክስተቱ የማይቻል ከሆነ፣ ክስተቱ መከሰቱ የበለጠ መረጃ ሰጪ ነበር። ስለዚህ፣ ክፍያው እየጨመረ ያለው የክስተቱ የተገላቢጦሽ ዕድል ተግባር ነው (1 / ገጽ)።
አሁን ተጨማሪ ክስተቶች ከተከሰቱ ኢንትሮፒከክስተቶቹ አንዱ ከተከሰተ የሚጠብቁትን አማካይ የመረጃ ይዘት ይለካል። ይህ ማለት ዳይ መጣል ሳንቲም ከመወርወር የበለጠ ኢንትሮፒ አለው ምክንያቱም እያንዳንዱ ክሪስታል ውጤት ከእያንዳንዱ የሳንቲም ውጤት ያነሰ እድል አለው።
ባህሪዎች
በመሆኑም ኢንትሮፒ የአንድ ግዛት ያልተጠበቀ ወይም ተመሳሳይ ነገር የሆነው አማካይ የመረጃ ይዘቱ መለኪያ ነው። ስለእነዚህ ቃላት ግልጽ የሆነ ግንዛቤ ለማግኘት፣የፖለቲካ አስተያየትን ምሳሌ ተመልከት። ብዙውን ጊዜ እንደዚህ ያሉ ምርጫዎች የሚከሰቱት ለምሳሌ የምርጫ ውጤቶች ገና ስላልታወቁ ነው።
በሌላ አነጋገር የዳሰሳ ጥናቱ ውጤት በአንፃራዊነት ሊተነበይ የማይችል ነው፣ እና እንዲያውም እሱን ማካሄድ እና መረጃውን መመርመር አንዳንድ አዲስ መረጃዎችን ይሰጣል። የምርጫው ውጤት ትልቅ ነው የሚሉ የተለያዩ መንገዶች ናቸው።
አሁን ከመጀመሪያው ብዙም ሳይቆይ ተመሳሳይ አስተያየት ለሁለተኛ ጊዜ የተደረገበትን ሁኔታ አስቡበት። የመጀመሪያው የዳሰሳ ጥናት ውጤት አስቀድሞ ስለሚታወቅ የሁለተኛው የዳሰሳ ጥናት ውጤት በደንብ ሊተነብይ ይችላል እና ውጤቶቹ ብዙ አዲስ መረጃ መያዝ የለባቸውም; በዚህ አጋጣሚ የሁለተኛው የሕዝብ አስተያየት ውጤት የመጀመሪያ ደረጃ ከመጀመሪያው ጋር ሲነጻጸር ትንሽ ነው።
የሳንቲም ውርወራ
አሁን ሳንቲም የመገልበጥ ምሳሌን አስቡበት። የጅራት እድላቸው ከጭንቅላት የመሆን እድል ጋር አንድ አይነት ነው ብለን ስናስብ የአንድ ሳንቲም መወርወር ኢንትሮፒ በጣም ከፍተኛ ነው፣ ምክንያቱም የአንድ ስርዓት የመረጃ ኢንትሮፒ ልዩ ምሳሌ ነው።
ይህ የሆነው ምክንያቱምየአንድ ሳንቲም ውጤት አስቀድሞ እንደሚወረወር ለመተንበይ የማይቻል መሆኑን: መምረጥ ካለብን, ማድረግ የምንችለው ምርጡ ሳንቲሙ በጅራት ላይ እንደሚወድቅ መተንበይ ነው, እና ይህ ትንበያ ትክክለኛ ይሆናል. 1 / 2. እንዲህ ዓይነቱ ሳንቲም መጣል አንድ ትንሽ ኢንትሮፒ አለው ፣ ምክንያቱም በእኩል ዕድል ሊከሰቱ የሚችሉ ሁለት ውጤቶች ሊኖሩ ስለሚችሉ እና ትክክለኛውን ውጤት ማጥናት አንድ ትንሽ መረጃ ይይዛል።
በተቃራኒው ሳንቲሙን በሁለቱም በኩል በጅራት በመጠቀም ማንንም ጭንቅላት መገልበጥ ዜሮ ነጥብ የለውም ምክንያቱም ሳንቲሙ ሁልጊዜ በዚህ ምልክት ላይ ስለሚያርፍ ውጤቱም በትክክል ሊተነበይ ይችላል።
ማጠቃለያ
የመጭመቂያው እቅድ የማይጠፋ ከሆነ፣ይህ ማለት ሁልጊዜ በመፍታታት ሙሉውን ኦርጅናል መልእክት መልሰው ማግኘት ይችላሉ፣የታመቀው መልእክት ከመጀመሪያው ጋር ተመሳሳይ መጠን ያለው መረጃ አለው፣ነገር ግን በጥቂት ቁምፊዎች ይተላለፋል። ማለትም፣ በቁምፊው የበለጠ መረጃ ወይም ከፍተኛ ኢንትሮፒ አለው። ይህ ማለት የታመቀው መልእክት ያነሰ ድግግሞሽ አለው ማለት ነው።
በግምት ለመናገር፣ የሻነን ምንጭ ኮድ ኮድ ንድፈ ሃሳብ ኪሳራ የሌለው የማመቅ ዘዴ በአማካይ ከአንድ በላይ መረጃ በመልእክት ቢት እንዲኖራቸው ሊቀንስ እንደማይችል፣ ነገር ግን በቢት ከአንድ ቢት ያነሰ መረጃ ማግኘት እንደሚቻል ይገልጻል። ተገቢውን የኢኮዲንግ እቅድ በመጠቀም መልዕክቶች። የመልእክቱ ኢንትሮፒ በቢት ጊዜ ርዝማኔ ምን ያህል አጠቃላይ መረጃ እንደያዘ የሚለካ ነው።
