ስፔኩላቲቭ ስፔኩላቲቭ ዲኮዲንግ (SSD) .

The Bottleneck of Generative AI

ጀነሬቲቭ ኤኣይ ሞዴላት ብናይ ምጽሓፍን ኮድን ምፍጣርን ዓቕሞም ንዓለም ማሪኾም ኣለዉ። ይኹን እምበር፡ ዝዀነ ይኹን ምስ ሓደ ዓቢ ሞዴል ቋንቋ (LLM) ዝራኸብ ሰብ፡ እቲ ዚሕብር ምድንጓይ ኣጋጢምዎ እዩ፣ እዚ ኸኣ ኣብ መንጎ ምልኣኽ ምልክት ምልኣኽን ቀዳሞት ሒደት ቃላት መልሲ ምቕባልን ዘሎ ዕረፍቲ እዩ። እዚ ምድንጓይ እዚ ፈሳሲ፣ ተፈጥሮኣዊን ናይ ብሓቂ መስተጋብራዊን ተመኩሮታት AI ንምፍጣር እቲ እንኮ ዝዓበየ ዕንቅፋት እዩ። ሕመረት ናይቲ ጸገም ኣብ ስነ ህንጻ ​​ናይቶም ሞዴላት ባዕሎም እዩ ዝርከብ። LLMs ጽሑፍ ቶከን ብቶከን ይፈጥሩ፣ ነፍሲ ወከፍ ሓድሽ ቃል ኣብ ምሉእ እቲ ቅድሚኡ ዝመጸ ቅደም ተኸተል ይምርኮስ። እዚ ተኸታታሊ ባህሪ’ዚ ሓያል እኳ እንተኾነ፡ ብስሌታዊ መዳይ ጽዑቕን ብባህሪኡ ቀስ ዝበለን እዩ። ትካላት ንግዲ AI ኣብ ሓቀኛ ግዜ መተግበሪታት ከም ኣገልግሎት ዓማዊል ቻትቦት፣ ቀጥታዊ ትርጉም፣ ወይ መስተጋብራዊ ትንታነታት ንምውህሃድ ኣብ ዝጽዕሩሉ ዘለዉ እዋን፣ እዚ ምድንጓይ ቴክኒካዊ ፍልጠት ንምድላይ ጥራይ ዘይኮነስ ወሳኒ ናይ ንግዲ ጸገም ይኸውን።

ውሕሉል ኣቋራጭ መንገዲ፡ ስፔኩላቲቭ ዲኮዲንግ ከመይ ይሰርሕ

Speculative Decoding (SD) ነዚ ተኸታታሊ ዕንቅፋት ንምስባር ዝተዳለወ ብልሓት ዘለዎ ሜላ ኮይኑ፡ መሰረታዊ ስነ ህንጻ ወይ ጽሬት ውጽኢት ናይቲ ሞዴል ከይቀየረ እዩ። እቲ ቀንዲ ሓሳብ "ረቂቕ" ሞዴል ብምጥቃም ሓጺር ቅደም ተኸተል ቶከናት ብቕልጡፍ ንምፍጣርን "ዕላማ" ሞዴል (እቲ ዝያዳ ሓያልን ዝሓሰረን LLM) ንልክዕነት ናይቲ ረቂቕ ብሓደ፡ ምዕራባዊ ስጉምቲ ንምርግጋጽ እዩ።

ኣብ’ዚ ዝተቐለለ ምብትታን ናይ’ቲ መስርሕ ኣሎ፡

ዝብል ጽሑፍ ኣሎ።
• The Draft Phase: A small, fast model (the draft model) quickly generates several candidate tokens—a speculative draft of what the response might be.
• ምዕራፍ ምርግጋጽ፡ እቲ ቀዳማይ፡ ዕላማ ዝኾነ LLM ነዚ ምሉእ ረቂቕ መስርዕ ወሲዱ ብሓደ ግዜ የሰላስሎ። ኣብ ክንዲ ሓደስቲ ቶከናት ዘመንጩ፡ ኣብቲ ረቂቕ ዘሎ ነፍሲ ወከፍ ቶከን ቅኑዕ ክኸውን ዘለዎ ተኽእሎ ንምሕሳብ ንቕድሚት ምሕላፍ ይፍጽም።
• ምዕራፍ ተቐባልነት፡ እቲ ዕላማ ዝገበረ ሞዴል ካብቲ ረቂቕ ዝነውሐ ቅኑዕ ቅድመ-ጥብቆ ይቕበል። እቲ ረቂቕ ፍጹም እንተዝኸውን ነይሩ፡ ብናይ ሓደ ስሌታዊ ዋጋ ብዙሓት ቶከናት ትረክብ። እቲ ረቂቕ ብኸፊል ጌጋ እንተኾይኑ፡ እቲ ዕላማ ሞዴል ካብቲ ናይ ጌጋ ነጥቢ ጥራይ እዩ ዝሕደስ፡ ሕጂ’ውን ግዜ ይቑጥብ።

ብመሰረቱ፡ ስፔኩላቲቭ ዲኮዲንግ፡ ነቲ ዝዓበየ ሞዴል፡ ነቲ ናይ መጀመርታን ቅልጡፍን ግምት ንምግባር፡ ንእሽቶ ሞዴል ብምጥቃም "ዝቐልጠፈ ክሓስብ" የኽእሎ። እዚ ኣገባብ እዚ ኣብ ናይ ምድምዳም ግዜ ካብ 2x ክሳብ 3x ምቅልጣፍ ከስዕብ ይኽእል፣ እዚ ድማ ልዑል ጽሬት ዘለዎ AI ብኣግባቡ ዝያዳ ምላሽ ዝህብ ዝገብሮ ድራማዊ ምምሕያሽ እዩ።

ናይ ንግዲ መተግበሪታት ብዝቐልጠፈ AI ምቕያር

ምጉዳል AI latency ዘለዎ ጽልዋ ንንግዳዊ ስርሓት ዓሚቝ እዩ። ፍጥነት ብቐጥታ ናብ ብቕዓት፣ ምቑጣብ ወጻኢታትን ዝተመሓየሸ ተመኩሮ ተጠቃሚን ይትርጎም።

ንሓደ AI ሓባራዊ ፓይሎት ዝጥቀም ወኪል ደገፍ ዓማዊል ኣብ ግምት ኣእቱ። ምስ መደበኛ LLM ላቴንሲ፡ እቲ ወኪል ድሕሪ ነፍሲ ወከፍ ሕቶ ደው ክብል ኣለዎ፡ እዚ ድማ ስቲልትድ ዕላል ይፈጥር። ምስ ስፔኩላቲቭ ዲኮዲንግ፡ ሓሳባት ናይ AI ዳርጋ ብቕጽበት ይረኣዩ፡ እዚ ድማ እቲ ወኪል ምስቲ ዓሚል ተፈጥሮኣዊ ዋሕዚ ክሕሉን ጉዳያት ብቕልጡፍ ክፈትሕን የኽእሎ። ኣብ ቀጥታዊ ኣገልግሎት ትርጉም፡ እቲ ዝነከየ ምድንጓይ፡ ዕላላት ኣብ ዳርጋ ኣብ ሓቀኛ ግዜ ክፍጸም ይኽእል ማለት እዩ፡ እዚ ድማ ካብ ዝኾነ እዋን ንላዕሊ ንዝነበረ ናይ ቋንቋ ዕንቅፋታት ብዝያዳ ውጽኢታዊ መንገዲ ይፈርስ ማለት እዩ።

ግምታዊ ዲኮዲንግ ንAI ቅልጡፍ ምግባር ጥራይ ኣይኮነን፤ ፍጥነት ንምውሳድ ቅድመ ኩነት ዝኾነሉ ዋሕዚ ስራሕ ደቂ ሰባት ብዘይ ገለ ጸገም ክውሃሃድ ምግባር እዩ።

ብAI ዝሰርሑ ኣፕሊኬሽናት ንዝሃንጹ ዲቨሎፐራት እዚ ምቅልጣፍ ማለት ኣብ ነፍሲ ወከፍ ሕቶ ዝወሓደ ወጻኢታት ምሕሳብ ማለት እዩ፣ እዚ ድማ ንዝያዳ ተጠቀምቲ ብተመሳሳሊ ትሕተ ቅርጺ ከገልግሉ ወይ ድማ ተዛማዲ ወሰኽ ናይ ምድንጓይ ከይተራእየ ዝያዳ ዝተሓላለኸ ናይ AI ባህርያት ከቕርቡ የኽእሎም። ኣብዚ እዩ ከም መዋይዝ ዝኣመሰለ መድረኽ ወሳኒ ዝኸውን። መዋይዝ ኩባንያታት ነዞም ምዕቡላት ሜላታት AI ኣብቲ ዝጸንሐ ዋሕዚ ስራሐን ብዘይ ጻዕሪ ንኽውሃሃድ ዘኽእለን ሞዱላር ቢዝነስ ኦኤስ የቕርብ። ነቲ መሰረታዊ ዝተሓላለኸ ነገር ብምርሓቕ፡ መዋይዝ፡ ትካላት ንግዲ ካብ ኣውቶማቲክ ምፍራይ ጸብጻብ ክሳብ ኣብ ሓቀኛ ግዜ ትንተና ዳታ ንኹሉ ዝቐልጠፈ መደምደምታ ክጥቀሙ የኽእሎም፡ እዚ ድማ AI ምላሽ ዝህብ መሻርኽቲ እምበር ድኹም ዕንቅፋት ከምዘይኮነ የረጋግጽ።

መጻኢ ቅልጡፍ እዩ: ዝተቐላጠፈ መደምደምታ ምሕቋፍ

Speculative Decoding ኣብ ከመይ ጌርና ንAI inference ንቐርቦ ዓቢ ለውጢ ይውክል። ጥረ ሞዴል ስፍሓት እቲ እንኮ መንገዲ ዓቕሚ ከምዘይኮነ ዘርኢ እዩ፤ ብቕዓትን ውሕሉል ምህንድስናን ማዕረ ማዕሪኡ ኣገደስቲ እዮም። መጽናዕቲ እናቐጸለ ምስ ከደ፡ ምናልባት ዝያዳ ዝተራቐቐ ረቂቕ ኣገባባት ብምጥቃም ወይ ኣብ ማልቲሞዳል ሞዴላት ብምትግባር፡ ዝያዳ ምዕቡል ፍልልያት ናይዚ ሜላ ክንርኢ ትጽቢት ክንገብር ንኽእል ኢና።

እቲ ንዝያዳ ሓያል AI ዝግበር ውድድር ሕጂ ምስቲ ቅልጡፍ AI ዝግበር ውድድር ብዘይፍለ መንገዲ ዝተኣሳሰር እዩ። ከም ስፔኩላቲቭ ዲኮዲንግ ዝኣመሰሉ ሜላታት፡ ኣብ ግብራዊ፡ ግዜ ዝስምዖም ከባቢታት ምሉእ ዓቕሚ ዓበይቲ ሞዴላት ክንጥቀመሉ ከም እንኽእል የረጋግጹ። ንቕድሚት ዝሓስቡ ትካላት ንግዲ፡ ነዞም ቴክኖሎጂታት ምቕባል ድሕሪ ሕጂ ኣማራጺ ኣይኮነን፤ ቅልጡፍ፡ በሊሕን ብሓቂ መስተጋብራዊን ስርዓታት ንምፍጣር ተወዳዳሪ ኣድላይነት እዩ። ነዞም ምህዞታት ንምብጻሕ ቀዳምነት ዝህቡን ዘቃልሉን መድረኻት፡ ከም መዋይዝ፡ ንቐጻሊ ወለዶ ብAI ዝምራሕ ንግዳዊ መተግበሪታት ኣብ ምሕያል ኣብ ቅድሚት ክኾኑ እዮም።

ብተደጋጋሚ ዝሕተቱ ሕቶታት

ዕንቅፋት ጀነሬቲቭ ኤ.ኣይ

ጀነሬቲቭ ኤኣይ ሞዴላት ብናይ ምጽሓፍን ኮድን ምፍጣርን ዓቕሞም ንዓለም ማሪኾም ኣለዉ። ይኹን እምበር፡ ዝዀነ ይኹን ምስ ሓደ ዓቢ ሞዴል ቋንቋ (LLM) ዝራኸብ ሰብ፡ እቲ ዚሕብር ምድንጓይ ኣጋጢምዎ እዩ፣ እዚ ኸኣ ኣብ መንጎ ምልኣኽ ምልክት ምልኣኽን ቀዳሞት ሒደት ቃላት መልሲ ምቕባልን ዘሎ ዕረፍቲ እዩ። እዚ ምድንጓይ እዚ ፈሳሲ፣ ተፈጥሮኣዊን ናይ ብሓቂ መስተጋብራዊን ተመኩሮታት AI ንምፍጣር እቲ እንኮ ዝዓበየ ዕንቅፋት እዩ። ሕመረት ናይቲ ጸገም ኣብ ስነ ህንጻ ​​ናይቶም ሞዴላት ባዕሎም እዩ ዝርከብ። LLMs ጽሑፍ ቶከን ብቶከን ይፈጥሩ፣ ነፍሲ ወከፍ ሓድሽ ቃል ኣብ ምሉእ እቲ ቅድሚኡ ዝመጸ ቅደም ተኸተል ይምርኮስ። እዚ ተኸታታሊ ባህሪ’ዚ ሓያል እኳ እንተኾነ፡ ብስሌታዊ መዳይ ጽዑቕን ብባህሪኡ ቀስ ዝበለን እዩ። ትካላት ንግዲ AI ኣብ ሓቀኛ ግዜ መተግበሪታት ከም ኣገልግሎት ዓማዊል ቻትቦት፣ ቀጥታዊ ትርጉም፣ ወይ መስተጋብራዊ ትንታነታት ንምውህሃድ ኣብ ዝጽዕሩሉ ዘለዉ እዋን፣ እዚ ምድንጓይ ቴክኒካዊ ፍልጠት ንምድላይ ጥራይ ዘይኮነስ ወሳኒ ናይ ንግዲ ጸገም ይኸውን።

ውሕሉል ኣቋራጭ መንገዲ፡ ስፔኩላቲቭ ዲኮዲንግ ከመይ ይሰርሕ

Speculative Decoding (SD) ነዚ ተኸታታሊ ዕንቅፋት ንምስባር ዝተዳለወ ብልሓት ዘለዎ ሜላ ኮይኑ፡ መሰረታዊ ስነ ህንጻ ወይ ጽሬት ውጽኢት ናይቲ ሞዴል ከይቀየረ እዩ። እቲ ቀንዲ ሓሳብ "ረቂቕ" ሞዴል ብምጥቃም ሓጺር ቅደም ተኸተል ቶከናት ብቕልጡፍ ንምፍጣርን "ዕላማ" ሞዴል (እቲ ዝያዳ ሓያልን ዝሓሰረን LLM) ንልክዕነት ናይቲ ረቂቕ ብሓደ፡ ምዕራባዊ ስጉምቲ ንምርግጋጽ እዩ።

ናይ ንግዲ መተግበሪታት ብዝቐልጠፈ AI ምቕያር

ምጉዳል AI latency ዘለዎ ጽልዋ ንንግዳዊ ስርሓት ዓሚቝ እዩ። ፍጥነት ብቐጥታ ናብ ብቕዓት፣ ምቑጣብ ወጻኢታትን ዝተመሓየሸ ተመኩሮ ተጠቃሚን ይትርጎም።

መጻኢ ቅልጡፍ እዩ: ዝተቐላጠፈ መደምደምታ ምሕቋፍ

Speculative Decoding ኣብ ከመይ ጌርና ንAI inference ንቐርቦ ዓቢ ለውጢ ይውክል። ጥረ ሞዴል ስፍሓት እቲ እንኮ መንገዲ ዓቕሚ ከምዘይኮነ ዘርኢ እዩ፤ ብቕዓትን ውሕሉል ምህንድስናን ማዕረ ማዕሪኡ ኣገደስቲ እዮም። መጽናዕቲ እናቐጸለ ምስ ከደ፡ ምናልባት ዝያዳ ዝተራቐቐ ረቂቕ ኣገባባት ብምጥቃም ወይ ኣብ ማልቲሞዳል ሞዴላት ብምትግባር፡ ዝያዳ ምዕቡል ፍልልያት ናይዚ ሜላ ክንርኢ ትጽቢት ክንገብር ንኽእል ኢና።