Hacker News

ኤልኤልኤም ኣርኪቴክቸር ጋለሪ

ርእይቶታት

1 min read Via sebastianraschka.com

Mewayz Team

Editorial Team

Hacker News
<ኣካል>

ኪኖ ጸሊም ሳንዱቕ፡ ዑደት ኣብ ቤተ መዘክር ስነ ህንጻ ኤል.ኤል.ኤም

ዓበይቲ ሞዴላት ቋንቋ (LLMs) ካብ ቤተ-ፈተነታት ምርምር ናብ ሕመረት ስትራተጂ ንግዲ ተሰጋጊሮም እዮም፣ ገና ውሽጣዊ ኣሰራርሓኦም መብዛሕትኡ ግዜ ምስጢራዊ ጸሊም ሳንዱቕ ይመስል። ነዚ ለውጢ ዘምጽእ ቴክኖሎጂ ክጥቀሙሉ ንዝደልዩ መራሕቲ ቢዝነስን ዲቨሎፐራትን፡ "ከመይ" ምርዳእ ልክዕ ከምቲ "እንታይ" ወሳኒ እዩ። ናብ LLM Architecture Gallery ክንረግጽ ግዜኡ በጺሑ ኣሎ-ዘመናዊ AI ሓይሊ ዝህቡ መሰረታዊ ፕላን እንርእየሉ ዝተዳለወ ቦታ። ካብቲ ውቁብ ቅልልነት ናይ ኣውቶሪግረሲቭ ሞዴላት ክሳብ ዝተሓላለኸ ምኽንያት ናይ ወኪል ስርዓታት፡ ነፍሲ ወከፍ ስነ ህንጻዊ ምርጫ ዝተፈላለየ ዓቕምን ተኽእሎ ዘለዎ ኣተገባብራን ይውክል። ልክዕ ከምቲ ከም መዋይዝ ዝኣመሰለ ሞዱላር ቢዝነስ ኦፐሬቲንግ ሲስተም ንዝበለጸ ብቕዓት ዋሕዚ ስራሕ ዝሃንጽ፡ ስነ ህንጻ ናይ ሓደ LLM ጥንካረታቱ፡ ድኽመታቱን ናይ መወዳእታ ምስ ድሌታት ትካልካ ዝሰማማዕን ይውስን።

እቲ ብሉጽ ስራሕ፡ ትራንስፎርመር ፋውንዴሽን

ነፍሲ ወከፍ ዑደት በቲ እምነ ኩርናዕ ቁራጽ እዩ ዝጅምር: ስነ ህንጻ ትራንስፎርመር። እዚ ኣብ 2017 ዝተኣታተወ ሞዴል፡ ንባህላዊ ተኸታታሊ መስርሕ ገዲፉ "ርእሰ-ኣቓልቦ" ዝብል ኣገባብ ኣካይዱ። ንሓደ ጸብጻብ ቃል ብቓል ኣብ ክንዲ ዘንብብ፡ ኣብ መንጎ ነፍሲ ወከፍ ቃል ኣብ ነፍሲ ወከፍ ሓረግ ብሓንሳብ ዘሎ ርክብ ብቕጽበት ክርኢን ክመዝንን ዝኽእል ተንታኒ እሞ ሕሰብ። እዚ ምዕራባዊ መስርሕ እዚ፡ ትራንስፎርመርስ ዓውድን ንኡሳን ነገራትን ብዘይተራእየ ደረጃ ክሕዝዎ የኽእሎም፡ እዚ ድማ ሰብ ዝመስል ጽሑፍ ኣብ ምርዳእን ምፍራይን ንፉዓት ይገብሮም። ኩሎም ዘመናውያን LLMs-ካብ GPT-4 ክሳብ ክላውድን ኪኖኡን- ዘርኢ ናይዚ መሰረታዊ ዲዛይን እዮም። ኣብ ልዕሊ ዓበይቲ ዳታሴታት ኣብ ስልጠና ዘለዎ ብቕዓት እዩ ሎሚ ሓያላትን ሓፈሻዊ ዕላማ ዘለዎምን ሞዴላት ዘለና።

ፍሉያት ክንፊ፡ ንፍሉያት ዕማማት ዝኸውን ፍልልያት ስነ ህንጻ

ካብቲ መሰረት ትራንስፎርመር ወጻኢ እናተጓዕዘ፡ እቲ ጋለሪ ናብ ፍሉያት ክንፊ ይጨንፈር። ኣብዚ፡ ምትዕርራይ ስነ ህንጻ ​​ንፍሉይ ዕላማታት ዝተመቻቸዉ ሞዴላት ይፈጥር። እቲ ኢንኮደር-ጥራሕ ስነ-ህንጻ (ከም BERT) ንዓሚቝ ርድኢት ዝተዳለወ እዩ-ንከም ትንተና ስምዒት ወይ ምደባ ትሕዝቶ ዝኣመሰሉ ዕማማት "ንባብ" ቁልፊ ዝኾነሉ ፍጹም እዩ። እቲ ዲኮደር-ጥራሕ ስነ-ህንጻ (ከም GPT series) ኣብ ወለዶ ይበልጽ፣ ነቲ ዝቕጽል ቃል ብተኸታታሊ ይግምት ኢመይላት፣ ኮድ ወይ ፈጠራዊ ቅዳሕ ንምጽሓፍ። ኣብ መወዳእታ፡ ኢንኮደር-ዲኮደር ሞዴላት (ከም T5) እቶም ዋና ተርጐምትን ኣጠቓልልን ኮይኖም፡ ንሓደ እታው ብምስራሕ ዝተጸረየ ውጽኢት የፍርዩ። ቅኑዕ ሞዴል ምምራጽ ኣብ መዋይዝ ትኽክለኛ ሞዱል ምምራጽ ዝመሳሰል እዩ-እቲ ንስራሕ ዝተዳለወ ፍሉይ መሳርሒ ትዝርግሖ፣ ትኽክለኛነትን ኣፈጻጽማን የረጋግጽ።

እቲ መስተጋብራዊ ምርኢት፡ ወኪላውን ብዙሕ ሞዳላውን ስርዓታት

እቲ ኣዝዩ ዳይናሚክ ክፋል ናይ ጋለሪና ናይ መወዳእታ ፍልቀት ዝሓዘ እዩ: LLMs ከም ንበይኖም ሞተር መልሲ ዘይኮነስ ከም ወኪላት ምኽንያት ኣብ ውሽጢ ዓበይቲ ስርዓታት። ኣጀንቲክ ኣርኪቴክቸር ንመሳርሒታት (ከም ካልኩሌተራት ወይ ኤፒኣይ ምድላይ) ክውጥን፣ ክፍጽም ዝኽእልን ኣብ ውጽኢት ተመርኲሱ ክደጋግም ዝኽእልን LLM ኮር ዘጠቓልል እዩ። እዚ ድማ ንሓደ ናይ ዕላል ሞዴል ናብ ዝተሓላለኸን ብዙሕ ደረጃታት ዘለዎን ዋሕዚ ስራሕ ክዛዝም ዝኽእል ርእሰ-ምምሕዳር ዘለዎ ኦፕሬተር ይቕይሮ። ጎኒ ጎኒ እዚ፡ ብዙሕ-ሞዳል ስነ-ህንጻታት ነቲ ጽሑፍ ጥራይ ዝምልከት ዕንቅፋት ብምስባር፡ ስእላዊ፡ ሓደ ሓደ ግዜ ድማ ንሰማዒ፡ መስርሕ ናብ ሓደ ሞዴል ብምውህሃድ። እዚ ድማ ምስልታት ንምግላጽ፡ ሰንጠረዥ ንምትንታን ወይ ድማ ኣብ መላእ ቅርጽታት ትሕዝቶ ንምፍራይ የኽእል። ንኸም በዓል መዋይዝ ዝኣመሰለ መድረኽ፡ እዞም ስነ-ህንጻታት ብፍላይ ኣገደስቲ እዮም፡ ምኽንያቱ ነቲ ሞዱላዊ፡ ንሓድሕዱ ዝተኣሳሰርን ዋሕዚ ስራሕ-ኣውቶማቲክን መትከላት ናይ ዘመናዊ ንግዳዊ ኦኤስ ዘንጸባርቑ ኮይኖም፡ ሓደ ወኪል AI ኣብ መንጎ ትንተና ዳታ፡ ርክብን ምሕደራ ዕማምን ብዘይ ገለ ጸገም ክኸይድ ይኽእል።

<ብሎክኮት> ዝብል ጽሑፍ ኣሎ። "ኣርኪቴክቸር ናይ ሓደ ኤልኤልኤም ቴክኒካዊ ስፔክ ጥራይ ኣይኮነን፤ ዲኤንኤ ናይ ብልሓቱ እዩ፡ እንታይ ክግንዘብ ከም ዝኽእል፡ ብኸመይ ምኽንያት ከም ዝገብርን ኣብ መወዳእታ ንንግድኻ እንታይ ዓይነት ጸገማት ክፈትሕ ከም ዝኽእልን ዝገልጽ እዩ።" ዝብል ጽሑፍ ኣሎ።

ምሕላው ስታክካ: ስነ ህንጻ ምስ ኣተገባብራ ይራኸብ

ነዞም ፕላን ምርዳእ ቀዳማይ ስጉምቲ እዩ። እቲ ዝቕጽል ውህደት እዩ። LLMs ብዓወት ንምትግባር ካብቲ ሞዴል ንላዕሊ ኣብ ግምት ዘእተወ ስትራተጂካዊ ኣገባብ የድሊ። ቁልፊ ኣብ ግምት ዝኣትዉ ነገራት፡

    ዝብል ጽሑፍ ኣሎ።
  • Latency vs. Accuracy: ኣብ ሓቀኛ ግዜ ዝመጽእ መልሲ የድልየካ ድዩ ወይስ ዕምቆት ትንተና ልዕሊ ኩሉ እዩ?
  • ውጽኢታዊነት ወጻኢታት፡ ንእሽቶን ብደቂቕ ዝተመዓራረየን ሞዴል ንፍሉይ ኣጠቓቕማኻ ካብ ሓደ ዓቢ ሓፈሻዊ ክኢላ ክበልጽ ይኽእል ድዩ?
  • ድሕነት ዳታን ብሕታዊነትን: ኣብ ኤፒኣይ ዝተመርኮሰ ሞዴላት ክትጥቀም ዲኻ ወይስ ብውልቂ ከተአንግድ?
  • ኦርኬስትሬሽን፡ LLM ምስቶም ዘለዉ ዳታቤዛትካ፡ ኤፒኣይን ናይ ተጠቃሚ መተሓላለፍቲኻን ብኸመይ ክራኸብ እዩ?
ዝብል ጽሑፍ ኣሎ።

ኣብዚ እዩ ውሁድ መድረኽ ወሳኒ ዝኸውን። ከም መዋይዝ ዝኣመሰለ ሞዱላር ቢዝነስ ኦኤስ ነዞም ናይ ስነ ህንጻ ​​ምርጫታት ንምዝርጋሕ ምቹእ ካንቫስ ይህብ። ዝተፈላለዩ ዓቕምታት LLM ከም ንሓድሕዶም ዝሰርሑ ኣገልግሎታት ክትሕዞም የኽእለካ-ንሓንቲ ህሞት ንትንተና ርድኢት ዓማዊል ምኽንያት ዝህብ ወኪል ምእታው፡ ኣብ ዝቕጽል ድማ ንደገፍ ዲቨሎፐር ዝኸውን ሞዴል ኮድ-ወለዶ-ኩሉ ኣብ ውሽጢ ውሑስ፣ ዝተዋደደን ኦዲት ዝግበረሉን ሃዋህው ናይቲ ቀንዲ ንግዳዊ ስርሓትካ። እቲ ዕላማ ነቲ ዝዓበየ ሞዴል ምህዳድ ዘይኮነስ፡ ንፍሉይ ብድሆታትካ ዝበለጸ በሊሕ፡ ስሉጥን ውጽኢታውን AI-augmented workflow ምትእኽኻብ እዩ።

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →
ዝብል ጽሑፍ ኣሎ።

ብተደጋጋሚ ዝሕተቱ ሕቶታት

ኪኖ ጸሊም ሳንዱቕ፡ ዑደት ኣብ ቤተ መዘክር ስነ ህንጻ ኤል.ኤል.ኤም

ዓበይቲ ሞዴላት ቋንቋ (LLMs) ካብ ቤተ-ፈተነታት ምርምር ናብ ሕመረት ስትራተጂ ንግዲ ተሰጋጊሮም እዮም፣ ገና ውሽጣዊ ኣሰራርሓኦም መብዛሕትኡ ግዜ ምስጢራዊ ጸሊም ሳንዱቕ ይመስል። ነዚ ለውጢ ዘምጽእ ቴክኖሎጂ ክጥቀሙሉ ንዝደልዩ መራሕቲ ቢዝነስን ዲቨሎፐራትን፡ "ከመይ" ምርዳእ ልክዕ ከምቲ "እንታይ" ወሳኒ እዩ። ናብ LLM Architecture Gallery ክንረግጽ ግዜኡ በጺሑ ኣሎ-ዘመናዊ AI ሓይሊ ዝህቡ መሰረታዊ ፕላን እንርእየሉ ዝተዳለወ ቦታ። ካብቲ ውቁብ ቅልልነት ናይ ኣውቶሪግረሲቭ ሞዴላት ክሳብ ዝተሓላለኸ ምኽንያት ናይ ወኪል ስርዓታት፡ ነፍሲ ወከፍ ስነ ህንጻዊ ምርጫ ዝተፈላለየ ዓቕምን ተኽእሎ ዘለዎ ኣተገባብራን ይውክል። ልክዕ ከምቲ ከም መዋይዝ ዝኣመሰለ ሞዱላር ቢዝነስ ኦፐሬቲንግ ሲስተም ንዝበለጸ ብቕዓት ዋሕዚ ስራሕ ዝሃንጽ፡ ስነ ህንጻ ናይ ሓደ LLM ጥንካረታቱ፡ ድኽመታቱን ናይ መወዳእታ ምስ ድሌታት ትካልካ ዝሰማማዕን ይውስን።

እቲ ብሉጽ ስራሕ፡ ትራንስፎርመር ፋውንዴሽን

ነፍሲ ወከፍ ዑደት በቲ እምነ ኩርናዕ ቁራጽ እዩ ዝጅምር: ስነ ህንጻ ትራንስፎርመር። እዚ ኣብ 2017 ዝተኣታተወ ሞዴል፡ ንባህላዊ ተኸታታሊ መስርሕ ገዲፉ "ርእሰ-ኣቓልቦ" ዝብል ኣገባብ ኣካይዱ። ንሓደ ጸብጻብ ቃል ብቓል ኣብ ክንዲ ዘንብብ፡ ኣብ መንጎ ነፍሲ ወከፍ ቃል ኣብ ነፍሲ ወከፍ ሓረግ ብሓንሳብ ዘሎ ርክብ ብቕጽበት ክርኢን ክመዝንን ዝኽእል ተንታኒ እሞ ሕሰብ። እዚ ምዕራባዊ መስርሕ እዚ፡ ትራንስፎርመርስ ዓውድን ንኡሳን ነገራትን ብዘይተራእየ ደረጃ ክሕዝዎ የኽእሎም፡ እዚ ድማ ሰብ ዝመስል ጽሑፍ ኣብ ምርዳእን ምፍራይን ንፉዓት ይገብሮም። ኩሎም ዘመናውያን LLMs-ካብ GPT-4 ክሳብ ክላውድን ኪኖኡን- ዘርኢ ናይዚ መሰረታዊ ዲዛይን እዮም። ኣብ ልዕሊ ዓበይቲ ዳታሴታት ኣብ ስልጠና ዘለዎ ብቕዓት እዩ ሎሚ ሓያላትን ሓፈሻዊ ዕላማ ዘለዎምን ሞዴላት ዘለና።

ፍሉያት ክንፊ፡ ንፍሉያት ዕማማት ዝኸውን ፍልልያት ስነ ህንጻ

ካብቲ መሰረት ትራንስፎርመር ወጻኢ እናተጓዕዘ፡ እቲ ጋለሪ ናብ ፍሉያት ክንፊ ይጨንፈር። ኣብዚ፡ ምትዕርራይ ስነ ህንጻ ​​ንፍሉይ ዕላማታት ዝተመቻቸዉ ሞዴላት ይፈጥር። እቲ Encoder-Only ዝበሃል ስነ ህንጻ ​​(ከም BERT) ንዓሚቕ ርድኢት ዝተዳለወ እዩ-ንከም ትንተና ስምዒት ወይ ምደባ ትሕዝቶ ዝኣመሰሉ ዕማማት "ንባብ" ቁልፊ ዝኾነሉ ፍጹም እዩ። እቲ ዲኮደር-ኦንሊ ዝበሃል ስነ ህንጻ ​​(ከም GPT series) ኣብ ወለዶ ይበልጽ፣ ነቲ ዝቕጽል ቃል ብተኸታታሊ ይግምት ኢመይል፣ ኮድ ወይ ፈጠራዊ ቅዳሕ ንምጽሓፍ። ኣብ መወዳእታ፡ ሞዴላት ኢንኮደር-ዲኮደር (ከም T5) እቶም ማስተር ተርጐምትን ኣጠቓልልን ኮይኖም፡ ንሓደ እታው ብምስራሕ ዝተጸረየ ውጽኢት የፍርዩ። ቅኑዕ ሞዴል ምምራጽ ኣብ መዋይዝ ትኽክለኛ ሞዱል ምምራጽ ዝመሳሰል እዩ-እቲ ንስራሕ ዝተዳለወ ፍሉይ መሳርሒ ትዝርግሖ፣ ትኽክለኛነትን ኣፈጻጽማን የረጋግጽ።

እቲ መስተጋብራዊ ምርኢት፡ ወኪላውን ብዙሕ ሞዳላውን ስርዓታት

እቲ ኣዝዩ ዳይናሚክ ክፋል ናይ ጋለሪና ናይ መወዳእታ ፍልቀት ዝሓዘ እዩ: LLMs ከም ንበይኖም ሞተር መልሲ ዘይኮነስ ከም ወኪላት ምኽንያት ኣብ ውሽጢ ዓበይቲ ስርዓታት። ኤጀንቲክ ኣርኪቴክቸር ንውጥን ክውጥን፣ መሳርሒታት (ከም ካልኩሌተራት ወይ ሰርች ኤፒኣይ) ክሰርሕ ዝኽእል፣ ከምኡ’ውን ኣብ ውጽኢት ተመርኲሱ ክደጋገም ዝኽእል LLM ኮር ዘጠቓልል እዩ። እዚ ድማ ንሓደ ናይ ዕላል ሞዴል ናብ ዝተሓላለኸን ብዙሕ ደረጃታት ዘለዎን ዋሕዚ ስራሕ ክዛዝም ዝኽእል ርእሰ-ምምሕዳር ዘለዎ ኦፕሬተር ይቕይሮ። ጎኒ ጎኒ እዚ፡ ማልቲ-ሞዳል ኣርኪቴክቸርስ ነቲ ጽሑፍ ጥራይ ዝምልከት ዕንቅፋት ብምስባር፡ ስእላዊ፡ ሓደ ሓደ ግዜ ድማ ንሰማዒ፡ መስርሕ ናብ ሓደ ሞዴል የወሃህድ። እዚ ድማ ምስልታት ንምግላጽ፡ ሰንጠረዥ ንምትንታን ወይ ድማ ኣብ መላእ ቅርጽታት ትሕዝቶ ንምፍራይ የኽእል። ንኸም በዓል መዋይዝ ዝኣመሰለ መድረኽ፡ እዞም ስነ-ህንጻታት ብፍላይ ኣገደስቲ እዮም፡ ምኽንያቱ ነቲ ሞዱላዊ፡ ንሓድሕዱ ዝተኣሳሰርን ዋሕዚ ስራሕ-ኣውቶማቲክን መትከላት ናይ ዘመናዊ ንግዳዊ ኦኤስ ዘንጸባርቑ ኮይኖም፡ ሓደ ወኪል AI ኣብ መንጎ ትንተና ዳታ፡ ርክብን ምሕደራ ዕማምን ብዘይ ገለ ጸገም ክኸይድ ይኽእል።

ምሕላው ስታክካ: ስነ ህንጻ ምስ ኣተገባብራ ይራኸብ

ነዞም ፕላን ምርዳእ ቀዳማይ ስጉምቲ እዩ። እቲ ዝቕጽል ውህደት እዩ። LLMs ብዓወት ንምትግባር ካብቲ ሞዴል ንላዕሊ ኣብ ግምት ዘእተወ ስትራተጂካዊ ኣገባብ የድሊ። ቁልፊ ኣብ ግምት ዝኣትዉ ነገራት፡

ሎሚ ናይ ቢዝነስ ኦኤስካ ሃንጽ

ካብ ነጻ ሞያውያን ክሳብ ትካላት፡ መዋይዝ ን138,000+ ትካላት ንግዲ ብ208 ዝተዋሃሃዱ ሞዱላት ሓይሊ ይህብ። ብነጻ ጀምር፣ ምስ ዓበኻ ኣዕብዮ።

ነጻ ኣካውንት ምፍጣር →
ዝብል ጽሑፍ ኣሎ።