BitNet: Nutsotso ƒe ɖoɖo na 1-bit LLMwo

BitNet: Gbugbɔgaɖe Dɔwɔwɔ Nyuie ƒe Liƒo na Gbegbɔgblɔ Gãwo ƒe Kpɔɖeŋuwo

Gbegbɔgblɔ Gãwo ƒe Kpɔɖeŋu (LLM) siwo lolo wu, siwo te ŋu wɔa dɔ wu ƒe duɖimekekea dze mɔxenu vevi aɖe dzi: akɔntabubu ƒe gazazã. Behemoth siawo zazã hena nutsotso—si nye nuŋɔŋlɔwo wɔwɔ ƒe mɔnu—bia ŋusẽ gbogbo aɖe kple xɔtunu xɔasi siwo de ŋgɔ. Esia hea mɔxenu vɛ na asitsalawo be woagage ɖe eme o eye wòxea mɔ na AI ƒe ɖekawɔwɔ si keke ta, si le ɣeyiɣi ŋutɔŋutɔ me. Ge ɖe BitNet me, xɔtuɖaŋu yeye si to vovo si doa kplamatse nɔnɔme si li to nutsotso wɔwɔ kple kpɔɖeŋu siwo zãa bit 1 pɛ ko le parameter ɖesiaɖe me. Esia menye kpɔɖeŋu siwo li fifia ƒe nutete o; eku ɖe wo tutu le mɔ bubu nu tso gɔmedzedzea me be woawɔ dɔ nyuie ŋutɔ, si aʋu ʋɔtru na AI si ŋu woate ŋu aɖo, si wɔa dɔ nyuie ƒe ɣeyiɣi yeye aɖe. Le mɔ̃ si le abe Mewayz ene, si le dzidzedze kpɔm le asitsatsa ƒe dɔwɔnu sẽŋuwo wɔwɔ be woanye esiwo woate ŋu awɔ le mɔ vovovowo nu eye woate ŋu akpɔ wo gbɔ gome la, nusiwo AI si wɔa dɔ nyuie alea fia la goglo, si fia be etsɔme si me woate ŋu atsɔ gbegbɔgblɔ gɔmesese deŋgɔ ade dɔwɔwɔ ɖesiaɖe me bɔbɔe evɔ xɔtuɖaŋu ƒe kuxi si do ƒome kplii manɔmee.

Nu yeye Vevitɔ: Tso Bit 16 dzi va ɖo Bit ɖeka dzi

LLM xoxowo, abe GPT-4 alo Llama ene, zãa 16-bit (FP16) alo gɔ̃ hã ƒe nyateƒetoto si lolo wu gɔ̃ hã na woƒe parameters (kpekpeme siwo ɖea model la ƒe sidzedze gɔme). BitNet zãa mɔnu si to vovo kura. Wotrɔ asi le eƒe xɔtuɖaŋu ŋu tso gɔmedzedzea me ke be wòatsi tre ɖi na nɔnɔme siawo to bit 1 ko zazã me—le nyateƒe me la, +1 alo -1. Nu eve ƒe nɔnɔmetata sia ɖea kpɔɖeŋua ƒe ŋkuɖodzinu ƒe afɔti dzi kpɔtɔna ɖe ɖoɖo nu. Vevietɔ wu la, etrɔa dɔwɔwɔ si me akɔntabubu sesẽ wu le LLMwo me, si nye matriki ƒe dzidziɖedzi, tso akɔntabubu sesẽ si le tsia dzi me va zua xexlẽdzesi blibo bɔbɔe si sɔ na xɔtunuwo. Tɔtrɔ siae nye nu vevitɔ na BitNet ƒe dɔwɔwɔ nyuie, si hea ɣeyiɣi didi kple ŋusẽzazã dzi ɖena kpɔtɔna ŋutɔ le nutsotso me, esime woléa hoʋiʋli ƒe dɔwɔwɔ me ɖe asi le gbegbɔgblɔ ƒe dɔwo me.

Nusi wòfia na Asitsatsa ƒe Dɔwɔwɔ kple Eƒe Dzidziɖedzi

Viɖe ŋutɔŋutɔ siwo le 1-bit inference me nye tɔtrɔ na asitsatsa ƒe dɔwɔwɔwo. Gbã la, eɖea mɔ̃memi ƒe mɔxenu la dzi kpɔtɔna ŋutɔ. BitNet ƒe kpɔɖeŋuwo ateŋu awɔ dɔ nyuie le GPU siwo sɔ na nuƒlelawo alo edge devices gɔ̃ hã dzi, si ɖea ŋuɖoɖo ɖe AI accelerators siwo mebɔ o, siwo ƒe asi sẽ ŋu dzi kpɔtɔna. Evelia, ŋusẽ si wodzrana ɖo la lolo ŋutɔ, eye wòwɔ ɖeka kple dɔwɔƒewo ƒe taɖodzinu siwo ku ɖe nusiwo li tegbee ŋu. Etɔ̃lia, ɣeyiɣi si wotsɔ nɔa anyi ɣeyiɣi si dzi ɖe kpɔtɔ la wɔnɛ be woate ŋu awɔ kadodo le ɣeyiɣi ŋutɔŋutɔ me vavã, si le vevie ŋutɔ na asisiwo ƒe dɔwɔƒe ƒe chatbots, nyatakaka siwo le agbe, alo nyatakakawo me dzodzro enumake. Le dɔwɔɖoɖo abe Mewayz ene gome la, dɔwɔwɔ nyuie sia sɔ nyuie. Bu eŋu kpɔ be yetsɔ AI ƒe kpeɖeŋutɔ sẽŋu aɖe si nya nu tso nya siwo ƒo xlãe ŋu la ade module ɖesiaɖe me—tso CRM dzi va ɖo dɔa dzikpɔkpɔ dzi—si wɔa dɔ le ɣeyiɣi ŋutɔŋutɔ me evɔ magblẽ ɖoɖoa me alo adzi alilikpo me gazazãwo ɖe dzi o. BitNet ƒe xɔtuɖaŋu na AI ƒe ƒoƒo ɖekae si keke ta, si woate ŋu atrɔ asi le ƒe ɖoɖo sia nye nu ŋutɔŋutɔ si woate ŋu akpɔ kple ŋku.

• Gazazãwo Dzi Ðeɖe Akpɔtɔ Kpata: Eɖea alilikpo me akɔntabubu kple ŋusẽ ƒe fewo dzi kpɔtɔna va ɖoa 90% hena nutsotso.
• Nu ƒe Mɔɖeɖe si Wodo Ðe Ŋgɔ: Enaa woate ŋu awɔ dɔ le xɔtunu vovovowo dzi, tso nyatakakadzraɖoƒewo dzi va ɖo edge dɔwɔnuwo dzi.
• Superior Latency: Eɖoa ŋuɖoɖo ɣeyiɣi siwo le kabakaba wu gbɔ, si wɔnɛ be AI dɔwɔɖoɖo siwo le ɣeyiɣi ŋutɔŋutɔ me te ŋu wɔa dɔ.
• AI si li tegbee: Eɖea carbon footprint si le AI ƒe kpɔɖeŋu gãwo ƒe duƒuƒu me dzi kpɔtɔna ŋutɔ.

Etsɔme ƒe Nɔnɔme kple Ðekawɔwɔ Kple Nuƒolanɔƒewo Abe Mewayz

BitNet tsi tre ɖi na nu geɖe wu mɔ̃ɖaŋununya ƒe ŋgɔyiyi ko; efia be tɔtrɔ aɖe va le alesi míetua AI hezãnɛ me. Esi ɖoɖoa le tsitsim la, míate ŋu akpɔ mɔ na lãwo ƒe agbenɔnɔ ƒe ɖoɖo yeye si me kpɔɖeŋu siwo wɔa dɔ nyuie ŋutɔ siwo wowɔ na asitsatsa ƒe dɔ tɔxɛwo. Esia sɔ pɛpɛpɛ kple Mewayz ƒe xexemenunya si nye modular. Le esi teƒe be AI si ƒe lolome sɔ na amewo katã nazã nunɔamesi gbogbo aɖewo la, asitsalawo ateŋu awɔ modules tɔxɛwo, siwo ŋu BitNet-ŋusẽ le, hena senyawo me toto, asitsatsa ƒe kɔpi wɔwɔ, alo mɔ̃ɖaŋununya ƒe kpekpeɖeŋu, eye wo dometɔ ɖesiaɖe nawɔ dɔ nyuie wu le eƒe akpa si woɖo ɖi na OS la me.

Ʋuʋu yi 1-bit LLMwo abe BitNet ene gbɔ menye afɔɖeɖe si dzina ɖe edzi le kpɔɖeŋu ƒe dɔwɔwɔ nyuie me ko o; enye gɔmeɖoanyi ƒe tɔtrɔ si afia alesi míate ŋu atsɔ AI deŋgɔwo ade dɔwɔwɔ me kple afisi míate ŋu awɔ dɔ le. Ehea ŋusẽ si le kpɔɖeŋu gãwo ŋu tso hyperscale cloud me yia gbesiagbe asitsatsa ƒe xɔtuɖoɖowo ƒe nuto ŋutɔŋutɔ me.

Le nyataƒoƒo me la, BitNet le mɔɖeɖedɔa wɔm le mɔ aɖe si yi ɖe AI si li tegbee eye wòle afisiafi gbɔ. To LLM la gbugbɔgatu hena 1-bit nutsotso me la, ekpɔa kuxi vevi siwo ƒo xlã gazazã, duƒuƒu, kple alesi woate ŋu akpɔe gbɔ. Le asitsamɔnu siwo wotsɔ wɔ ɖekae gome la, esiae nye nu vevitɔ si ana woaʋu AI ƒe ƒoƒo ɖekae si me goglo, si me kuxi aɖeke mele o, eye wònye agbanɔamedzi. Etsɔme si Mewayz kpɔ le susu me—afisi nuwo wɔwɔ le wo ɖokui si si me nunya le nye asitsatsa ƒe dɔwɔna ɖesiaɖe ƒe akpa si wowɔna le wo ɖokui si, si wɔa dɔ nyuie, eye wowɔa nu ɖe ɖoɖo nu—la kabakaba to ŋgɔyiyiwo abe BitNet ene me, si hea AI sẽŋu tso numekukuwɔƒea vaa dɔwɔƒe ɖesiaɖe si tẽ.

Nyabiase Siwo Wobiana Enuenu

BitNet: Gbugbɔgaɖe Dɔwɔwɔ Nyuie ƒe Liƒo na Gbegbɔgblɔ Gãwo ƒe Kpɔɖeŋu

Gbegbɔgblɔ Gãwo ƒe Kpɔɖeŋu (LLM) siwo lolo wu, siwo te ŋu wɔa dɔ wu ƒe duɖimekekea dze mɔxenu vevi aɖe dzi: akɔntabubu ƒe gazazã. Behemoth siawo zazã hena nutsotso—si nye nuŋɔŋlɔwo wɔwɔ ƒe mɔnu—bia ŋusẽ gbogbo aɖe kple xɔtunu xɔasi siwo de ŋgɔ. Esia hea mɔxenu vɛ na asitsalawo be woagage ɖe eme o eye wòxea mɔ na AI ƒe ɖekawɔwɔ si keke ta, si le ɣeyiɣi ŋutɔŋutɔ me. Ge ɖe BitNet me, xɔtuɖaŋu yeye si to vovo si doa kplamatse nɔnɔme si li to nutsotso wɔwɔ kple kpɔɖeŋu siwo zãa bit 1 pɛ ko le parameter ɖesiaɖe me. Esia menye kpɔɖeŋu siwo li fifia ƒe nutete o; eku ɖe wo tutu le mɔ bubu nu tso gɔmedzedzea me be woawɔ dɔ nyuie ŋutɔ, si aʋu ʋɔtru na AI si ŋu woate ŋu aɖo, si wɔa dɔ nyuie ƒe ɣeyiɣi yeye aɖe. Le mɔ̃ si le abe Mewayz ene, si le dzidzedze kpɔm le asitsatsa ƒe dɔwɔnu sẽŋuwo wɔwɔ be woanye esiwo woate ŋu awɔ le mɔ vovovowo nu eye woate ŋu akpɔ wo gbɔ gome la, nusiwo AI si wɔa dɔ nyuie alea fia la goglo, si fia be etsɔme si me woate ŋu atsɔ gbegbɔgblɔ gɔmesese deŋgɔ ade dɔwɔwɔ ɖesiaɖe me bɔbɔe evɔ xɔtuɖaŋu ƒe kuxi si do ƒome kplii manɔmee.

Nu yeye Vevitɔ: Tso Bit 16 dzi va ɖo Bit ɖeka dzi

LLM xoxowo, abe GPT-4 alo Llama ene, zãa 16-bit (FP16) alo gɔ̃ hã ƒe nyateƒetoto si lolo wu gɔ̃ hã na woƒe parameters (kpekpeme siwo ɖea model la ƒe sidzedze gɔme). BitNet zãa mɔnu si to vovo kura. Wotrɔ asi le eƒe xɔtuɖaŋu ŋu tso gɔmedzedzea me ke be wòatsi tre ɖi na nɔnɔme siawo to bit 1 ko zazã me—le nyateƒe me la, +1 alo -1. Nu eve ƒe nɔnɔmetata sia ɖea kpɔɖeŋua ƒe ŋkuɖodzinu ƒe afɔti dzi kpɔtɔna ɖe ɖoɖo nu. Vevietɔ wu la, etrɔa dɔwɔwɔ si me akɔntabubu sesẽ wu le LLMwo me, si nye matriki ƒe dzidziɖedzi, tso akɔntabubu sesẽ si le tsia dzi me va zua xexlẽdzesi blibo bɔbɔe si sɔ na xɔtunuwo. Tɔtrɔ siae nye nu vevitɔ na BitNet ƒe dɔwɔwɔ nyuie, si hea ɣeyiɣi didi kple ŋusẽzazã dzi ɖena kpɔtɔna ŋutɔ le nutsotso me, esime woléa hoʋiʋli ƒe dɔwɔwɔ me ɖe asi le gbegbɔgblɔ ƒe dɔwo me.

Nusi wòfia na Asitsatsa ƒe Dɔwɔwɔ kple Eƒe Dzidziɖedzi

Viɖe ŋutɔŋutɔ siwo le 1-bit inference me nye tɔtrɔ na asitsatsa ƒe dɔwɔwɔwo. Gbã la, eɖea mɔ̃memi ƒe mɔxenu la dzi kpɔtɔna ŋutɔ. BitNet ƒe kpɔɖeŋuwo ateŋu awɔ dɔ nyuie le GPU siwo sɔ na nuƒlelawo alo edge devices gɔ̃ hã dzi, si ɖea ŋuɖoɖo ɖe AI accelerators siwo mebɔ o, siwo ƒe asi sẽ ŋu dzi kpɔtɔna. Evelia, ŋusẽ si wodzrana ɖo la lolo ŋutɔ, eye wòwɔ ɖeka kple dɔwɔƒewo ƒe taɖodzinu siwo ku ɖe nusiwo li tegbee ŋu. Etɔ̃lia, ɣeyiɣi si wotsɔ nɔa anyi ɣeyiɣi si dzi ɖe kpɔtɔ la wɔnɛ be woate ŋu awɔ kadodo le ɣeyiɣi ŋutɔŋutɔ me vavã, si le vevie ŋutɔ na asisiwo ƒe dɔwɔƒe ƒe chatbots, nyatakaka siwo le agbe, alo nyatakakawo me dzodzro enumake. Le dɔwɔɖoɖo abe Mewayz ene gome la, dɔwɔwɔ nyuie sia sɔ nyuie. Bu eŋu kpɔ be yetsɔ AI ƒe kpeɖeŋutɔ sẽŋu aɖe si nya nu tso nya siwo ƒo xlãe ŋu la ade module ɖesiaɖe me—tso CRM dzi va ɖo dɔa dzikpɔkpɔ dzi—si wɔa dɔ le ɣeyiɣi ŋutɔŋutɔ me evɔ magblẽ ɖoɖoa me alo adzi alilikpo me gazazãwo ɖe dzi o. BitNet ƒe xɔtuɖaŋu na AI ƒe ƒoƒo ɖekae si keke ta, si woate ŋu atrɔ asi le ƒe ɖoɖo sia nye nu ŋutɔŋutɔ si woate ŋu akpɔ kple ŋku.

Etsɔme ƒe Nɔnɔme kple Ðekawɔwɔ Kple Nuƒolanɔƒewo Abe Mewayz

BitNet tsi tre ɖi na nu geɖe wu mɔ̃ɖaŋununya ƒe ŋgɔyiyi ko; efia be tɔtrɔ aɖe va le alesi míetua AI hezãnɛ me. Esi ɖoɖoa le tsitsim la, míate ŋu akpɔ mɔ na lãwo ƒe agbenɔnɔ ƒe ɖoɖo yeye si me kpɔɖeŋu siwo wɔa dɔ nyuie ŋutɔ siwo wowɔ na asitsatsa ƒe dɔ tɔxɛwo. Esia sɔ pɛpɛpɛ kple Mewayz ƒe xexemenunya si nye modular. Le esi teƒe be AI si ƒe lolome sɔ na amewo katã nazã nunɔamesi gbogbo aɖewo la, asitsalawo ateŋu awɔ modules tɔxɛwo, siwo ŋu BitNet-ŋusẽ le, hena senyawo me toto, asitsatsa ƒe kɔpi wɔwɔ, alo mɔ̃ɖaŋununya ƒe kpekpeɖeŋu, eye wo dometɔ ɖesiaɖe nawɔ dɔ nyuie wu le eƒe akpa si woɖo ɖi na OS la me.