Tri sloja keš memorije između Select i Disk

Kada vaša aplikacija pokrene naredbu SELECT, taj upit gotovo nikada ne dotiče rotirajući disk ili čak sirovu flash memoriju – prolazi kroz tri različita sloja keša koji tiho određuju da li vaš odgovor stiže u mikrosekundama ili milisekundama. Razumijevanje ovih slojeva je razlika između poslovne platforme koja se skalira bez napora i one koja se savija pod opterećenjem u stvarnom svijetu.

Šta se događa u trenutku kada SELECT upit napusti vašu aplikaciju?

U trenutku kada vaša aplikacija pošalje upit SELECT, ona ulazi u cjevovod koji većina programera nikada ne pregleda. Mehanizam baze podataka presreće zahtjev prije nego što se pojavi bilo kakav I/O, raščlanjujući SQL u interni plan izvršenja i odmah konsultujući njegovu prvu liniju odbrane: keš rezultata upita. Ako je identičan upit sa identičnim parametrima nedavno izvršen, mašina može vratiti keširani skup rezultata bez dodirivanja niti jedne stranice podataka. Ovo se ponekad naziva keš memorija upita ili predmemorija rezultata, a na radnim opterećenjima sa velikim brojem čitanja i malim brojem pisanja – poput nadzornih ploča za analizu i modula za izvještavanje – može u potpunosti eliminirati veliku većinu čitanja diska.

Kritični uvid ovdje je da je keš upita vrlo osjetljiv na mutacije podataka. Bilo koji INSERT, UPDATE ili DELETE prema osnovnoj tabeli poništava relevantne keširane rezultate. To je razlog zašto transakcioni sistemi s teškim pisanjem često u potpunosti onemogućuju keš memoriju upita i umjesto toga se oslanjaju na dublje slojeve.

Šta je pufer bafera i zašto je važniji nego što mislite?

Drugi sloj keš memorije — i vjerovatno najvažniji u proizvodnim sistemima — je bafer bafera (nazvan zajednički bafer u PostgreSQL-u, InnoDB bafer bafera u MySQL-u). Ovo je regija RAM-a koju mehanizam baze podataka koristi za držanje stranica s podacima kojima se nedavno pristupilo. Kada se upit ne može poslužiti iz predmemorije rezultata, mašina provjerava jesu li tražene stranice podataka već rezidentne u spremištu međuspremnika prije nego što izda bilo kakvo čitanje diska.

Spremnik bafera radi na principu vremenske i prostorne lokacije: podacima kojima je nedavno pristupljeno vjerovatno će se ponovo pristupiti, a podacima koji su pohranjeni u blizini podataka kojima je pristupano vjerovatno će se pristupiti uskoro. Administratori baze podataka podešavaju veličinu spremišta međuspremnika kao jednu od konfiguracijskih odluka s najvećim utjecajem koje donose. Suviše mali međuspremnik uzrokuje konstantno izbacivanje stranica, stvarajući fenomen koji se zove razbijanje, gdje sistem provodi više vremena upravljajući promašajima keša nego izvršavanjem upita.

Ključni uvid: U većini OLTP radnih opterećenja, spremište međuspremnika dobre veličine znači da se 95–99% svih čitanja podataka poslužuje iz RAM-a. Radni skup — podskup vaših podataka koji upiti zapravo često dodiruju — često je daleko manji od ukupne veličine baze podataka. Određivanje veličine vašeg bafera tako da odgovara vašem radnom skupu, a ne cijelom vašem skupu podataka, jedina je radnja podešavanja s najvećim povratom koju možete poduzeti.

Kako keš operativnog sistema popunjava prazninu između RAM-a i diska?

Čak i kada vlastito spremište međuspremnika baze podataka propusti, upit još nije predodređen za istinsko čitanje diska. Operativni sistem održava keš memoriju stranica (koji se naziva i keš sistema datoteka), regiju RAM-a kojim upravlja kernel koji baferuje čitanje i pisanje na blokirane uređaje. Kada mehanizam baze podataka zatraži stranicu koja je odsutna iz svog spremišta međuspremnika, OS kernel provjerava vlastitu keš memoriju stranica prije izdavanja fizičke I/O komande kontroleru pohrane.

Ovaj treći sloj je uglavnom nevidljiv za programere aplikacija, ali je izuzetno važan na sistemima u kojima je bafer bafera nedovoljno obezbeđen. Predmemorija OS stranice se dijeli na svim procesima, tako da se takmiči s vašim poslužiteljem aplikacija, web serverom i bilo kojim drugim softverom koji radi na istom hostu. Na namenskim serverima baza podataka, ova konkurencija je minimalna, a keš OS obezbeđuje značajan bafer druge šanse. Na dijeljenim hostovima ili kontejnerima sa strogim ograničenjima memorije, OS keš memorija je često premala da bi pomogla.

Koji sloj keš memorije je odgovoran za najviše pobjeda u performansama u praksi?

U stvarnim proizvodnim sistemima, pufer bafera dominira rezultatima performansi sa velikom razlikom. Evo zašto svaki sloj doprinosi različito u različitim slučajevima upotrebe:

• Predmemorija rezultata upita: Najveća korist od čitanja teških, uglavnom statičnih skupova podataka — upiti za izvještavanje, keširane kontrolne ploče, krajnje tačke javnog sadržaja. Beskorisno na tablicama koje su teške za pisanje.
• Međuspremnik baze podataka: Univerzalni radni konj. Svaki proizvodni server baze podataka treba ovdje prvo podesiti. Efikasno rukuje i slučajnim i sekvencijalnim obrascima pristupa.
• Keš OS stranice: Pruža sigurnosnu mrežu kada je spremište međuspremnika premalo. Takođe značajno pomaže tokom sekvencijalnog skeniranja velikih tabela koje bi inače izbacile vruće stranice iz bafera.
• Keš kontrolera za pohranu (hardverski sloj): Četvrti, često zanemaren sloj — NVMe SSD-ovi i RAID kontroleri održavaju ugrađene keš memorije za upisivanje s rezervnom baterijom ili kondenzatorom. Ovo štiti trajnost bez žrtvovanja protoka pisanja na račun kašnjenja fsync.
• Keš aplikacionog sloja (Redis, Memcached): Smješten je u potpunosti iznad baze podataka, keširajući rezultate serijaliziranih upita ili izračunate objekte kako bi se uopće izbjeglo udaranje u bazu podataka — idealno za SaaS platforme sa više zakupaca koje opslužuju hiljade istovremenih korisnika.

Kako moderne poslovne platforme mogu iskoristiti arhitekturu keš memorije za pouzdanost na velikom nivou?

Za preduzeća koja posluju preko mnogih funkcionalnih modula — CRM, upravljanje projektima, e-trgovina, analitika — arhitektura keš memorije direktno određuje odziv platforme kako timovi rastu. Platforme izgrađene na dobro slojevitoj strategiji keša mogu poslužiti desetinama hiljada istovremenih korisnika bez proporcionalnih troškova infrastrukture. Ključ je u dizajniranju obrazaca pristupa podacima koji poštuju granice predmemorije: održavanje vrućih podataka malim, a obrasci pristupa predvidljivim, korištenje replika čitanja za distribuciju opterećenja bafera i pozicioniranje keša sloja aplikacije kao što je Redis ispred baze podataka za krajnje točke koje opslužuju identične podatke većem broju korisnika istovremeno.

Mewayz je dizajniran upravo s ovom filozofijom na umu. Sa 207 integrisanih poslovnih modula koji napajaju preko 138.000 korisnika, sloj podataka platforme je dizajniran tako da se ogromna većina čitanja servira iz keš memorije – održavajući vrijeme odgovora brzim i infrastrukturne troškove predvidljivim bilo da koristite početni plan od 19 USD mjesečno ili profesionalni nivo od 49 USD mjesečno.

Često postavljana pitanja

Da li onemogućavanje keš memorije upita uvijek poboljšava performanse baze podataka?

Ne uvijek, ali za radna opterećenja teška pisanja obično radi. Keširanje upita zahtijeva globalni mutex za održavanje konzistentnosti, što postaje usko grlo pod visokom konkurentnošću. MySQL 8.0 je u potpunosti uklonio predmemoriju upita iz ovog razloga. PostgreSQL nikada nije implementirao ugrađenu keš memoriju upita, oslanjajući se umjesto toga na keširanje bafera i sloja aplikacije. Ako je vaš omjer čitanja i pisanja visok i vaši upiti se vrlo ponavljaju, keš upita može donijeti stvarne dobitke - u suprotnom, uložite taj napor za podešavanje u bafer bafera.

Kako da znam da li je moj bafer bafera pravilno veličine?

Pratite svoj omjer pogodaka spremišta međuspremnika: postotak zahtjeva stranica koje se poslužuju iz spremišta u odnosu na one koji zahtijevaju čitanje diska. Omjer pogodaka ispod 95% na OLTP radnom opterećenju je signal za povećanje veličine skupa. U MySQL-u postavite upit SHOW ENGINE INNODB STATUS i pogledajte stopu pogodaka bafera. U PostgreSQL-u, prikaz pg_statio_user_tables izlaže hrpu blokova koji se čitaju sa diska u odnosu na servirane iz bafera. Nastojte da cijeli vaš radni set - ne cijeli skup podataka - ostane u RAM-u.

Kakav je odnos između slojeva keš memorije i pouzdanosti SaaS-a za više korisnika?

U SaaS-u sa više zakupaca, slojevi keš memorije sprječavaju probleme "bučnog susjeda" gdje veliko opterećenje upita jednog zakupca smanjuje performanse za sve ostale zakupce. Keširanje aplikacija svjesno zakupca s poništavanjem valjanosti zasnovano na TTL-u čuva vruće podatke po zakupcu u Redis-u, drastično smanjujući pritisak bafera s velikih računa. Objedinjavanje veze na nivou baze podataka u kombinaciji sa toplim baferom osigurava da burst aktivnost s bilo kojeg pojedinačnog računa ne isprazni dijeljene stranice iz keš memorije i izazove skokove kašnjenja na platformi.

Slojevi keš memorije nisu trivijalnosti baze podataka – oni su arhitektonski temelj koji razdvaja platforme koje ostaju brze u razmjeru od onih koje zahtijevaju konstantno gašenje infrastrukture. Ako gradite ili vodite posao kojem je potrebna platforma koja je već optimizirana za ove realnosti, istražite Mewayz na app.mewayz.com — 207 modula, jednu koherentnu platformu, izgrađenu da pouzdano radi od vašeg prvog korisnika do vašeg stotisućnjaka.