Terabájt CI-naplót adtunk egy LLM-nek

A rejtett aranybánya a CI-vezetékben

Minden mérnöki csapat generálja ezeket. Sorok milliói, minden egyes nap – időbélyegek, veremnyomok, függőségi feloldások, teszteredmények, összeállítási műtermékek és rejtélyes hibaüzenetek, amelyek gyorsabban gördülnek el, mint bárki el tudja olvasni. A CI-naplók a modern szoftverfejlesztés kipufogógázai, és a legtöbb szervezetnél pontosan úgy kezelik őket, mint a kipufogót: raktárba engedik, és elfelejtik. De mi lenne, ha ezek a naplók olyan mintákat tartalmaznának, amelyek előre jelezhetik a meghibásodásokat, mielőtt azok megtörténnének, azonosítják azokat a szűk keresztmetszeteket, amelyek negyedévente több száz órába kerülnek a csapatnak, és olyan rendszerproblémákat tárnak fel, amelyeket egyetlen mérnök sem lát? Úgy döntöttünk, hogy kiderítjük, terabájtnyi CI-naplóadatot betáplálunk egy nagy nyelvi modellbe – és amit felfedeztünk, az teljesen megváltoztatta a DevOpsról alkotott véleményünket.

Miért a CI-naplók a leginkább alulhasznosított adatok a szoftverfejlesztésben?

Vegye figyelembe a puszta mennyiséget. Egy közepes méretű mérnöki csapat, amely napi 200 buildet futtat több tárolóban, naponta nagyjából 2-4 GB nyers naplóadatot generál. Több mint egy év alatt ez több mint egy terabájtnyi strukturált és félig strukturált szöveget jelent, amely rögzíti az összes fordítást, minden tesztcsomag-végrehajtást, minden telepítési lépést és minden hibaüzemmódot, amellyel a rendszer valaha találkozott. Ez egy teljes régészeti feljegyzés a mérnöki szervezet termelékenységéről – és szinte senki sem olvassa el.

A probléma nem az, hogy az adatoknak nincs értéke. Arról van szó, hogy a jel-zaj arány brutális. Egy tipikus CI-futás több ezer sornyi kimenetet produkál, és ezek közül a sorok közül talán 3-5 tartalmaz használható információkat. A mérnökök megtanulják beolvasni a piros szöveget, a grep-et a „FAILED”-re, és továbblépni. De a leginkább számító minták – a minden kedden kudarcos teszt, a függőség, amely 40 másodpercet ad minden összeállításhoz, a memóriaszivárgás, amely csak akkor jelenik meg, ha három meghatározott szolgáltatás fut egyidejűleg – ezek a minták láthatatlanok az egyes naplók szintjén. Csak nagy léptékben jelennek meg.

A hagyományos naplóelemző eszközök, például az ELK-veremek és a Datadog összesíthetik a mutatókat és felszínre hozhatják a kulcsszóegyezéseket, de megküzdenek a CI-kimenet szemantikai összetettségével. A „kapcsolat megtagadva az 5432-es porton” és a „VÉGZETES: jelszóhitelesítés sikertelen a felhasználói „telepítéshez” üzenetet tartalmazó összeállítási hibaüzenet egyaránt adatbázissal kapcsolatos hiba, de teljesen eltérő kiváltó okok és megoldások. Ennek a megkülönböztetésnek a megértéséhez olyan kontextuális érvelésre van szükség, amelyet egészen a közelmúltig csak az emberek tudtak biztosítani.

A kísérlet: 3,2 terabájt építési előzmény betáplálása egy LLM-be

A beállítás egyszerű volt az elgondolásban és rémálomszerű kivitelezésben. 14 hónapnyi CI-naplót gyűjtöttünk egy több mint 138 000 felhasználót kiszolgáló platformról – több szolgáltatásra, környezetre és telepítési célpontra kiterjedő építményeket lefedve. A nyers adatkészlet 3,2 terabájtot tett ki: körülbelül 847 millió egyedi naplósor, amely 1,6 millió CI-folyamat futtatását öleli fel. Feldaraboltuk, beágyaztuk és indexeltük ezeket az adatokat, majd felépítettünk egy lekéréssel bővített generációs (RAG) folyamatot, amely megválaszolhatja az építési történetünkkel kapcsolatos természetes nyelvi kérdéseket.

Az első kihívás az előfeldolgozás volt. A CI-naplók nem tiszta szövegek. ANSI színkódokat, önmagukat felülíró folyamatjelző sávokat, bináris műtermék-ellenőrző összegeket és időbélyegeket tartalmaznak legalább négy különböző formátumban, attól függően, hogy melyik eszköz hozta létre őket. Három hetet töltöttünk csak a normalizálással – a zaj eltávolításával, az időbélyegek szabványosításával és az egyes naplószegmensek metaadatokkal való megcímkézésével arról, hogy melyik folyamatszakaszhoz, adattárhoz, ághoz és környezethez tartozik.

A második kihívás a költség volt. A terabájtnyi szöveg feletti következtetés lefuttatása nem olcsó, még az agresszív darabolási és visszakeresési optimalizálással sem. Csak az első hónapban jelentős számítási jóváírásokat égettünk el, főleg azért, mert kezdeti megközelítésünk túl naiv volt – túl sok kontextust küldtünk lekérdezésenként, és nem voltunk elég szelektívek a releváns naplószegmensek tekintetében. A második hónap végére csökkentettük a lekérdezésenkénti költségeket

Frequently Asked Questions

Can LLMs really find useful patterns in CI logs?

Absolutely. Large language models excel at identifying recurring patterns across massive unstructured text. When pointed at terabytes of CI logs, they can surface failure correlations, flaky test signatures, and dependency conflicts that human engineers would never catch manually. The key is structuring the ingestion pipeline correctly so the model receives properly chunked, contextually rich log segments rather than raw noise.

What types of CI failures can be predicted using log analysis?

LLM-driven log analysis can predict infrastructure-related timeouts, recurring dependency resolution failures, memory-bound build crashes, and flaky tests triggered by specific code paths. It also identifies slow-creeping regressions where build times gradually increase over weeks. Teams using this approach typically catch cascading failure patterns two to three sprints before they become blocking incidents in production deployments.

How much CI log data do you need before analysis becomes valuable?

Meaningful patterns typically emerge after analyzing 30 to 90 days of continuous pipeline history across multiple branches. Smaller datasets yield surface-level insights, but the real value comes from cross-referencing thousands of build runs. For teams managing complex workflows alongside their CI pipelines, platforms like Mewayz offer 207 integrated modules starting at $19/mo to centralize operational data at app.mewayz.com.

Is feeding CI logs to an LLM a security risk?

It can be if handled carelessly. CI logs often contain environment variables, API keys, internal URLs, and infrastructure details. Before processing logs through any LLM, you must implement robust redaction pipelines that strip secrets, credentials, and personally identifiable information. Self-hosted or on-premise model deployments significantly reduce exposure compared to sending raw logs to third-party cloud-based inference endpoints.

Related Posts

• HN megjelenítése: Sgai – Célvezérelt többügynök szoftverfejlesztő (GOAL.md → működő kód)
• Expozíció-szimulátor
• A GLM5 megjelent a Z.ai platformon
• A telefonok beállítása egy rémálom