--- title: KV Cache - jak wykorzystać kluczowy mechanizm LLM w pracy programisty description: Odkryj, jak wykorzystać KV Cache w modelach LLM, aby zwiększyć efektywność pracy i obniżyć koszty za tokeny w projektach programistycznych. image: https://tech.univio.com/hubfs/KV%20Cache%20cover-1.png --- [Przejdź do treści](https://tech.univio.com/pl/kv-cache-jak-wykorzysta%C4%87-kluczowy-mechanizm-llm-w-pracy-programist#main-content) [![tech\_univio\_blog\_COLOR+BLACK](https://tech.univio.com/hs-fs/hubfs/tech_univio_blog_COLOR+BLACK.png?width=850&height=300&name=tech_univio_blog_COLOR+BLACK.png)](https://tech.univio.com/pl) - [GitHub](https://github.com/Univio-Tech) - [EN \>](https://tech.univio.com/leveraging-kv-cache-for-efficient-programming-with-llms) ![](https://tech.univio.com/hubfs/raw_assets/public/univio-tech-blog/images/icons/search.svg) Szukaj na blogu - Brak sugerowanych wyników, ponieważ pole wyszukiwania jest puste. # KV Cache - jak wykorzystać kluczowy mechanizm LLM w pracy programisty W tym artykule dowiesz się 1. Jak LLM zapamiętuje kontekst? 2. Czy cache jest dostępny w każdym modelu? 3. Jak praktycznie można wykorzystać wiedzę o KV cache? 4. Jak KV Cache wpływa na koszty za tokeny 5. Testy potwierdzające działanie KV cache 6. Mechanizm jest ukryty, ale masz wpływ na to jak działa – wnioski Cache to pojęcie znane każdemu programiście – przechowujemy wynik operacji, żeby nie trzeba było liczyć go od nowa przy kolejnym zapytaniu. Podobny mechanizm, z równie dobrym skutkiem, działa w modelach językowych. Odpowiednikiem pamięci podręcznej w świecie LLM-ów jest KV Cache (Key Value Cache). Jest to mechanizm działający w tle, ale jego zrozumienie pozwala efektywniej i taniej korzystać z modeli. ## **Jak LLM zapamiętuje kontekst?** Na początek trochę teorii. Gdy nasze zapytanie trafia do LLM-a opartego na architekturze transformera, przechodzi przez dwie główne fazy (opis dotyczy modeli działających na GPU): Faza I: Prefill Polega na przetworzeniu całego zapytania wejściowego z wykorzystaniem mocy GPU. W tej fazie dla każdego tokena zapisywane są w pamięci stany klucz-wartość (KV). Mówiąc w uproszczeniu: K (Key) odpowiada na pytanie, co reprezentuje dany token, a V (Value) – jaką niesie treść. Pamięć wykorzystywana do tego procesu to VRAM karty graficznej. Przetwarzanie w tej fazie odbywa się równolegle. Faza II: Decoding To etap, w którym model generuje odpowiedź, tworząc nowe tokeny jeden po drugim. Podczas generacji model sięga do zaalokowanej wcześniej pamięci VRAM, aby odczytać pary KV. Widać tu wyraźną różnicę w charakterystyce pracy: pierwsza faza (prefill) jest mocno GPU-bound, natomiast druga (decoding) – memory-bound. Aby to zobrazować, spójrzmy na poniższy schemat zapisu i odczytu: [![uproszczony schemat konwersacji z modelem](https://tech.univio.com/hs-fs/hubfs/Gemini_Generated_Image_uuuqajuuuqajuuuq.jpeg?width=1365&height=768&name=Gemini_Generated_Image_uuuqajuuuqajuuuq.jpeg)](https://tech.univio.com/hubfs/Gemini_Generated_Image_uuuqajuuuqajuuuq.jpeg?hsLang=pl) Powyższy rysunek przedstawia uproszczony schemat konwersacji z modelem. W pierwszej turze model musi przetworzyć w fazie prefill wszystkie tokeny, zapisując je następnie do KV Cache. W drugiej turze zaczyna pracę od tokena numer 5, a wcześniejszą konwersację (razem ze swoimi własnymi odpowiedziami) pobiera bezpośrednio z pamięci. ## Czy cache jest dostępny w każdym modelu? KV Cache to stały element każdego systemu LLM bazującego na Transformers. Sterowanie nim jest możliwe, jednak zależy od sposobu korzystania z modelu. - Przez API: gdy sami konstruujemy system prompt, tool calls i user prompt, - Przez gotowe frameworki agentowe: takie jak np. Claude Code. Każdy z dostawców modeli językowych w inny sposób umożliwia kontrolę. Przykładem jest Anthropic – odpytując ich modele bezpośrednio przez API, możemy przekazać parametr cache\_control i jawnie wskazać, które bloki kontekstu mają zostać zapamiętane. Daje to znacznie bardziej granularną kontrolę niż korzystanie z gotowych narzutów agentowych. [![KV Cache cover](https://tech.univio.com/hs-fs/hubfs/KV%20Cache%20cover.png?width=605&height=235&name=KV%20Cache%20cover.png)](https://tech.univio.com/hubfs/KV%20Cache%20cover.png?hsLang=pl) \[Kod pokazujący prompt caching z wykorzystaniem Anthropic API block-level caching. Źródło: https://platform.claude.com/docs/en/build-with-claude/prompt-caching\] ## Jak praktycznie można wykorzystać wiedzę o KV cache? Przeanalizujmy to na przykładzie narzędzia Claude Code i tworzenia własnego harnessu. Okno kontekstu (context window) przekazywane przy każdym zapytaniu składa się z trzech głównych części: 1. System prompt – główne instrukcje oraz definicje narzędzi (tools), 2. Kontekst projektu – plik CLAUDE.md i reguły projektowe, 3. Historia konwersacji – najbardziej dynamiczna część. Każda z tych części ma inny cykl życia. W idealnej sytuacji wszystko musiałoby być statyczne, wtedy przy kolejnym odczycie dostalibyśmy 100% cache hit. W praktyce jest to niemożliwe – historia konwersacji zawsze rośnie dopisywanie.  Dlatego kluczowe jest to, aby warstwa systemowa i projektowa zmieniały się jak najrzadziej (były statyczne). Należy unikać umieszczania w nich danych dynamicznych, takich jak znacznik czasu (timestamp) czy dynamicznie generowanej struktury katalogów. Każda zmiana w tej części promptu automatycznie unieważnia (invalidate) cały zarejestrowany cache.  - - Nie tylko nasze zapytania mogą wywołać wyzerowanie cache, ale też konkretne akcje w środowisku: - Zmiana modelu lub poziomu myślenia (Effort level), - Dodanie lub usunięcie serwerów MCP (zmiana definicji narzędzi w części systemowej), - Włączanie/wyłączanie wtyczek (plugins), - Wywołanie komend /clear lub /compact (przeładowują instrukcje projektowe), - Przesyłanie dużych załączników (obrazy, PDF-y), które przekraczają limity dostawcy. Warto też zwrócić uwagę na to, jak cache działa między sesjami na jednej maszynie. Sesje działające w ramach tej samej ścieżki (directory) współdzielą ten sam cache. Jeżeli korzystamy z subagentów, każdy z nich posiada własny, odizolowany cache – nie wpływa on na rodzica (agenta nadrzędnego) ani z niego nie dziedziczy. Dopiero instrukcja /fork pozwala jawnie skopiować cache rodzica do nowego subagenta.  Cache ma również swój liftime. Dłuższa przerwa w odpytywaniu skutkuje jego zwolnieniem z pamięci dostawcy. Czas ten określa parametr TTL (Time To Live) – w zależności od dostawcy i poziomu subskrypcji wynosi on zazwyczaj od 5 minut do 1 godziny.  ## Jak KV Cache wpływa na koszty za tokeny Architektura pamięci przekłada się bezpośrednio na rachunki za API. Stawka za pierwsze wywołanie (pełny prefill bez cache hit) jest wyższa niż za kolejne zapytania trafiające w cache.  [![Obraz2 artykuł](https://tech.univio.com/hs-fs/hubfs/Obraz2%20artyku%C5%82.png?width=907&height=214&name=Obraz2%20artyku%C5%82.png)](https://tech.univio.com/hubfs/Obraz2%20artyku%C5%82.png?hsLang=pl) \[Źródło: https://platform.claude.com/docs/en/about-claude/pricing\]   Na powyższym cenniku widać, że opłata za zapis do cache (*Prompt Caching / Write*) jest wyższa niż stawka bazowa (*Base Tokens*). Realne oszczędności, gdy zapytanie trafi w cache, wtedy płacimy 0.25$. 5m wirtes, 1h writes to są właśnie ustawienia TTL. ## Testy potwierdzające działanie KV cache Aby zweryfikować teorię w praktyce, przeprowadziłem test pokazujący różnicę w czasie odpowiedzi przy powtórzonym zapytaniu. Użyłem dwóch modeli: 1. **Bielik-4.5B** – uruchomiony lokalnie przez Ollama na CPU. 2. **GPT-5-mini** – wywoływany przez firmowy AI Gateway. W obu testach użyjemy metryki TTFT, czyli czas do uzyskania pierwszego tokena. Dane testowe to stały prefix z pytaniem. Długość musi być większa niż 1024 tokenów. Jest to warunek konieczny, ponieważ poniżej tej wartości straty wynikające z narzutu są większe niż zyski. | Parametr | Test 1 — Bielik (lokalnie, Ollama/CPU) | Test 2 — GPT (gpt-5-mini) | | --- | --- | --- | | Turn 1 cold (TTFT) | 45 501 ms | 5 257 ms | | Turn 2 hot (TTFT) | 2 833 ms | 3 112 ms | | Różnica czasu | −42 668 ms (szybciej o ~93,8%) | −2 145 ms (szybciej o ~40,8%) | | Hit 1 (cached\_tokens) | brak danych | 0 | | Hit 2 (cached\_tokens) | brak danych | 17 920 (99,4% prefiksu) | W przypadku GPT-5-mini dostajemy bezpośrednie potwierdzenie w metryce cached\_tokens (17 920 tokenów odczytanych z pamięci). Ollama nie zwraca tej metryki wprost, ale skrócony czas mówi sam za siebie. Długi czas początkowy dla Bielka wynika z ograniczeń inferencji na CPU. Tak wysoki spadek procentowy (93,8%) jest efektem bardzo wolnej fazy Prefill i nie świadczy o tym, że cache zadziałał lepiej w tym przypadku.   ## Mechanizm jest ukryty, ale masz wpływ na to jak działa – wnioski Mimo iż nie mamy pełnej kontroli nad mechanizmem cachowania w LLM, nadal możemy tak konstruować zapytania, aby model odpowiadał szybciej, z korzyścią dla kondycji naszego portfela: - Im mniej dynamicznych elementów w stałych częściach kontekstu (system, projekt), tym wyższy wskaźnik cache hit. - Pliki konfiguracyjne projektu (np. CLAUDE.md) wpływają na cache tak samo jak treść samego promptu. - Bezpośrednie wywołania przez API dają pełniejszą kontrolę nad punktami zapisu cache niż gotowe frameworki agentowe. - Projektując przepływy pracy (workflows), warto brać pod uwagę parametr TTL, aby nie tracić stanu pamięci podczas zbyt długich przerw między zapytaniami. - Oba testy wyraźnie pokazują spadek wskaźnika TTFT przy powtórzonym prefiksie. Tagi: - [Backend & Data](https://tech.univio.com/pl/tag/backend-data) - [SI & ML](https://tech.univio.com/pl/tag/si-ml) Spodobał Ci się ten artykuł? Podziel się nim - - - ## Autor ![Michał Pawlik](https://tech.univio.com/hs-fs/hubfs/IMG_4909-1.jpeg?width=125&height=125&name=IMG_4909-1.jpeg) [Michał Pawlik](https://tech.univio.com/pl/author/micha%C5%82-pawlik) Inżynier oprogramowania i architekt rozwiązań chmurowych, specjalizujący się w językach C# i JavaScript oraz kładący duży nacisk na wykorzystanie narzędzi AI w celu zwiększenia produktywności. Posiada również dogłębną wiedzę na temat dużych modeli językowych (LLM) oraz związanej z nimi infrastruktury systemowej. ## Sprawdź pozostałe artykuły ![](https://tech.univio.com/hubfs/raw_assets/public/univio-tech-blog/images/icons/arrow-left.svg) - ![](https://tech.univio.com/hs-fs/hubfs/unity_220606_unity_team_of_teams_v1-kopia-2%20(1)-1.png?width=1320&height=770&name=unity_220606_unity_team_of_teams_v1-kopia-2%20(1)-1.png) ### [Aplikacje SaaS i wykonywanie zadań w tle z AWS Batch i AWS Step Functions](https://tech.univio.com/pl/aplikacje-saas-i-wykonywanie-zadan-w-tle-z-aws-batch-i-aws-step-functions?hsLang=pl) Tomasz Dudek & Dawid Branicki 6 paź 2020 - ![](https://tech.univio.com/hs-fs/hubfs/wadki_AI_v1-1.png?width=1320&height=770&name=wadki_AI_v1-1.png) ### [Sztuka wyboru odpowiedniego modelu. Dlaczego stworzyliśmy Commerce & Enterprise Benchmark (CEB)](https://tech.univio.com/pl/sztuka-wyboru-odpowiedniego-modelu.-dlaczego-stworzyli%C5%9Bmy-commerce-enterprise-benchmark-ceb?hsLang=pl) Łukasz Biegaj 9 paź 2026 - ![](https://tech.univio.com/hs-fs/hubfs/unity_230509_unity_omnichannel_illustration_v3@2x%20(1)-1-1.png?width=1320&height=770&name=unity_230509_unity_omnichannel_illustration_v3@2x%20(1)-1-1.png) ### [Proces testowy a zapewnienie jakości – Quality Assurance i Quality Control](https://tech.univio.com/pl/proces-testowy-a-zapewnienie-jakosci-quality-assurance-i-quality-control?hsLang=pl) Tomasz Jański 14 lut 2019 ![](https://tech.univio.com/hubfs/raw_assets/public/univio-tech-blog/images/icons/arrow-right.svg) [Follow us on Facebook](https://www.facebook.com/UnivioIT) [Follow us on LinkedIn](https://www.linkedin.com/company/univio-it-company/) [Follow us on Instagram](https://www.instagram.com/univio_it) [Check YT Channel](https://www.youtube.com/@univioITcompany) © 2026 Univio