Start z polskim AI – od pomysłu do wdrożenia #Credit Agricole

Start z polskim AI to cykl rozmów prezentujących doświadczenia związane z polskimi modelami językowymi AI oraz praktyki wdrożeniowe firm i instytucji.

Tym razem w rozmowie udział bierze udział Piotr Muca, Manager Innovation Lab w Credit Agricole Bank Polska.

Na początek chciałbym zapytać, co skłoniło Państwa do wdrożenia modelu Bielik.AI oraz jakie kluczowe potrzeby i wyzwania pomaga to rozwiązanie Państwu rozwiązać.

Przede wszystkim szukaliśmy modelu, który pozwoliłby nam realnie rozpocząć pracę z dużymi modelami generatywnymi w banku. Pierwszym impulsem był hackathon AI organizowany w 2024 roku wspólnie z naszym partnerem technologicznym - potrzebowaliśmy wtedy „silnika”, który zasili nasze rozwiązania, i Bielik okazał się idealnym wyborem.

W tamtym czasie nie dysponowaliśmy jeszcze własną infrastrukturą do pracy z LLM‑ami. Korzystaliśmy więc z ChatGPT i kilku innych narzędzi, jednak jak to w sektorze bankowym - dostęp do nich był ograniczony. Tylko część osób, w tym nasz Innovation Lab, mogła pracować z tego typu technologiami, i to również w sposób kontrolowany. Jednocześnie mieliśmy świadomość, że potrzebujemy rozwiązania, które umożliwi bezpieczne udostępnienie generatywnej AI szerzej, wewnątrz organizacji.

Dlatego testowaliśmy różne modele i analizowaliśmy ich możliwości, aż ostatecznie podjęliśmy decyzję o wdrożeniu Bielika. Zadziałały tu dwa główne czynniki- potrzeba napędu technologicznego dla hackathonu oraz chęć udostępnienia pracownikom bezpiecznego narzędzia AI, działającego w ramach naszej infrastruktury.

Dziś Bielik jest już zainstalowany w banku i wykorzystywany w kilku różnych aplikacjach, stanowiąc fundament naszych pierwszych kroków w kierunku szerokiego wykorzystania sztucznej inteligencji generatywnej.

Jakie konkretne potrzeby i wyzwania udaje się Państwu adresować dzięki wykorzystaniu tego modelu?

Przede wszystkim na bazie tego modelu zaczęły powstawać konkretne projekty biznesowe. Już podczas wspomnianego hackathonu otrzymaliśmy ponad 50 zgłoszeń, z których do realizacji wybraliśmy pięć najbardziej obiecujących pomysłów. Jednym z nich była polCA - narzędzie do automatycznej korekty tekstów zgodnie z zasadami prostego języka. To właśnie ten projekt stał się pierwszym praktycznym zastosowaniem Bielika i wymagał specjalnego dostosowania modelu do naszych potrzeb.

Realizacja hackathonu i polCA były impulsem do zakupu własnej infrastruktury. Zainwestowaliśmy w serwery z GPU, na których zainstalowaliśmy Bielika, co otworzyło przed nami nowe możliwości. Mając model, infrastrukturę i doświadczenia zdobyte podczas hackathonu, mogliśmy przejść do kolejnych projektów i szerzej udostępniać rozwiązania oparte na LLM -ach pracownikom banku.

Po wdrożeniu polCA zdecydowaliśmy, że warto zrobić kolejny krok i umożliwić dostęp do modeli LLM całej organizacji. Stworzyliśmy więc wewnętrznego czata, którego silnikiem jest Bielik. Z narzędzia może korzystać dziś każdy pracownik - można prowadzić dialog z modelem czy pracować z dokumentami wykonując na nich różnego rodzaju  operacje. Pomimo tego, że możliwości Bielika nie zawsze dorównują takim jakie oferują dużo większe modele od chociażby OpenAI czy Google, to są w pełni wystarczające, aby poznać na własnej skórze sposób działania i potencjał jaki tkwi w LLM-ach.

Kluczową wartością jest to, że wszystko odbywa się w kontrolowanym, bezpiecznym środowisku, bez ryzyka, że wrażliwe dane opuszczą infrastrukturę banku. W naszej branży to absolutnie fundamentalne. Lokalny model uruchomiony na naszych własnych maszynach pozwala zarówno budować kompetencje pracowników, jak i testować oraz budować rozwiązania oparte o generatywną AI w realnych zastosowaniach - w sposób zgodny z wymaganiami bezpieczeństwa.

Jak wyglądał proces wyboru dostawcy technologicznego i na jakie kryteria zwracali Państwo największą uwagę? Czy kluczowe było bezpieczeństwo, jakość generowanego języka, czy może zgodność z regulacjami?

W Innovation Lab w Credit Agricole przeprowadziliśmy przetarg i podpisaliśmy umowy z kilkoma firmami, które wspierają nas w obszarze sztucznej inteligencji. To właśnie z jedną z tych firm zdecydowaliśmy się zrealizować pierwszy hackathon, była to firma Deviniti. Wybór tego partnera wynikał przede wszystkim z tego, że oferowali nam wsparcie merytoryczne, transfer wiedzy oraz bieżącą pomoc.

To były dla nas kluczowe elementy - zależało nam, aby uczyć się na własnej infrastrukturze i jednocześnie budować kompetencje wewnątrz organizacji. Jednocześnie warto podkreślić, że współpracujemy również z innymi partnerami technologicznymi w obszarze AI i realizujemy z nimi projekty w różnych segmentach naszego działania.

A podczas samego wdrożenia pojawiły się jakieś istotne wyzwania? Jeśli tak, to jakie i czego konkretnie dotyczyły?

Jeśli chodzi o wyzwania, to największym z nich było samo pozyskanie i uruchomienie odpowiedniej infrastruktury. Nowe maszyny trafiły do nas dopiero pod koniec 2024 roku. Wcześniej dysponowaliśmy tylko jednym, dość archaicznym serwerem, na którym można było pracować w bardzo ograniczonym gronie użytkowników. Dopiero po dostawie docelowej infrastruktury wiele problemów zniknęło, a my mogliśmy płynnie przejść do szerokiego i bezpiecznego udostępnienia generatywnej AI naszym pracownikom.

Co ważne, wybrany przez nas pierwszy projekt produkcyjny, polCA, nie był najbardziej złożonym technicznie projektem. Zależało nam na tym, aby zacząć od czegoś relatywnie prostego, co pozwoli jednak pokazać możliwości lokalnych modeli językowych, takich jak Bielik. Przyjęliśmy strategię małych kroków: najpierw zaprezentować potencjał, udowodnić wartość biznesową dla organizacji a następnie stopniowo realizować kolejne projekty.

Dlatego trudno mówić o dużych barierach czy krytycznych trudnościach. Pracowaliśmy blisko z naszym partnerem technologicznym, mieliśmy ich pełne wsparcie, a sam projekt został poprzedzony szerokimi testami. Warto wspomnieć, że przy tej okazji sprawdzaliśmy nie tylko Bielika, ale również inne modele, porównując ich jakość i wyniki. Ostatecznie okazało się, że polCA najlepiej sprawdza się na Bieliku, który dodatkowo poddany był fine‑tuningowi z użyciem naszego własnego korpusu danych. Dzięki temu dopasowaliśmy Bielika pod nasze konkretne potrzeby.

Przy okazji całego procesu zdobyliśmy też wiele nowych kompetencji i cennych doświadczeń, które teraz procentują w kolejnych inicjatywach.

Wspominał Pan o udostępnieniu narzędzia pracownikom i analizie dokumentów. Jakie jeszcze zastosowania tego rozwiązania funkcjonują w Państwa organizacji? W których obszarach widzicie Państwo największe korzyści z jego wdrożenia?

Tak, w trakcie hackathonu w 2024 roku pojawiły się pomysły z praktycznie każdego obszaru działania banku np. z marketingu, HR, sprzedaży czy wsparcia procesów wytwarzania oprogramowania. Na bazie tych pomysłów oraz możliwości jakie daje nam nasz wewnętrzny chat, stworzyliśmy narzędzia, które wspierają m.in. zespoły biznesowe w przygotowywaniu tekstów w obszarze marketingu i HR. Na podstawie prostego draftu system generuje treści zgodne z naszymi wewnętrznymi standardami - praktycznie gotowe do publikacji.

Poza modelami lokalnymi pracujemy również z rozwiązaniami chmurowymi, ale w ich przypadku szczególnie dbamy o to, by żadne wrażliwe dane nie opuszczały infrastruktury banku. Dlatego stworzyliśmy narzędzia oparte na Bieliku, które analizują i anonimizują dane przed wysłaniem ich do chmury. Te rozwiązania są już wdrożone i działają w trybie ciągłym.

Jeśli chodzi o samo wdrożenie - ile czasu minęło od pomysłu do uruchomienia rozwiązania? Jakie były kluczowe etapy tego procesu?

Samo wdrożenie Bielika i innych modeli LLM oraz rozwiązań korzystających z tych modeli przebiegło sprawnie. Kluczowym etapem było uruchomienie odpowiedniej infrastruktury. Nowe maszyny dotarły do nas dopiero pod koniec 2024 roku, więc pierwszym krokiem było ich instalowanie i przygotowanie środowiska. Dopiero na tej bazie mogliśmy postawić model. Część prac developerskich była już gotowa i przetestowana wcześniej poza bankiem, więc kiedy wszystkie elementy znalazły się na miejscu, złożyliśmy je w jedną całość i uruchomiliśmy rozwiązanie wewnętrznie.

Sam proces nie różnił się zasadniczo od wdrożenia innego oprogramowania. To po prostu kolejna technologia, którą trzeba było poprawnie zintegrować. Różnica polegała raczej na sposobie pracy. Przy modelach językowych pojawia się konieczność uczenia się nowego podejścia: tworzenia skutecznych promptów i pracy iteracyjnej nad jakością rozwiązania. Co ważne, nie zawsze musimy angażować developerów na każdym etapie - wiele osób biznesowych, które potrafią przełożyć swoje potrzeby na prompt, jest w stanie samodzielnie prototypować i testować rozwiązania. Temu też służy nasz wewnętrzny czat oparty na Bieliku oraz platformy agentowe do automatyzacji pracy takie jak n8n czy RAGFlow, które są napędzane już nie tylko Bielikiem ale też innymi modelami takim jak chociażby Qwen czy GPT OSS. Dzięki temu wachlarz naszych możliwości znacząco się rozszerzył ale wszystko zaczęło się od Bielika. Możliwości przybywa, pomysłów jest coraz więcej dlatego jako Innovation Lab prowadzimy prezentacje i szkolenia, pokazując pracownikom, jak korzystać z dostępnych narzędzi.

Pierwsze wdrożenie otworzyło nam drzwi do kolejnych modeli i kolejnych projektów, w tym do technologii agentowych. Hackathon w 2025 roku realizowaliśmy już sami, bez wsparcia z zewnątrz i był już w dużej mierze poświęcony agentom - stworzyliśmy kilka rozwiązań opartych o platformę agentową, z których dwa są obecnie na etapie industrializacji i wkrótce będą działać produkcyjnie w naszej organizacji. W tym ekosystemie Bielik nadal pełni ważną rolę. Część zadań realizujemy właśnie na nim, ale w części zadań musiał ustąpić miejsca innym modelom.

Czy mierzą Państwo efektywność takiego wdrożenia? Jeśli tak, to z jakich wskaźników korzystacie, aby ocenić jego skuteczność?

Jeśli chodzi o mierzenie efektywności, na tym etapie nie dysponujemy jeszcze precyzyjnymi wskaźnikami, które pozwoliłyby jednoznacznie określić, o ile procent zmniejszyła się pracochłonność czy jak dokładnie wzrosła wydajność pracowników korzystających z wdrożonych rozwiązań. Nasza infrastruktura pozwala nam dokładnie zmierzyć ilość poprawionych czy wygenerowanych tekstów, ilość przebiegów procesów naszych agentów i przetworzonych danych. Z tych danych widać, że wdrożone narzędzia oparte o genAI zwiększają możliwości pracowników, usprawniają ich codzienną pracę i pozwalają wykonywać większą ilość zadań. Pracujemy jeszcze nad tym aby określić jak te wartości ilościowe przekładają się na wyniki jakościowe.

Obecnie pracujemy nad uporządkowaniem całego podejścia do industrializacji AI w banku, a zdefiniowanie i wdrożenie jasnych KPI jest jednym z elementów tego procesu.

Jakie są Państwa dalsze plany dotyczące wykorzystania LLM‑ów? Czy rozważają Państwo kolejne obszary lub nowe funkcjonalności, w których te technologie mogłyby znaleźć zastosowanie?

Mamy zbudowaną platformę techniczną, która już dziś obsługuje różne projekty i udostępnia zestaw usług gotowych do wykorzystania w kolejnych inicjatywach. Pracujemy m.in. nad własnymi rozwiązaniami OCR opartymi na modelach wizyjnych, które mają oferować znacznie bardziej zaawansowane funkcjonalności niż dotychczas stosowane narzędzia. Rozwijamy również nasze rozwiązania do masowej transkrypcji i diaryzacji rozmów prowadzonych przez nasze CC.

Równolegle rozwijamy platformę agentową do szybkiego prototypowania i automatyzacji procesów. Może ona korzystać zarówno z małych modeli lokalnych, jak i dużych modeli chmurowych, co daje nam dużą elastyczność i pozwala budować rozwiązania dopasowane do specyfiki konkretnego procesu.

Jesteśmy jednak w momencie dużej zmiany. Im głębiej pracujemy z technologiami AI, tym bardziej widzimy, jak bardzo zmieniają one sposób działania organizacji. Zastanawiamy się, czy dotychczasowe procesy powinny wyglądać tak samo jak do tej pory, czy może dzięki nowym możliwościom warto je przeprojektować, aby były prostsze i bardziej efektywne.

To trochę jak wprowadzenie maszyny parowej do fabryk w XIX wieku: nowa technologia przyspiesza i ułatwia pracę pod warunkiem, że wprowadzimy też zmiany w innych elementach całego systemu, by finalny efekt był naprawdę odczuwalny. Naszym celem jest takie połączenie technologii i procesów, aby organizacja działała szybciej, a pracownicy byli mniej obciążeni i bardziej zadowoleni z wykonywanej pracy.

Obserwujemy przy tym globalne trendy - tempo zmian w AI jest ogromne, dlatego ciągle analizujemy rynek i wybieramy kierunki, które będą dla nas najkorzystniejsze. To nie jest łatwe zadanie, ale daje nam ogromne możliwości rozwoju.

Co w Pana opinii, mogłoby najbardziej przyspieszyć adopcję polskich modeli językowych w biznesie? Czy kluczowa jest większa edukacja użytkowników, szersza dostępność rozwiązań, czy może kwestie regulacyjne?

Oczywiście regulacje są potrzebne - pytanie tylko, w jakim zakresie i czego dokładnie powinny dotyczyć. Nie możemy zostawić wszystkiego bez nadzoru, ale z drugiej strony nadmierna regulacja również nie jest właściwą drogą. Znalezienie złotego środka jest trudne.

Drugim kluczowym elementem jest edukacja. To, co robimy u nas, czyli umożliwienie pracownikom testowania i wykorzystywania AI w bezpiecznym, wewnętrznym środowisku jest niezwykle ważne. Ludzie muszą sami poczuć, że sztuczna inteligencja realnie wspiera ich pracę, odciąża ich i daje im pewnego rodzaju „supermoc”. To buduje zaufanie i naturalnie zwiększa adopcję.

Bardzo istotna jest również specjalizacja polskich modeli. Mamy w kraju świetne inicjatywy, jak Bielik czy PLLuM, ale ich potencjał może być w pełni wykorzystany wtedy, gdy będą dostosowane do lokalnych potrzeb. Wyobraźmy sobie model, który ma już doskonale opanowane zasady prostego języka, prostą polszczyznę czy niuanse wynikające z naszych krajowych regulacji. Gdyby użytkownik mógł jednym promptem otrzymać wynik zgodny z tymi standardami, mielibyśmy prostą i szybką ścieżkę do szerokiej adopcji.

To właśnie wąska specjalizacja daje polskim modelom realną przewagę. Nie muszą konkurować z gigantami w liczbie parametrów - nie wszystko trzeba robić wielkim kombajnem. Czasem małe, precyzyjnie dostrojone narzędzie działa lepiej niż największy model ogólnego zastosowania wymagając przy tym znacznie mniejszych zasobów. Polskie modele mogą więc pełnić rolę takich specjalistycznych narzędzi, idealnie dopasowanych do konkretnych zadań i branż.

Podsumowując: sensowne regulacje, edukacja oraz specjalizacja modeli - te trzy elementy mogą najszybciej przyspieszyć adopcję polskich LLM‑ów w biznesie.

Dziękujemy za rozmowę!

Cykl rozmów „Start z polskim AI – od pomysłu do wdrożenia” jest realizowany w ramach programu Centrum Kompetencji AI.