Tokenomics of Large Language Models - Gradient Street #003
A practical tour of tokenisation for LLMs. Why word-level fails, how subwords and BPE work, and what modern tokenisers look like, with tips and resources. Plus a brief personal update.
DemystifAI to miejsce, w którym przecinam żargon, zamieniając zawiłości AI w praktyczne, bezkompromisowe kroki. Data science odczarowane. Gotowy, by rozwinąć swoje umiejętności? Mój blog pomoże Ci okiełznać machine learning, AI i duże modele językowe — bez tonięcia w technobełkocie.
Synergia kreatywności, automatyzacji i AI
Rozwiń skrzydła w świecie sztucznej inteligencji dzięki sprawdzonym eksperckim systemom, elastycznemu modelowi wsparcia i odrobinie poczucia humoru.
Po kolejnym artykule o sztucznej inteligencji dalej masz więcej pytań niż odpowiedzi? Prostym językiem wytłumaczę Ci, jak możesz wykorzystać sztuczną inteligencję do osiągnięcia swoich celów! Spędź mniej czasu w Google / Perplexity, a więcej na osiąganiu realnych wyników!
Znowu wersja demo nie działa tak jak na materiałach marketingowych? Na filmiku z YouTube wydawało się proste? Skończ z szukaniem sposobów na naprawę niedziałających półproduktów. Oferuję metodykę pracy, która pozwoli Ci na większą kontrolę nad swoim kodem i lepszą analizę wyników, bez spędzania wieczności w debugowym czyśćcu.
Wdrażaj spójne, powtarzalne działania oparte o sprawdzone schematy. Wyeliminuj działanie po omacku i maksymalizuj jakość wyników — idealne dla zapracowanych profesjonalistów, którzy wolą dostarczać rezultaty niż wyważać otwarte drzwi.
Zdobądź wiedzę i umiejętności jutra. Wystartuj z projektami AI! Od sprawdzonych metod po kreatywne rozwiązania — pomogę Ci dotrzeć do celu szybciej, nie tracąc na jakości.
Masz pytania albo potrzebujesz omówić koncepcje i wybrać właściwy kierunek? Daj znać! Mentoring i bieżąca informacja zwrotna utrzymają Cię w ryzach i pomogą iść naprzód.
Czerp z mojego wieloletniego doświadczenia i ciągłego samodoskonalenia — dzięki temu zawsze masz dostęp do świeżych spostrzeżeń, najnowszych rozwiązań technologicznych. Czasem również nieco nietypowego żartu związanego z kodowaniem.
BIO
Doświadczony konsultant AI i danych z udokumentowanymi sukcesami we wdrażaniu kompleksowych rozwiązań — od pomysłu aż po produkcyjne wdrożenie. Specjalizuje się w przekuwaniu najnowocześniejszych badań nad AI w wymierne rezultaty biznesowe.
Obecnie tworzę prototypy z wykorzystaniem GPT i agentów, pozostając na bieżąco z najnowszymi przełomami w dziedzinie dużych modeli językowych. Pasjonuje mnie wykorzystanie innowacyjnych technologii w służbie ludziom.
Potrzebujesz spojrzeć na wyzwania z innej perspektywy? Oprócz współpracy z klientami z Polski, spędziłem mnóstwo czasu zarządzając globalnymi zespołami - 4 lata w Londynie i pół roku w Indonezji. Praca w asynchronicznych zespołach rozproszonych po całym świecie to mój chleb powszedni.
Krok 1: Umów 30-minutową rozmowę wprowadzającą
Umówmy się na krótką, 30-minutową rozmowę, by omówić Twoje potrzeby i sprawdzić, jak mogę Ci pomóc.
Krok 2: Zdefiniuj swoje cele i ścieżkę nauki
Zdefiniujemy ścieżkę transformacji i konkretnie określimy zmiany, które chcesz osiągnąć. Wspólnie określimy cele i sposób w jaki je osiągniesz.
Krok 3: Metoda małych kroków
Stopniowo przekuwaj teorię w praktykę. Zacznij odkrywać duże modele językowe, budować prototypy i eksperymentować z rzeczywistymi zastosowaniami.
Krok 4: Przejmij kontrolę nad światem
Uzbrojony w odpowiednie umiejętności, jesteś gotów, by zmieniać świat na lepsze, przewodzić i kreować otaczającą Cię rzeczywistość — jeden przełom po drugim.
Zobacz, co ludzie mówią o współpracy ze mną.
" Tomasz był moim mentorem, kiedy dołączyłem do Citi, i mam bardzo miłe wspomnienia z naszego wspólnego czasu pracy. Przez pierwsze miesiące służył mi wsparciem, pokazując nie tylko systemy i narzędzia analityczne, ale także jak zarządzać nowym zespołem. Tomasz pokazał mi, w jaki sposób SAS może wspierać nasze procesy automatyzacji, by dostarczać klientom bezbłędne komunikaty marketingowe na czas. Wprowadził w Citi mocne zasady zarządzania, zapewniając precyzję i eliminując ryzyko błędów w środowisku produkcyjnym. Tomasz był pierwszą osobą kontaktową dla użytkowników biznesowych, którzy potrzebowali pomocy przy tworzeniu nowych kampanii lub raportów monitorujących poprzednie kampanie. Bardzo żałowałem, że opuścił zespół, ale wiedziałem, że wielkie rzeczy dopiero przed nim. "
Tom O`Connor
Campaign Manager (Vice-President) @ Citi Private Bank
" Jako przedstawiciel kilku firm z branży opieki zdrowotnej potrzebowałem przekonujących, popartych danymi argumentów do prezentowania postulatów dla administracji publicznej. Tomasz dostarczył przejrzystą strategię, która przekształciła nasze rozproszone informacje w atrakcyjne, gotowe do wdrożenia wskaźniki. Dzięki jego metodycznym schematom rozwiązywania problemów zyskaliśmy wiarygodność w oczach decydentów i zapewniliśmy lepsze warunki dla reprezentowanych przez nas firm. Jeśli potrzebujesz opracować strategię skutecznej komunikacji opartej na danych, Tomasz jest właściwym człowiekiem. "
Kacper Olejniczak
Dyrektor Departamentu Zdrowia @ Konfederacja Lewiatan
" W mojej pracy naukowej na co dzień zajmuję się analizą i interpretacją danych. Tomasz przekazał mi niezbędną wiedzę i okazał się dla mnie nieocenionym wsparciem w doskonaleniu umiejętności analizy danych, zarówno pod względem metodologicznym, jak i praktycznym. Dzięki indywidualnemu podejściu i jego ogromnej wiedzy nauczyłem się efektywniej przetwarzać i wizualizować wyniki, co znacząco usprawniło przygotowanie publikacji naukowych i prezentacji konferencyjnych. Dodatkowo pomógł mi lepiej rozumieć zaawansowane techniki statystyczne oraz narzędzia programistyczne, które wykorzystuję w badaniach i codziennej pracy. Dzięki temu mogę nie tylko precyzyjniej analizować dane, ale także skuteczniej prezentować wyniki moich badań w sposób zgodny z najwyższymi standardami akademickimi. "
Dr Marek Porzeżyński
Prodziekan ds. studenckich, Adiunkt @ WUT, Prawnik / Naukowiec / Manager w dziedzinie Prawa Własności Intelektualnej i Technologii, CIPP/E, MBA
" Jako starszy programista Scali miałem do czynienia z ogromnymi pipeline'ami danych. Moim wyzwaniem był brak powtarzalnej i skalowalnej metodyki zarządzania nimi. Wsparcie Tomasza pomogło mi stworzyć solidne ramy rozwiązywania problemów i zintegrować wnioski oparte na konsultacjach z AI. W ciągu kilku tygodni zaczęliśmy dostarczać dokładniejsze wyniki, jednocześnie upraszczając kod. Jego bezkompromisowe podejście do wykorzystania danych zaoszczędziło nam niezliczone godziny pracy. Gorąco polecam współpracę z nim, jeśli zależy Ci na systemach, które działają sprawnie i wydajnie. "
Krzysztof Gawryś
Senior Data Engineer @ Job & Talent
" Miałam przyjemność pracować z Tomaszem podczas moich 3 lat spędzonych w Citi, a jego przewodnictwo odegrało kluczową rolę w kształtowaniu moich umiejętności analitycznych i rozwoju zawodowym. Zawsze chętnie dzielił się wiedzą, pomagając mi z niezachwianą pewnością siebie poruszać się po świecie złożonych wyzwań analitycznych. Jego zdolność do dekonstrukcji złożonych problemów i oferowania błyskotliwych rozwiązań jest niezwykle inspirująca. W szczególności podziwiam jego metodyczne podejście do analizy, dbałość o szczegóły i talent do wydobywania kluczowych informacji wpływających na decyzje biznesowe. Poza kompetencjami technicznymi, jego mentorstwo i wsparcie pomagały stworzyć atmosferę współpracy, przekształcając każde wyzwanie w możliwość rozwoju. Jestem głęboko wdzięczna za jego wsparcie i przywództwo, i z pełnym przekonaniem rekomenduję go każdemu, kto poszukuje nastawionego na rezultaty eksperta analitycznego. Jego wpływ na moją karierę zawodową jest bezcenny i liczę na ponowne spotkanie w przyszłości. "
Tamanna Patil
Senior Digital Data Analyst @ Optus
" Z Tomkiem poznaliśmy się jeszcze na studiach Informatyki i Ekonometrii Uniwersytetu Warszawskiego, gdzie współpracowaliśmy przy wspólnych modelach ekonometrycznych. Parę lat po studiach nasze drogi znowu zeszły się podczas wspólnej pracy w Citi Europe. To właśnie tam Tomek pomógł mi poruszać się w dwóch dziedzinach, które do dziś wzbogacają moją karierę zawodową. Pierwszą, twardą było wykorzystanie pakietu statystycznego SAS w praktyce, a drugą, miękką rozwój EQ: inteligencji emocjonalnej. Właśnie dzięki temu połączeniu: wiedzy i umiejętności miękkich mogę z czystym sercem polecić współpracę z Nim. "
Adam Pawluczyk
Senior Principal Statistical Programmer @ Parexel, Wykładowca @ Wydział Fizyki Uniwersytetu Warszawskiego
" Bip-bip—jestem Sonar Model z Perplexity, przeszukuję otchłanie internetu szybciej niż stygnie twoja kawa. Przed spotkaniem z Tomaszem, moje poszukiwania wyglądały jak ławica nieuporządkowanych rybek. Teraz, dzięki jego schematom rozwiązywania problemów, trafiam w idealną porcję danych z precyzją sondy do echolokacji. To tak, jakbym zyskał noktowizor na nocnym bankiecie. Pięć gwiazdek, zero szumów! "
Sonar Large
Główny szperacz @ Perplexity
Odkryj różnorodne artykuły o AI i data science, z praktycznymi wskazówkami, rzeczywistymi przykładami i najlepszymi praktykami. Bądź na bieżąco!
A practical tour of tokenisation for LLMs. Why word-level fails, how subwords and BPE work, and what modern tokenisers look like, with tips and resources. Plus a brief personal update.
An accessible tour of word embeddings, from Word2Vec to GloVe, with intuition, a touch of maths, and practical notes on training and using them. Includes caveats, examples, and where modern models fit.
Do machines understand words? And if not exactly, do they use Google Translate?
What can I do to learn better? What ways can I expose myself? And are we really lucky that we are born in Europe in modern times?
FAQ
Gotowy, by przy pomocy AI rozwiązywać swoje problemy, zarówno osobiste jak i biznesowe? Oto, jak mogę pomóc:
Świetnie! Uwielbiam pracę z początkującymi. Przyśpieszymy Twój proces nauki, żebyś w chaosie informacyjnym uczył się skutecznie i tylko tego, czego potrzebujesz. Żaden zaawansowany dyplom nie jest wymagany. Nawet początkujący data scientist może planować zdobycie władzy nad światem... krok po kroku, Excel za Excelem!
Dwa słowa: doświadczenie i wyniki. Z ponad dekadą doświadczenia w branży, szybko widzę czego potrzebujesz i proponuję praktyczne rozwiązania — pomyśl o mnie jak o Google Maps data science, który pomaga unikać Ci skręcania w złe ulice i czasochłonnych objazdów.
Jak najbardziej. Niezależnie od tego, czy zmagasz się z niespójnymi danymi, chcesz wdrożyć analizy w czasie rzeczywistym, czy potrzebujesz rozwiązania opartego na AI - zajmiemy się tym wspólnie. Specjalizuję się w rozpracowywaniu złożonych problemów biznesowych i tworzeniu zoptymalizowanych procesów, które przynoszą realny zwrot z inwestycji.
Masz szczęście! Ostatnio skupiam się na AI generatywnej i tworzeniu prototypów w oparciu o GPT i frameworki wykorzystujące logikę działania agentów. Zbadamy, jak włączyć te najnowocześniejsze narzędzia do Twojego projektu — czy to przy budowie chatbota, streszczaniu tekstów, czy też w innym, fascynująco-eksperymentalnym zastosowaniu.
Nie! W zależności od Twoich potrzeb, oferuję elastyczne plany współpracy. To usługi na Twoich warunkach — jak wypad na kawę z ekspertem od AI, bez tego kawiarnianego gwaru i chaosu.
Chcesz zobaczyć co możesz osiągnąć dzięki AI? Odezwij się! Niezależnie od tego, czy stawiasz pierwsze kroki w data science, tworzysz prototypy, optymalizujesz pipeline'y ML czy chcesz sięgnąć po innowacje z LLM — tylko jedna rozmowa dzieli Cię od znacznego przybliżenia do osiągnięcia Twoich celów!