Jak w czystym Python’ie dokonać tokenizacji tekstu na ngramy oraz jak wygenerować słownik z wszystkimi możliwymi ngramami.
Continue readingPython ngram tokenizer z wykorzystaniem generatorów
Bunkier
Czuł, że coś jest nie tak już od dawna. Nie umiał tego nazwać ani określić. Pracował i płacili mu na czas, uczył i wypełniał tabelki.
Continue readingInstalacja NVidia CUDA 10, 11 na ubuntu 18.04
Mnie też to przeraża, upgrade sterowników do CUDA jest tym, co powoduje dreszcze u każdego inżyniera uczenia maszynowego. Stąd skompilowałem instrukcję jak zainstalować CUDA na Ubuntu 18.04 wraz z CuDNN z wykorzystaniem apt . Procedura jest prosta przetestowane i działa (przynajmniej u mnie)
Continue readingKrzywa Precision-Recall jak ją wykreślić i zinterpretować
Jak narysować i zinterpretować krzywą precision-recall dla klasyfikatora. W artykule pokażę Ci krok po kroku sposób jej wyznaczania teoretycznie oraz praktycznie w scikit-learn. Dowiesz się jak ją interpretować, kiedy stosować oraz jak na jej podstawie porównać dwa modele.
Continue readingPrecision, recall i F1 – miary oceny klasyfikatora
Tutorial o tym, jak mierzyć jakość klasyfikatora i dlaczego zwykła dokładność (ang. accuracy) to często za mało. Wyjaśniam intuicję i na przykładach pokazuję o co chodzi w: precision, recall oraz F1
Continue readingSieć LSTM do analizy sentymentu recenzji filmowych z IMDB
Tworzymy rekurencyjną sieć LSTM do analizy wydźwięku recenzji filmowych. Nie jest to jednak typowy przykład o sentiment analysis postanowiłem go rozbudować i wykorzystać bardziej zaawansowaną technikę zwaną “Truncated Backpropagation through Time”.
Continue readingImplemetanacja Pandas DataFrame Dataset w TorchText
Dziś techniczny wpis o tym, jak podawać dane do sieci w Pytorch przy pomocy Pandas DataFrame z wykorzystaniem biblioteki TorchText. Z wpisu dowiesz się jak zaimplementować swój własny DataSet oraz jak wpleść ramki z Pandas w proces nauki sieci.
Continue readingPrzetwarzasz teksty, robisz NLP, TorchText Ci pomoże!
Biblioteka, która wybawiła mnie przy wielu żmudnych zadaniach związanych z przetwarzaniem tekstu w Pytorch. TorchText zdecydowanie upraszcza wczytywanie i przygotowanie danych tekstowych do podania do sieci neuronowej.
Continue readingSieć rekurencyjna LSTM do zliczania znaków – wprowadzenie
Sieci rekurencyjne zdolne są do rozpoznawania zależności wynikających z połączenia i częstości występowania symboli. W tym tutorialu stworzymy sieć LSTM, która będzie stanowiła dobre wprowadzenie do bardziej skomplikowanych modeli.
Continue readingSieć konwolucyjna w Pytorch – klasyfikacja obrazów CIFAR-10
Tutorial ten pomoże Ci zbudować konwolucyjną sieć neuronową (Convolutional Neural Network) do klasyfikacji obrazów ze zbioru CIFAR-10. Krok po kroku pokazuję jak połączyć warstwy konwolucyjne oraz jaki wpływ na rozmiary obrazu mają “stride” i rozmiar jądra konwolucji.
Continue reading