Jak w czystym Python’ie dokonać tokenizacji tekstu na ngramy oraz jak wygenerować słownik z wszystkimi możliwymi ngramami.
Continue readingPython ngram tokenizer z wykorzystaniem generatorów
Posts Tagged → nlp
Sieć LSTM do analizy sentymentu recenzji filmowych z IMDB
Tworzymy rekurencyjną sieć LSTM do analizy wydźwięku recenzji filmowych. Nie jest to jednak typowy przykład o sentiment analysis postanowiłem go rozbudować i wykorzystać bardziej zaawansowaną technikę zwaną „Truncated Backpropagation through Time”.
Continue readingImplemetanacja Pandas DataFrame Dataset w TorchText
Dziś techniczny wpis o tym, jak podawać dane do sieci w Pytorch przy pomocy Pandas DataFrame z wykorzystaniem biblioteki TorchText. Z wpisu dowiesz się jak zaimplementować swój własny DataSet oraz jak wpleść ramki z Pandas w proces nauki sieci.
Continue readingPrzetwarzasz teksty, robisz NLP, TorchText Ci pomoże!
Biblioteka, która wybawiła mnie przy wielu żmudnych zadaniach związanych z przetwarzaniem tekstu w Pytorch. TorchText zdecydowanie upraszcza wczytywanie i przygotowanie danych tekstowych do podania do sieci neuronowej.
Continue reading