Big Data na dysku, czyli jak przetwarzać pliki HDF5 w python

Czy nie macie problemu z przetwarzaniem ogromnego pliku z danymi, albo macie ogrom danych z czujników i nie wiecie jak je zapisać aby łatwo można było później je przetwarzać? Bo ja mam, znaczy miałem odkąd poznałem HDF5.

Biorąc się za jakąkolwiek robotę związaną z analizą danych mamy prosty workflow. Odczytujemy dane, wczytujemy je do pamięci następnie uruchamiamy stosowne algorytmy, dobieramy parametry i zbieramy wyniki. Jednak już na początku tego etapu możemy napotkać problemy. Co zrobić w sytuacji gdy mamy do wczytania ogromny plik, lub gdy mamy miliony małych plików? Jak to zmieścić w RAM’ie naszej maszyny? Odpowiedź jest prosta, wczytywać i przetwarzać dane partiami. Jednak takie podejście wymaga napisania dodatkowego kodu, jeżeli chcemy to zrobić ładnie i łatwo to z pomocą może nam przyjść HDF5.

Continue reading

Wytrzymaj jeszcze trochę, moje doświadczenia

Dziś wpis zainspirowany wpisem Jakuba Gutkowskiego zatytułowanym „Trough of sorrow”. W wielkim skrócie chodzi o to aby się nie poddawać w tym co sobie założyliśmy, że zawsze przychodzi czas zwątpienia, ostudzenia zapału, zmęczenia. To wtedy jest właśnie czas twojej próby. To w jaki sposób poradzisz sobie z zmęczeniem i zniechęceniem jest wyznacznikiem twojego przyszłego sukcesu. Dziś w tym kontekście chciałbym podzielić się z wami moimi doświadczeniami związanymi z wprowadzaniem w życie nowych idei.

Continue reading