Losie naku…j – moja motywacja do robienia startupu

W życiu są chwile kiedy masz wrażenie, że nic nie idzie, że w którą stronę byś nie spojrzał to masz pod górkę. Co w tedy robisz? Czy załamujesz się, biadolisz, narzekasz, wszystkim dookoła opowiadasz jak masz ciężko? Bo ja mimowolnie tak, to jest tak zakorzenione w nas, że chcemy się podzielić naszą niedolą,  znam mało osób, które przełamują ten stereotyp. Na szczęście zdarzają się dni, gdy w obliczu tych niepowodzeń mówisz „losie nakurwiaj, a ja i tak będę robił swoje”.

Continue reading

Big Data na dysku, czyli jak przetwarzać pliki HDF5 w python

Czy nie macie problemu z przetwarzaniem ogromnego pliku z danymi, albo macie ogrom danych z czujników i nie wiecie jak je zapisać aby łatwo można było później je przetwarzać? Bo ja mam, znaczy miałem odkąd poznałem HDF5.

Biorąc się za jakąkolwiek robotę związaną z analizą danych mamy prosty workflow. Odczytujemy dane, wczytujemy je do pamięci następnie uruchamiamy stosowne algorytmy, dobieramy parametry i zbieramy wyniki. Jednak już na początku tego etapu możemy napotkać problemy. Co zrobić w sytuacji gdy mamy do wczytania ogromny plik, lub gdy mamy miliony małych plików? Jak to zmieścić w RAM’ie naszej maszyny? Odpowiedź jest prosta, wczytywać i przetwarzać dane partiami. Jednak takie podejście wymaga napisania dodatkowego kodu, jeżeli chcemy to zrobić ładnie i łatwo to z pomocą może nam przyjść HDF5.

Continue reading