Linux i wget
-
jacek
04/08/2019
- Informatyka
- 1424 czytań 0 komentarzy
Temat zgłębiłem nieco w czasie instalacji oprogramowania astrometry.net o czym w innym artykule napisze kilka słów. Dla tego oprogramowania potrzeba pobrać przygotowane pliki index , dzięki którym będziemy mogli rozwiązywać obrazy fotograficzne nieba. Rozwiązywanie to jest konieczne dla ustalenia gdzie patrzy nasza kamera. Z grubsza wiadomo, bo celowaliśmy, ale co do współrzędnych środka obrazu, to już nie ma żadnej pewności.
Pobranie tych plików wiąże się ze ściągnięciem z sieci ogromnych ilości danych – około 60 GB. Mimo, że ja mam łącze około 10 Mbitów/s to serwer po pewnym czasie zaczyna zwalniać podawanie plików i temat wyciąga się do wielu godzin pobierania danych. Jak można sobie z tym poradzić?
Warto uruchomić pobieranie ponownie. Ale aby nie pobierać tego co już jest pobrane można przygotować plik z listą plików do pobrania. Ponadto, wiedząc, że będziemy wykonywać zdjęcia określonego formatu i tylko tego formatu, można ograniczyć się do pobrania tylko części plików a nie wszystkich. Przygotowanie wykazu plików wymaga odczytania z serwera zawartości katalogu:
Otrzymamy w wyniku wydania tego polecenia w konsoli plik o nazwie index.html. Jeśli taki plik będzie istniał program doda do niego cyferkę na końcu by nie nadpisywać już istniejącego pliku. Plik zawiera linki do plików na serwerze.
Teraz musimy wyedytować nasz wykaz. Otwieramy plik index.html w wybranym edytorze (Geany lub Nano) i kasujemy te linki plików, których nie potrzebujemy. Zapisujemy zmiany w pliku i uruchamiamy nasz WGET z opcjami:
W ten sposób pobierzemy tylko to co jest nam potrzebne z całej zawartości katalogu na serwerze. Jeśli konieczne są inne uprawnienia do wykonania polecenia w danej lokalizacji systemu to dodajemy je np: przez dodanie na początku sudo. Pliki będą miały wtedy właściciela w postaci root'a.
Pobranie tych plików wiąże się ze ściągnięciem z sieci ogromnych ilości danych – około 60 GB. Mimo, że ja mam łącze około 10 Mbitów/s to serwer po pewnym czasie zaczyna zwalniać podawanie plików i temat wyciąga się do wielu godzin pobierania danych. Jak można sobie z tym poradzić?
Warto uruchomić pobieranie ponownie. Ale aby nie pobierać tego co już jest pobrane można przygotować plik z listą plików do pobrania. Ponadto, wiedząc, że będziemy wykonywać zdjęcia określonego formatu i tylko tego formatu, można ograniczyć się do pobrania tylko części plików a nie wszystkich. Przygotowanie wykazu plików wymaga odczytania z serwera zawartości katalogu:
wget http://data.astrometry.net/5000/ links
Otrzymamy w wyniku wydania tego polecenia w konsoli plik o nazwie index.html. Jeśli taki plik będzie istniał program doda do niego cyferkę na końcu by nie nadpisywać już istniejącego pliku. Plik zawiera linki do plików na serwerze.
Teraz musimy wyedytować nasz wykaz. Otwieramy plik index.html w wybranym edytorze (Geany lub Nano) i kasujemy te linki plików, których nie potrzebujemy. Zapisujemy zmiany w pliku i uruchamiamy nasz WGET z opcjami:
wget -i index.html -F -B http://data.astrometry.net/5000/<
W ten sposób pobierzemy tylko to co jest nam potrzebne z całej zawartości katalogu na serwerze. Jeśli konieczne są inne uprawnienia do wykonania polecenia w danej lokalizacji systemu to dodajemy je np: przez dodanie na początku sudo. Pliki będą miały wtedy właściciela w postaci root'a.
Dodaj komentarz
Zaloguj się, aby móc dodać komentarz.
Oceny
Tylko zarejestrowani użytkownicy mogą oceniać zawartość strony
Zaloguj się , żeby móc zagłosować.
Zaloguj się , żeby móc zagłosować.
Brak ocen. Może czas dodać swoją?