Wolne kopiowanie dużych plików

Wszystko związane z jądrem systemowym, sterownikami, sprzętem itp.
phpcoder
Posty: 22
Rejestracja: 24 października 2008, 17:15

Wolne kopiowanie dużych plików

Post autor: phpcoder »

Używam Debiana Sid/Squeeze amd64, kilka dysków typu SATA z systemami plików ext3 i ntfs, płyta główna Asus P5QProTurbo,4GB RAM

Mam problem z kopiowaniem danych na dyskach. Przy dużych plikach trwa to bardzo długo - nie ma znaczenia, czy to jest ntfs, czy ext3.
N
p 700MB plik kopiuje się około minuty (programy pokazują transfer rzędu 2-4MB).

T
ymczasem pod Windows XP działa szybko.

S
prawdziłem ustawienia programem hdparmem według poradników i są poprawne. Kiedyś bawiłem się w badanie obciążenia systemu, może tu jest jakiś problem?

Od czego zacząć sprawdzanie dysków?
Awatar użytkownika
VMLine
Beginner
Posty: 137
Rejestracja: 28 lutego 2011, 08:44
Lokalizacja: Poznań / Słupsk

Post autor: VMLine »

Podczas kopiowania plików puść na 30 sekund polecenie vmstat 1 i pokaż wyniki.
phpcoder
Posty: 22
Rejestracja: 24 października 2008, 17:15

Post autor: phpcoder »

Kopiowanie pliku 6GB z ext3 na ntfs (2 różne dyski SATA) - ile to powinno zająć czasu na sprawnym systemie?
Zapomniałem dodać, że używam LVM2.

Kod: Zaznacz cały

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 4  1 283784  41508 336692 805084    6   22   450   296 1490  214 43  7 37 14
 3  1 283784  31348 339656 813136    0    0  6060     0 3075 10343 11  7 38 43
 1  1 283868  32564 338912 815100    0   84  5688  2344 3289 10450 12  9 26 53
 0  2 283896  31296 342504 816324    0   28  7260   124 3196 11032  9 10 26 55
 1  5 283892  31184 344984 817256    0    0  6032    20 3182 10589 14  8 37 40
 3  1 283892  30776 344812 821404    0    0  6112    68 3437 11022 10 10 22 58
 0  1 283892  31600 345680 822564    0    0  5240     0 3144 9340 10 11 32 47
 1  0 283892  32412 346888 825340    0    0  7288  2692 3309 12106 13  9 36 42
 0  1 283892  32280 352380 824024    0    0  7628    84 3277 11661 12 10 33 46
 0  2 283892  33620 355232 823592    0    0  5468     4 3219 10338 10  7 43 40
 2  1 283892  32872 359100 823664    0    0  5536    52 3119 9512 12  6 27 56
 0  2 283892  37520 362376 820204    0    0  6208     0 3055 9996 10  7 41 42
 1  2 283892  35632 361648 824292    0    0  4284  2340 3217 9234 11 11 25 53
 2  1 283892  44008 357112 824788    0    0  6168   136 3067 9975 11  6 32 51
 0  1 283892  32132 361160 833272    0    0  6568     0 3315 12435  8  8 42 42
 1  1 283892  48572 357240 827728    0    0  5296     4 3176 10099  7  9 39 45
 1  1 283892  32940 360596 840184    0    0  7784     0 3403 10668 10  8 41 43
 1  2 283892  31116 365016 840808    0    0  7252  2820 3249 10840 13 11 27 49
 0  3 283892  47740 365972 828492    0    0  7812 114316 3420 11712 10 12 14 64
 0  2 283892  84740 360068 806484    0    0  6212 48992 3312 8518  9  8 11 73
 1  4 283892  65180 366824 820688    0    0  6896 39360 3595 11432 12  9 28 51
 0  2 283892  55424 370336 828812    0    0  3808     0 3408 9156 10  8 21 61
 1  2 283892  58672 372928 826976    0    0  7376  2944 3427 11718 15 15 25 46
 0  2 283892  44516 380260 836420    0    0 12592   204 3646 16320 11 11 41 36
 0  2 283892  31148 385664 845624    0    0  6044     0 3272 10682  9  6 30 54
 1  1 283892  31664 387236 846644    0    0  6952   572 3085 11018 11  8 17 64
 1  1 283892  32408 387372 847688    0    0  4544     0 3303 9983 10  7 30 53
 0  4 283892  30576 388372 851936    0    0  6460  3200 3242 11168  9  6 36 49
 1  1 283892  31580 388424 854568    0    0  8108   272 3636 13051 13 15 30 43
 4  2 283892  31612 388864 856364    0    0  5104    84 3492 10071 10  6 21 62
 2  0 283892  48132 384760 848812    0    0  4840     4 3399 9968 10  8 29 53
 1  2 283892  31564 390000 860124    0    0  5576   104 3543 11171  9  7 27 57
 2  2 283888  41576 388344 854160    0    0  5328  3752 3509 10440  8 12 32 48
 3  0 283884  31548 393256 863196    0    0  9788    96 3311 12488 16 12 33 39
 0  1 283884  30288 393776 864840    0    0  7144    84 3164 11308 11  9 40 40
 1  1 283884  32284 394212 865892    0    0  8888     0 3299 12372  9  9 44 38
 0  1 283884  30160 394940 868092    0    0  3348     0 3330 9148  8  7 24 62
 0  2 283884  41928 392360 863500    0    0  7576   148 3070 10198  8  9 26 56
 0  1 283884  35752 395072 867636    0    0  5912  2632 3351 10686 14 14 33 39
 0  1 283884  42184 395312 864480    0    0  6484     0 3324 10393 11  7 37 45
 0  2 283884  34332 398148 870152    0    0  6808    84 3192 11287 12  6 34 47
 0  1 283884  30592 400132 874160    0    0  5036     0 3319 10024 13  8 32 47
 0  1 283884  32316 399448 874200    0    0  4968     0 3199 8486 11  8 36 46
 0  1 283884  32700 399972 874912    0    0  4808  2512 3492 10576 14 13 31 42
 1  1 283884  30940 401312 877712    0    0  8596     0 3042 11658 12  8 44 36
 1  1 283884  32704 401484 878332    0    0  6196   168 3170 10384 14  8 35 43
 1  2 283884  31492 401396 881588    0    0  8096     0 3133 9950 11  8 40 40
 2  0 283884  31116 401448 883084    0    0  4344     0 3281 9733  9  7 40 45
 0  1 283884  32496 402044 883792    0    0  7860  2456 3338 11221 13 11 34 42
fnmirk
Senior Member
Posty: 8295
Rejestracja: 03 grudnia 2007, 06:37

Post autor: fnmirk »

Ile razy można o tym pisać, aby nie szukać problemów tam gdzie ich nie ma.
Systemy Windows nie obsługują domyślnie partycji linuksowych w ogóle. Obsługa partycji windowsowych z poziomu Linuksa wymaga wykonania wielu operacji, do których nie jest dostępna oficjalna dokumentacja Microsoftu, dlatego to zajmuje więcej czasu.
W Linuksie, zależnie od specyfiki danych i wielkości plików używa się odpowiedniego systemu plików.
Awatar użytkownika
Yampress
Administrator
Posty: 6400
Rejestracja: 09 sierpnia 2007, 21:41
Lokalizacja: PL

Post autor: Yampress »

Kopiowanie na ntfs jest bardzo wolne. Tu nie zmienisz nic.
Awatar użytkownika
DaVidoSS
Junior Member
Posty: 875
Rejestracja: 06 marca 2010, 11:26
Lokalizacja: ~/

Post autor: DaVidoSS »

Jest 2x szybciej przy zamontowaniu przez ntfs-3g.
Awatar użytkownika
yossarian
Beginner
Posty: 241
Rejestracja: 28 lutego 2009, 22:46
Lokalizacja: Kraina Deszczowców

Post autor: yossarian »

Myślę że sam musisz się określić, czy częściej korzystasz z Windowsa czy z Linuksa. Wprawdzie Linux obsługuje NTFS ale jest to proteza. Musisz określić czy przechowujesz dane tak żeby były od razu dostępne spod Windowsa bądź Linuksa. Kopiowanie to raczej nie najlepszy pomysł bo to nie jest zbyt wydajne w przypadku obsługi NTFS spod Linuksa.
phpcoder
Posty: 22
Rejestracja: 24 października 2008, 17:15

Post autor: phpcoder »

Ale przy kopiowaniu na ext3 jest to samo, co prawda w obrębie jednego dysku ale mimo wszystko bardzo wolno i komputer staje się podczas tej operacji mało używalny (w przeciwieństwie do podobnej operacji na Windows XP).

Kod: Zaznacz cały

htop
nie pokazuje mi dużego obciążenia procesora, wiec np. opcja nice nie pomaga
za to dysk "rzęzi" jakby non-stop coś przesyłał na partycję wymiany i jest podobnie jak przy kopiowaniu na ntfs-3g.
P
rzekonwertuję jeszcze drugi dysk na ext3 lub ext4, ale wydaje mi się, że problem jest głębszy, bo komfort pracy przy kopiowaniu plików w tle jest zerowy.
kudlat9
Posty: 12
Rejestracja: 03 maja 2011, 20:47

Post autor: kudlat9 »

Pokaż nam jeszcze:

Kod: Zaznacz cały

hdparm -tT /dev/sdx
dla obu dysków.

Pozdrawiam
Kudlaty
phpcoder
Posty: 22
Rejestracja: 24 października 2008, 17:15

Post autor: phpcoder »

Na sda jest ntfs, na sdb ext4, na sde LVM i ext3 - na tym zainstalowany jest Lenny (jądro 2.6.32-5-xen-amd64 #1 SMP).
Wolne kopiowanie można jakoś przełknąć ale gorzej, że komputer jest nie do użycia podczas takiej operacji (pod Windows XP nie ma problemu).

/dev/sda:

Kod: Zaznacz cały

 Timing cached reads:   2518 MB in  2.00 seconds = 1259.28 MB/sec
 Timing buffered disk reads:  222 MB in  3.02 seconds =  73.39 MB/sec
BIURO:/etc# hdparm -tT /dev/sde
/dev/sde:

Kod: Zaznacz cały

 Timing cached reads:   2728 MB in  2.00 seconds = 1363.60 MB/sec
 Timing buffered disk reads:  408 MB in  3.00 seconds = 135.91 MB/sec
BIURO:/etc# hdparm -tT /dev/sdb
/dev/sdb:

Kod: Zaznacz cały

 Timing cached reads:   2680 MB in  2.00 seconds = 1339.76 MB/sec
 Timing buffered disk reads:  170 MB in  3.02 seconds =  56.35 MB/sec
ODPOWIEDZ