Wolne kopiowanie dużych plików
Wolne kopiowanie dużych plików
Używam Debiana Sid/Squeeze amd64, kilka dysków typu SATA z systemami plików ext3 i ntfs, płyta główna Asus P5QProTurbo,4GB RAM
Mam problem z kopiowaniem danych na dyskach. Przy dużych plikach trwa to bardzo długo - nie ma znaczenia, czy to jest ntfs, czy ext3.
Np 700MB plik kopiuje się około minuty (programy pokazują transfer rzędu 2-4MB).
Tymczasem pod Windows XP działa szybko.
Sprawdziłem ustawienia programem hdparmem według poradników i są poprawne. Kiedyś bawiłem się w badanie obciążenia systemu, może tu jest jakiś problem?
Od czego zacząć sprawdzanie dysków?
Mam problem z kopiowaniem danych na dyskach. Przy dużych plikach trwa to bardzo długo - nie ma znaczenia, czy to jest ntfs, czy ext3.
Np 700MB plik kopiuje się około minuty (programy pokazują transfer rzędu 2-4MB).
Tymczasem pod Windows XP działa szybko.
Sprawdziłem ustawienia programem hdparmem według poradników i są poprawne. Kiedyś bawiłem się w badanie obciążenia systemu, może tu jest jakiś problem?
Od czego zacząć sprawdzanie dysków?
Kopiowanie pliku 6GB z ext3 na ntfs (2 różne dyski SATA) - ile to powinno zająć czasu na sprawnym systemie?
Zapomniałem dodać, że używam LVM2.
Zapomniałem dodać, że używam LVM2.
Kod: Zaznacz cały
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
4 1 283784 41508 336692 805084 6 22 450 296 1490 214 43 7 37 14
3 1 283784 31348 339656 813136 0 0 6060 0 3075 10343 11 7 38 43
1 1 283868 32564 338912 815100 0 84 5688 2344 3289 10450 12 9 26 53
0 2 283896 31296 342504 816324 0 28 7260 124 3196 11032 9 10 26 55
1 5 283892 31184 344984 817256 0 0 6032 20 3182 10589 14 8 37 40
3 1 283892 30776 344812 821404 0 0 6112 68 3437 11022 10 10 22 58
0 1 283892 31600 345680 822564 0 0 5240 0 3144 9340 10 11 32 47
1 0 283892 32412 346888 825340 0 0 7288 2692 3309 12106 13 9 36 42
0 1 283892 32280 352380 824024 0 0 7628 84 3277 11661 12 10 33 46
0 2 283892 33620 355232 823592 0 0 5468 4 3219 10338 10 7 43 40
2 1 283892 32872 359100 823664 0 0 5536 52 3119 9512 12 6 27 56
0 2 283892 37520 362376 820204 0 0 6208 0 3055 9996 10 7 41 42
1 2 283892 35632 361648 824292 0 0 4284 2340 3217 9234 11 11 25 53
2 1 283892 44008 357112 824788 0 0 6168 136 3067 9975 11 6 32 51
0 1 283892 32132 361160 833272 0 0 6568 0 3315 12435 8 8 42 42
1 1 283892 48572 357240 827728 0 0 5296 4 3176 10099 7 9 39 45
1 1 283892 32940 360596 840184 0 0 7784 0 3403 10668 10 8 41 43
1 2 283892 31116 365016 840808 0 0 7252 2820 3249 10840 13 11 27 49
0 3 283892 47740 365972 828492 0 0 7812 114316 3420 11712 10 12 14 64
0 2 283892 84740 360068 806484 0 0 6212 48992 3312 8518 9 8 11 73
1 4 283892 65180 366824 820688 0 0 6896 39360 3595 11432 12 9 28 51
0 2 283892 55424 370336 828812 0 0 3808 0 3408 9156 10 8 21 61
1 2 283892 58672 372928 826976 0 0 7376 2944 3427 11718 15 15 25 46
0 2 283892 44516 380260 836420 0 0 12592 204 3646 16320 11 11 41 36
0 2 283892 31148 385664 845624 0 0 6044 0 3272 10682 9 6 30 54
1 1 283892 31664 387236 846644 0 0 6952 572 3085 11018 11 8 17 64
1 1 283892 32408 387372 847688 0 0 4544 0 3303 9983 10 7 30 53
0 4 283892 30576 388372 851936 0 0 6460 3200 3242 11168 9 6 36 49
1 1 283892 31580 388424 854568 0 0 8108 272 3636 13051 13 15 30 43
4 2 283892 31612 388864 856364 0 0 5104 84 3492 10071 10 6 21 62
2 0 283892 48132 384760 848812 0 0 4840 4 3399 9968 10 8 29 53
1 2 283892 31564 390000 860124 0 0 5576 104 3543 11171 9 7 27 57
2 2 283888 41576 388344 854160 0 0 5328 3752 3509 10440 8 12 32 48
3 0 283884 31548 393256 863196 0 0 9788 96 3311 12488 16 12 33 39
0 1 283884 30288 393776 864840 0 0 7144 84 3164 11308 11 9 40 40
1 1 283884 32284 394212 865892 0 0 8888 0 3299 12372 9 9 44 38
0 1 283884 30160 394940 868092 0 0 3348 0 3330 9148 8 7 24 62
0 2 283884 41928 392360 863500 0 0 7576 148 3070 10198 8 9 26 56
0 1 283884 35752 395072 867636 0 0 5912 2632 3351 10686 14 14 33 39
0 1 283884 42184 395312 864480 0 0 6484 0 3324 10393 11 7 37 45
0 2 283884 34332 398148 870152 0 0 6808 84 3192 11287 12 6 34 47
0 1 283884 30592 400132 874160 0 0 5036 0 3319 10024 13 8 32 47
0 1 283884 32316 399448 874200 0 0 4968 0 3199 8486 11 8 36 46
0 1 283884 32700 399972 874912 0 0 4808 2512 3492 10576 14 13 31 42
1 1 283884 30940 401312 877712 0 0 8596 0 3042 11658 12 8 44 36
1 1 283884 32704 401484 878332 0 0 6196 168 3170 10384 14 8 35 43
1 2 283884 31492 401396 881588 0 0 8096 0 3133 9950 11 8 40 40
2 0 283884 31116 401448 883084 0 0 4344 0 3281 9733 9 7 40 45
0 1 283884 32496 402044 883792 0 0 7860 2456 3338 11221 13 11 34 42
Ile razy można o tym pisać, aby nie szukać problemów tam gdzie ich nie ma.
Systemy Windows nie obsługują domyślnie partycji linuksowych w ogóle. Obsługa partycji windowsowych z poziomu Linuksa wymaga wykonania wielu operacji, do których nie jest dostępna oficjalna dokumentacja Microsoftu, dlatego to zajmuje więcej czasu.
W Linuksie, zależnie od specyfiki danych i wielkości plików używa się odpowiedniego systemu plików.
Systemy Windows nie obsługują domyślnie partycji linuksowych w ogóle. Obsługa partycji windowsowych z poziomu Linuksa wymaga wykonania wielu operacji, do których nie jest dostępna oficjalna dokumentacja Microsoftu, dlatego to zajmuje więcej czasu.
W Linuksie, zależnie od specyfiki danych i wielkości plików używa się odpowiedniego systemu plików.
Myślę że sam musisz się określić, czy częściej korzystasz z Windowsa czy z Linuksa. Wprawdzie Linux obsługuje NTFS ale jest to proteza. Musisz określić czy przechowujesz dane tak żeby były od razu dostępne spod Windowsa bądź Linuksa. Kopiowanie to raczej nie najlepszy pomysł bo to nie jest zbyt wydajne w przypadku obsługi NTFS spod Linuksa.
Ale przy kopiowaniu na ext3 jest to samo, co prawda w obrębie jednego dysku ale mimo wszystko bardzo wolno i komputer staje się podczas tej operacji mało używalny (w przeciwieństwie do podobnej operacji na Windows XP).
nie pokazuje mi dużego obciążenia procesora, wiec np. opcja nice nie pomaga
za to dysk "rzęzi" jakby non-stop coś przesyłał na partycję wymiany i jest podobnie jak przy kopiowaniu na ntfs-3g.
Przekonwertuję jeszcze drugi dysk na ext3 lub ext4, ale wydaje mi się, że problem jest głębszy, bo komfort pracy przy kopiowaniu plików w tle jest zerowy.
Kod: Zaznacz cały
htop
za to dysk "rzęzi" jakby non-stop coś przesyłał na partycję wymiany i jest podobnie jak przy kopiowaniu na ntfs-3g.
Przekonwertuję jeszcze drugi dysk na ext3 lub ext4, ale wydaje mi się, że problem jest głębszy, bo komfort pracy przy kopiowaniu plików w tle jest zerowy.
Na sda jest ntfs, na sdb ext4, na sde LVM i ext3 - na tym zainstalowany jest Lenny (jądro 2.6.32-5-xen-amd64 #1 SMP).
Wolne kopiowanie można jakoś przełknąć ale gorzej, że komputer jest nie do użycia podczas takiej operacji (pod Windows XP nie ma problemu).
/dev/sda:
/dev/sde:
/dev/sdb:
Wolne kopiowanie można jakoś przełknąć ale gorzej, że komputer jest nie do użycia podczas takiej operacji (pod Windows XP nie ma problemu).
/dev/sda:
Kod: Zaznacz cały
Timing cached reads: 2518 MB in 2.00 seconds = 1259.28 MB/sec
Timing buffered disk reads: 222 MB in 3.02 seconds = 73.39 MB/sec
BIURO:/etc# hdparm -tT /dev/sde
Kod: Zaznacz cały
Timing cached reads: 2728 MB in 2.00 seconds = 1363.60 MB/sec
Timing buffered disk reads: 408 MB in 3.00 seconds = 135.91 MB/sec
BIURO:/etc# hdparm -tT /dev/sdb
Kod: Zaznacz cały
Timing cached reads: 2680 MB in 2.00 seconds = 1339.76 MB/sec
Timing buffered disk reads: 170 MB in 3.02 seconds = 56.35 MB/sec