Du må være registrert og logget inn for å kunne legge ut innlegg på freak.no
X
LOGG INN
... eller du kan registrere deg nå
Dette nettstedet er avhengig av annonseinntekter for å holde driften og videre utvikling igang. Vi liker ikke reklame heller, men alternativene er ikke mange. Vær snill å vurder å slå av annonseblokkering, eller å abonnere på en reklamefri utgave av nettstedet.
  5 1557
Føles litt rart å lage ny tråd om noe som det finnes tusen millioner tråder om på StackOverflow allerede, men jeg fant ikke noe som hjalp der, så jeg prøver her i håp om at noen vet om noe lurt.


Jeg har en mappe på ca 15 GB på en Ubuntu-maskin, som jeg vil ha kopiert over på en Mac. Begge er koblet til samme Wi-Fi-nettverk.

Jeg har prøvd alle mulige varianter av scp og rsync, med alskens rare options og flaggkombinasjoner ihht StackOF etc, men jeg er stuck på godt under 2 MB/s. I løpet av en hel time nå, har jeg fått overført under 6 GB.

Det første jeg tenker er at det enten er noe issues med nettverket, eller diskene / I/O. Men det rare er at jeg lastet ned disse samme filene på omtrent 20 minutter (~100 Mbps), så både nettverket og diskene skulle i mitt hode være fullt kapable til mer enn de skrøpelige hastighetene jeg opplever her nå. Jeg har også tidligere lastet ned de samme filene på begge maskinene, mye raskere.

Hva er det som gjør disse overføringene så trege?
Noen som har noen tips til å speede dem opp, når vanlige triks som å skru av komprimering (-z) og deltatransfer (-W), etc, ikke utgjør noen som helst merkbar forskjell?

Nå er jeg halvveis i overføringen, så jeg er antakelig ferdig før jeg får svar, men dette har jeg lurt på mange ganger tidligere, og jeg vil gjerne finne det ut til neste gang også, så hyl ut hvis noen har noen gode tips!


Edit:
Hvis noen har andre gode tips til overføring på LAN, utenom fysiske dingser som USB-sticks og eksterne harddisker, så tar jeg gjerne i mot det også, altså!
Men er uansett nysgjerrig på hvorfor scp/rsync presterer så dårlig.
Sist endret av Realist1; 26. januar 2022 kl. 20:55.
Jeg vet ikke om det stemmer helt, men jeg mistenker at både "opp og ned" trafikken på Wifi er det som gjør det tregt. Har du mulighet til å teste med kabel tipper jeg du ser representable resultater igjen.
Carrots for Fun!
darkslayer322's Avatar
SCP er ekstremt tregt, får rundt 900kb/s hvis jeg bruker SCP.

Hvorfor ikke bruke SFTP?
Prøv gode gamle ukrypterte FTP.
HTTP er også ganske kjapt.

Ta gjerne og mos hele mappestrukturen inn i 7Zip arkiv også.

Enkleste måte å dele via HTTP (funker bra for få store filer):

Kode

python3 -m http.server
Sist endret av Ozma; 28. januar 2022 kl. 17:46.
Sitat av i_et_nøtteskall Vis innlegg
Jeg vet ikke om det stemmer helt, men jeg mistenker at både "opp og ned" trafikken på Wifi er det som gjør det tregt. Har du mulighet til å teste med kabel tipper jeg du ser representable resultater igjen.
Vis hele sitatet...
Det har jeg dessverre ikke.

Sitat av darkslayer322 Vis innlegg
SCP er ekstremt tregt, får rundt 900kb/s hvis jeg bruker SCP.

Hvorfor ikke bruke SFTP?
Vis hele sitatet...
Bruker gjerne SFTP hvis det er raskere! Har aldri brukt det før, så derfor defaulta jeg til rsync/scp. Kan gi det et forsøk og teste det ut!

Sitat av Ozma Vis innlegg
Prøv gode gamle ukrypterte FTP.
HTTP er også ganske kjapt.

Ta gjerne og mos hele mappestrukturen inn i 7Zip arkiv også.

Enkleste måte å dele via HTTP (funker bra for få store filer):

Kode

python3 -m http.server
Vis hele sitatet...
Skal prøve FTP!
Komprimering tenkte jeg ikke på engang, utenom komprimeringsflaggene i rsync/scp.
HTTP prøvde jeg, også http.server i Python, men jeg har mange tusen filer, og jeg fikk bare opp en enkel directory listing, der jeg ikke så noen annen mulighet enn å klikke på og laste ned én og én fil. Jeg kunne helt sikkert brukt HTTP på en eller annen måte, men undersøkte ikke dette videre. Hvordan kunne jeg gjort det med HTTP og tusenvis av filer? Kanskje gzip/7zip-komprimere, og så servere som én fil på http.server? Hmmm... Burde tenkt på den!
I failed unit tests
Freddy_fred5's Avatar


Default options på SCP og Rsync for meg mellom Linux hoster (ubuntu desktop i den ene enden og server i den andre.) WiFi6 for klienten og hardkoblet ethernet (+ noen kilometer med fiber) mellom server og klient.

Vet ikke om issue evt. er Mac'en i andre enden? Vet at mye oppfører seg litt merkelig på Mac. Om du evt. vil teste for å utelukke at det er klienten så kan du sende meg en PM, så kan du kjapt få lov til å teste mot serveren min.

EDIT:
Når det er sagt er det noen tilfeller hvor Rsync/scp (eller egentlig det meste av overføring) kan bli tregere: det er hvis det er veldig mange små filer.
Sist endret av Freddy_fred5; 28. januar 2022 kl. 22:13.