Zurück   Trojaner-Board > Web/PC > Alles rund um Mac OSX & Linux

Alles rund um Mac OSX & Linux: Webseiten Spiegeln

Windows 7 Für alle Fragen rund um Mac OSX, Linux und andere Unix-Derivate.

Antwort
Alt 29.10.2002, 12:53   #1
Andreas Haak
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



Hallöschen ...

Suche ein nettes Tool um Webseiten und FTPs lokal zu spiegeln. WGET funktioniert - ist aber quälend langsam. Kann mir einer ein anderes Programm empfehlen das mehrere downloadthreads beherrscht oder mir sagen wir ich wget multithreading beibringe?

Alt 29.10.2002, 14:10   #2
dauni
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



Vielleicht nt? (Downloader for X)

Weiß nur, dass man die Rekursionstiefe bei dem Prog einstellen kann, obs (un wie) wirklich Seiten saugt, kann ich nicht sagen
__________________


Alt 29.10.2002, 14:20   #3
Andreas Haak
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



na das kannst du bei wget auch. aber wget saugt nur immer eine datei jeweils. und das ist lahm. ich hab über 1 MBit Downstream. Und der Server hat ne beschränkung von max 20 kb pro sekunde pro connection. Sprich:

ich kann jetzt eine verbindung aufbauen mit 20 kb (wget) oder ich bau 8 verbindungen paralell auf und saug jeweils 8 dateien gleichzeitig mit jeweils 20 kb. Letzzteres ist 8 mal schneller. Und windows kann das jeder besseres Mirroring Tool. Aber WGet kanns nicht befürchte ich - und die meisten anderen die ich gefunden habe auch nicht.
__________________

Alt 29.10.2002, 14:26   #4
dauni
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



Hat mich auch schon gefuchst, vielleicht weiß ja jemand etwas - sonst mußt halt einen Patch für wget schreiben [img]graemlins/crazy.gif[/img] (dann lass es mich aber wissen!)

Alt 29.10.2002, 14:54   #5
Andreas Haak
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



Ich mag ungern ein eigenes Programm coden - wäre aber möglich zur not ... .


Alt 29.10.2002, 18:11   #6
cruz
Administrator, a.D.
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



prozilla dürfte das sein, was ihr sucht.

http://prozilla.genesys.ro/

.cruz
__________________
--> Webseiten Spiegeln

Alt 29.10.2002, 18:32   #7
dauni
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



So wie ich das sehe, ist das nur ein "ordinärer" beschleuniger ....

Alt 29.10.2002, 19:51   #8
Andreas Haak
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



Nein - das such ich nicht ...

Ok - erklär ich es halt ...

Ich habe einen WWW Server. Auf dem liegen 20.000 Dateien. Pro HTTP Verbindungen kann ich mit 20 kb Saugen.

Nun kann ich diesen Server problemlos mit wget spiegeln, keine Frage. Das ganze dauert aber ewig.

Da der Server nicht resumen kann (von daher nicht mehrere Threads für eine Datei) suche ich deshalb eine Mirror Software die mehrere Dateien gleichzeitig lädt beim Spiegeln (8x 20 kb ist besswer als nur einmal 20 kb). Wie gesagt - unter Windows gibts da dutzende (httpweazel z.B.). Unter Linux such ich imma noch. Wenn ich bis morgen nix gefunden habe, werde ich wohl eine selbst schreiben müssen ... .

Alt 29.10.2002, 20:26   #9
dauni
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



Ich glaube, dass du bis morgen nix findest ...

Alt 29.10.2002, 20:42   #10
n_dot_force
Gast
 
Webseiten Spiegeln - Idee

Webseiten Spiegeln



naja...

theoretisch hätt ich ne lösung...

was hindert dich daran, 8 instanzen von wget im hintergrund laufen zu lassen...

das wär das geringste problem...

nur das mit der liste... ich werd mich mal umsehen...

[img]graemlins/teufel3.gif[/img]

Alt 29.10.2002, 20:57   #11
n_dot_force
Gast
 
Webseiten Spiegeln - Lächeln

Webseiten Spiegeln



so...

ich hätt zwar ein wget-script gefunden, aber verzichte darauf, da ich IMO was besseres finden konnte...

und zwar nennt sich das ganze sirobot und ist ein perl-script...

von den features dürfte punkt 3 am interessantesten sein:

</font><blockquote>Zitat:</font><hr />...
Concurrent jobs
This is quite useful if you have to get a lot of files because Sirobot is able to fetch several files (called jobs) at once
...</font>[/QUOTE][img]graemlins/teufel3.gif[/img]

Alt 29.10.2002, 20:57   #12
dauni
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



tja - nur überschreiben dir die 8 instanzen gegenseitig alles.....
bzw. wenn man das abschaltet, dann "stehen sie sich im weg"

Alt 29.10.2002, 21:10   #13
piet
Gast
 
Webseiten Spiegeln - Icon30

Webseiten Spiegeln



hiho,

LFTP sieht recht vielversprechend aus.

Featurelist LFTP

piet

Alt 29.10.2002, 21:25   #14
n_dot_force
Gast
 
Webseiten Spiegeln - Pfeil

Webseiten Spiegeln



@dauni:

mein gedanke mit den 8 instanzen hat nichts mit sirobot zu tun, das ist was anderes...

ich hätte da diese script hier gefunden:

</font><blockquote>Zitat:</font><hr />...
Download files from a list

And the following reads a list of URIs (along with parameters to wget if any) and starts a maximum of $max_proc instances of it. All URIs that wget started processing are appended to a file called done.txt in the downloads subdirectory of your HOME.

</font><blockquote>Code:</font><hr /><pre style="font-size:x-small; font-family: monospace;">#!/bin/bash

cd $HOME/downloads/
PATH=/bin:/usr/bin

line=1
max_proc=3
list_file=&quot;$HOME/downloads/todo.txt&quot;
prog=&quot;/usr/local/bin/wget&quot;

while true
do
while true
do
proc=`ps -f -u $USER | grep -c $prog`
# grep is in the list too
let proc--

lines=`grep -c &quot;&quot; $list_file`
echo &quot;Proc: $proc / $max_proc Line: $line / $lines&quot;

[[ $proc -ge $max_proc &#0124;&#0124; $line -gt $lines ]] &amp;&amp; break

params=`grep -n &quot;&quot; $list_file | grep &quot;^$line:&quot; |
sed -e &quot;s/^$line://&quot;`
echo $params | tee -a done.txt archive.txt

# ignore empty lines
if [ &quot;$params&quot; ]; then
$prog -b $params
sleep 3
fi
let line++
done

echo &quot;Waiting...&quot;
sleep 10
done</pre>[/QUOTE]...</font>[/QUOTE](quelle: http://martin.f2o.org/linux/wget)

da wäre sich nix in die quere gekommen (jedes wget hat ja seine eigene jobnummer, und durch eine liste wird den jeweiligen jobs die datei übergeben, da sind dann keine überschneidungen )

wie gesagt: das obige script müsste eventuell noch modifiziert werden, und da sirobot eh von haus aus für das, was andreas machen will, konzipiert ist, wieso dann noch viel selber rumstricken?

[img]graemlins/teufel3.gif[/img]

Alt 29.10.2002, 22:42   #15
dauni
 
Webseiten Spiegeln - Beitrag

Webseiten Spiegeln



@ÄnnPunktForce

Als ich das schrieb, war dein Beitrag noch nicht da

Antwort

Themen zu Webseiten Spiegeln
anderes, download, empfehlen, funktionier, funktioniert, lokal, mehrere, multi, nettes, programm, quälend, spiegel, tool, webseite, webseiten



Ähnliche Themen: Webseiten Spiegeln


  1. Festplatte vom Laptop spiegeln?
    Netzwerk und Hardware - 22.05.2015 (7)
  2. Webseiten mit find.com belastet
    Plagegeister aller Art und deren Bekämpfung - 05.11.2014 (15)
  3. Virus öffnet schädliche Webseiten und Werbeseiten + Webseiten voller Werbung
    Log-Analyse und Auswertung - 27.10.2014 (10)
  4. Hackerangriff auf Nato-Webseiten
    Nachrichten - 17.03.2014 (0)
  5. webseiten geblockt
    Plagegeister aller Art und deren Bekämpfung - 06.07.2013 (11)
  6. Schadsoftware auf Webseiten der Sparkasse
    Nachrichten - 20.02.2013 (0)
  7. Umleitung zu anderen Webseiten
    Log-Analyse und Auswertung - 21.06.2010 (1)
  8. ungewolltes öffnen von Webseiten
    Log-Analyse und Auswertung - 11.11.2009 (82)
  9. Sensationelle Webseiten
    Alles rund um Windows - 02.09.2009 (31)
  10. Selbständiges öffenen von Webseiten
    Plagegeister aller Art und deren Bekämpfung - 07.05.2009 (8)
  11. IE ruft willkürlich Webseiten auf
    Log-Analyse und Auswertung - 31.03.2009 (11)
  12. weiterleitung zu anderen webseiten
    Log-Analyse und Auswertung - 21.02.2009 (0)
  13. Trojaner der webseiten öffnet
    Log-Analyse und Auswertung - 24.12.2008 (1)
  14. Webseiten öffnen unkontrolliert
    Mülltonne - 20.08.2008 (0)
  15. Webseiten laden nicht
    Log-Analyse und Auswertung - 30.07.2008 (1)
  16. Spiegeln des Video-ROM
    Alles rund um Mac OSX & Linux - 21.05.2008 (1)
  17. Festplatte spiegeln ?
    Alles rund um Windows - 01.01.2006 (1)

Zum Thema Webseiten Spiegeln - Hallöschen ... Suche ein nettes Tool um Webseiten und FTPs lokal zu spiegeln. WGET funktioniert - ist aber quälend langsam. Kann mir einer ein anderes Programm empfehlen das mehrere downloadthreads - Webseiten Spiegeln...
Archiv
Du betrachtest: Webseiten Spiegeln auf Trojaner-Board

Search Engine Optimization by vBSEO ©2011, Crawlability, Inc.