Re: Flow-Datenspeicherung per EU-Direktive?
Hi,
On Sat, May 28, 2005 at 09:05:58PM +0200, Jan Lühr wrote:
> Am Samstag 28 Mai 2005 11:17 schrieb Gert Doering:
> > On Sat, May 28, 2005 at 10:28:47AM +0200, Jan Lühr wrote:
> > > Am Donnerstag 26 Mai 2005 20:41 schrieb Gert Doering:
> > > > Etwa 20 Gbyte pro Tag bei uns - als relativ kleinem ISP.
> > > Wie weit komprimiert ihr eigentlich?
> > Das ist das unkomprimierte Volumen.
> und welche Daten umfasst diese Protokollierung?
Cisco Netflow, also "full flow" mit Layer4-Informationen.
> > Jagt man da ein "bzip2" drueber schrumpfen die Daten auf etwa 30%.
>
> ;) - ist meistens bei Text der Fall - aber die Frage ist: Geht es noch
> besser?
> (bzip2 verlangt bekanntlich einiges an Ressourcen)
>
> Wie viel könntet ihr realistisch Protokollieren, wenn ihr die Protokollierung
> optimiert und gleichzeit das herraussuchen vergleichsweise effizient
> geschehen soll?
Wenn man die Flows aggregiert (also nicht jede einzelne TCP-Session
auffuehrt, sondern nur "im Zeitfenster x bis x+15 minuten gab es IP-
Traffic von A nach B" speichert) koennte man - bei deutlichem Informations-
verlust, natuerlich - im Prinzip bei unserer Groesse die Daten wohl
beliebig speichern (sollte sich bei <5 Gbyte/Tag bewegen, also weniger
als 2 Tbyte/Jahr, und das geben aktuellen PC-RAIDs schon fast her).
Allerdings bleibt da trotzdem die Frage "wer zahlts" und "wo ist die
Verhaeltnismaessigkeit?" - besonders letzteres.
Bei groesseren ISPs sind die Datenmengen trotzdem entsprechend viel
groesser, und wenn man da einen entsprechenden Zugriff ermoeglichen
will, wird's auch entsprechend *viel* teurer... (weil man nicht mehr
"einfach auf Band migrieren" kann - bzw. Baender dann auch schon
unangenehm teuer werden).
gert
--
USENET is *not* the non-clickable part of WWW!
//www.muc.de/~gert/
Gert Doering - Munich, Germany gert@xxxxxxxxxxxxxx
fax: +49-89-35655025 gert@xxxxxxxxxxxxxxxxxxxxxxxxxxxxx
--
To unsubscribe, e-mail: debate-unsubscribe@xxxxxxxxxxxxxx
For additional commands, e-mail: debate-help@xxxxxxxxxxxxxx