Actualizar Squid 3.x cualquier versión

[abcwarbot]

Amigo gracias por tu sugerencia y claro tienes razon aunque ya esta cubierto, lo estoy probando con cerca de 150 clientes, 100 practicamente en horarios de oficina y el resto son casas particulares que navegan mas que todo en la noche y gracias a la rapidez de esta version de squid apenas y se acerca a las 6000 conexiones, porque como he dicho estoy trabajando con 3 workers, lastimosamente lo he tenido que hacer con un amigo ya que yo no cuento con esa cantidad de clientes, el la esta haciendo de conejillo de indias y hasta el momento ha reportado que ha tenido buenas criticas de parte de sus clientes, el unico detalle es que no esta usando Raptor, solo squid por el momento, despues haremos las pruebas con raptor, Saludos

Firecold,

Gracias por tu esfuerzo. Tus experiencias nos pueden acercar mucho a mejoras en desempeño y accesibilidad.
Importante si es saber como funciona integrado con el raptor.

Podrías por favor darnos las estadísticas generadas por cachemgr a continuación para análisis:

Median Service Times (seconds)  5 min    60 min:
    HTTP Requests (All): 
    Cache Misses:         
    Cache Hits:           
    Near Hits:             
    Not-Modified Replies: 
    DNS Lookups:           
    ICP Queries:           

Resource usage for squid:
   UP Time:   
   CPU Time:   
   CPU Usage:   
   CPU Usage, 5 minute avg:   
   CPU Usage, 60 minute avg:   
   Process Data Segment Size via sbrk():
   Maximum Resident Size:
   Page faults with physical i/o:


Recompilaste con los Async IO de 128.??



Cordialmente

[firecold]

Código (cpp) [Seleccionar] Expandir

Connection information for squid:
Number of clients accessing cache: 125
Number of HTTP requests received: 7358789229
Number of ICP messages received: 0
Number of ICP messages sent: 0
Number of queued ICP replies: 0
Number of HTCP messages received: 0
Number of HTCP messages sent: 0
Request failure ratio: 0.00
Average HTTP requests per minute since start: 7456.4
Average ICP messages per minute since start: 0.0

Median Service Times (seconds)  5 min    60 min:
HTTP Requests (All):   3.33943  10.49576
Cache Misses:          1.42149  7.61549
Cache Hits:            0.04538  1.07269
Near Hits:             0.00000  0.28853
Not-Modified Replies:  0.00000  0.00000
DNS Lookups:           2.12472  5.25460
ICP Queries:           0.00000  0.00000

Resource usage for squid:
UP Time: 86500.612 seconds
CPU Time: 44018.328 seconds
CPU Usage: 1.23%
CPU Usage, 5 minute avg: 5.32%
CPU Usage, 60 minute avg: 5.19%
Process Data Segment Size via sbrk(): 56960 KB
Maximum Resident Size: 1238624 KB
Page faults with physical i/o: 175

Amigo podria tambien postear el suyo para que podamos hacer una comparacion, realmente no hice ninguna optimizacion de ningun tipo el sistema esta trabajando con filedescriptors=65536 y con async-io=8, estan en el valor por defecto ya que como solo le instale squid al compañero y no lo recompile para darle mas descriptores de archivos y darle mas velocidad de escritura/lectura y como comente no se esta usando raptor, ya que fue una instalacion rapida, por los clientes del amigo, el proximo fin de semana volvere a ir donde el e instalare raptor y el me contara si aumento el rendimiento si o no, por lo demas quisiera saber su opinion al respecto de los datos que le envio, los cree bueno o malos o aceptables, supero sus espectativas o las dejo por el suelo, Saludos

[abcwarbot]

Código (cpp) [Seleccionar] Expandir

Connection information for squid:
Number of clients accessing cache: 125
Number of HTTP requests received: 7358789229
Number of ICP messages received: 0
Number of ICP messages sent: 0
Number of queued ICP replies: 0
Number of HTCP messages received: 0
Number of HTCP messages sent: 0
Request failure ratio: 0.00
Average HTTP requests per minute since start: 7456.4
Average ICP messages per minute since start: 0.0

Median Service Times (seconds)  5 min    60 min:
HTTP Requests (All):   3.33943  10.49576
Cache Misses:          1.42149  7.61549
Cache Hits:            0.04538  1.07269
Near Hits:             0.00000  0.28853
Not-Modified Replies:  0.00000  0.00000
DNS Lookups:           2.12472  5.25460
ICP Queries:           0.00000  0.00000

Resource usage for squid:
UP Time: 86500.612 seconds
CPU Time: 44018.328 seconds
CPU Usage: 1.23%
CPU Usage, 5 minute avg: 5.32%
CPU Usage, 60 minute avg: 5.19%
Process Data Segment Size via sbrk(): 56960 KB
Maximum Resident Size: 1238624 KB
Page faults with physical i/o: 175

Amigo podria tambien postear el suyo para que podamos hacer una comparacion, realmente no hice ninguna optimizacion de ningun tipo el sistema esta trabajando con filedescriptors=65536 y con async-io=8, estan en el valor por defecto ya que como solo le instale squid al compañero y no lo recompile para darle mas descriptores de archivos y darle mas velocidad de escritura/lectura y como comente no se esta usando raptor, ya que fue una instalacion rapida, por los clientes del amigo, el proximo fin de semana volvere a ir donde el e instalare raptor y el me contara si aumento el rendimiento si o no, por lo demas quisiera saber su opinion al respecto de los datos que le envio, los cree bueno o malos o aceptables, supero sus espectativas o las dejo por el suelo, Saludos

Aunque no tengo parte de las estadísticas de clientes, mi promedio son 105. A continuación mis otras stats:

Connection information for squid:
   Number of clients accessing cache:   0
   Number of HTTP requests received:   3102897
   Number of ICP messages received:   0
   Number of ICP messages sent:   0
   Number of queued ICP replies:   0
   Number of HTCP messages received:   0
   Number of HTCP messages sent:   0
   Request failure ratio:    0.00
   Average HTTP requests per minute since start:   3200.0
   Average ICP messages per minute since start:   0.0
   Select loop called: 204729476 times, 0.284 ms avg
Cache information for squid:
   Hits as % of all requests:   5min: 11.1%, 60min: 7.5%
   Hits as % of bytes sent:   5min: 3.0%, 60min: 2.9%
   Memory hits as % of hit requests:   5min: 10.7%, 60min: 15.2%
   Disk hits as % of hit requests:   5min: 69.1%, 60min: 46.9%
   Storage Swap size:   75366272 KB
   Storage Swap capacity:   92.0% used,  8.0% free
   Storage Mem size:   2076504 KB
   Storage Mem capacity:   100.0% used,  0.0% free
   Mean Object Size:   162.17 KB
   Requests given to unlinkd:   0
Median Service Times (seconds)  5 min    60 min:
   HTTP Requests (All):   0.27332  0.28853
   Cache Misses:          0.32154  0.30459
   Cache Hits:            0.01387  0.05046
   Near Hits:             0.27332  0.37825
   Not-Modified Replies:  0.00091  0.00000
   DNS Lookups:           0.24351  0.36346
   ICP Queries:           0.00000  0.00000
Resource usage for squid:
   UP Time:   58178.820 seconds
   CPU Time:   7542.455 seconds
   CPU Usage:   12.96%
   CPU Usage, 5 minute avg:   4.37%
   CPU Usage, 60 minute avg:   6.28%
   Process Data Segment Size via sbrk(): 2685048 KB
   Maximum Resident Size: 11234128 KB
   Page faults with physical i/o: 2


Doblas la cantidad de peticiones que manejas pero los tiempos promedio para atender las peticiones son altos comparados con los míos.
Evalua tu y me comentas.



Cordialmente

[firecold]

Aunque no tengo parte de las estadísticas de clientes, mi promedio son 105. A continuación mis otras stats:

Connection information for squid:
   Number of clients accessing cache:   0
   Number of HTTP requests received:   3102897
   Number of ICP messages received:   0
   Number of ICP messages sent:   0
   Number of queued ICP replies:   0
   Number of HTCP messages received:   0
   Number of HTCP messages sent:   0
   Request failure ratio:    0.00
   Average HTTP requests per minute since start:   3200.0
   Average ICP messages per minute since start:   0.0
   Select loop called: 204729476 times, 0.284 ms avg
Cache information for squid:
   Hits as % of all requests:   5min: 11.1%, 60min: 7.5%
   Hits as % of bytes sent:   5min: 3.0%, 60min: 2.9%
   Memory hits as % of hit requests:   5min: 10.7%, 60min: 15.2%
   Disk hits as % of hit requests:   5min: 69.1%, 60min: 46.9%
   Storage Swap size:   75366272 KB
   Storage Swap capacity:   92.0% used,  8.0% free
   Storage Mem size:   2076504 KB
   Storage Mem capacity:   100.0% used,  0.0% free
   Mean Object Size:   162.17 KB
   Requests given to unlinkd:   0
Median Service Times (seconds)  5 min    60 min:
   HTTP Requests (All):   0.27332  0.28853
   Cache Misses:          0.32154  0.30459
   Cache Hits:            0.01387  0.05046
   Near Hits:             0.27332  0.37825
   Not-Modified Replies:  0.00091  0.00000
   DNS Lookups:           0.24351  0.36346
   ICP Queries:           0.00000  0.00000
Resource usage for squid:
   UP Time:   58178.820 seconds
   CPU Time:   7542.455 seconds
   CPU Usage:   12.96%
   CPU Usage, 5 minute avg:   4.37%
   CPU Usage, 60 minute avg:   6.28%
   Process Data Segment Size via sbrk(): 2685048 KB
   Maximum Resident Size: 11234128 KB
   Page faults with physical i/o: 2


Doblas la cantidad de peticiones que manejas pero los tiempos promedio para atender las peticiones son altos comparados con los míos.
Evalua tu y me comentas.

Cordialmente

En eso tienes razon no lo voy a decir que no, pues los tiempos para responder son bastantes altos, pero hay razon para ello, el hardware que se esta manejando es un pentiun 4 3.00GHz con 1GB de ram y un disco duro IDE viejo de 120GB, por eso las respuestas son bastante altas, ya que el hardware es bastante viejo y de pocos recursos para la cantidad de clientes y la demanda que ellos tienen como puedes ver es bastante alta, pero como eso es lo que habia para probar eso use, ya te digo que si tuviera core i5 con por lo menos 4GB de ram y un disco duro sata fuera otra historia, pero pronto cambiaremos el hardware ya que le parecio el rendimiento al amigo y va a poner un equipo dedicado a esto, con mucho mas recursos, por lo demas te doy las gracias, por los parametros de comparacion, Saludos

[abcwarbot]

En eso tienes razon no lo voy a decir que no, pues los tiempos para responder son bastantes altos, pero hay razon para ello, el hardware que se esta manejando es un pentiun 4 3.00GHz con 1GB de ram y un disco duro IDE viejo de 120GB, por eso las respuestas son bastante altas, ya que el hardware es bastante viejo y de pocos recursos para la cantidad de clientes y la demanda que ellos tienen como puedes ver es bastante alta, pero como eso es lo que habia para probar eso use, ya te digo que si tuviera core i5 con por lo menos 4GB de ram y un disco duro sata fuera otra historia, pero pronto cambiaremos el hardware ya que le parecio el rendimiento al amigo y va a poner un equipo dedicado a esto, con mucho mas recursos, por lo demas te doy las gracias, por los parametros de comparacion, Saludos

Firecold,

Debo agregar que 7k peticiones http x segundo son muchisimas y sin duda me interesa tenerlas tambien.
No olvides compilar  con los parametros de optimizacion  asi podemos realizar una comparativa mas exacta.


Cordialmemte

[firecold]

Firecold,

Debo agregar que 7k peticiones http x segundo son muchisimas y sin duda me interesa tenerlas tambien.
No olvides compilar  con los parametros de optimizacion  asi podemos realizar una comparativa mas exacta.

Cordialmemte

Si gracias amigo, pronto cambiaremos el hardware y pondre raptor y squid compilado con mas descriptores de archivos y Async IO en 128, creo que ahi lograremos poner una estadistica mas certera y si son bastantes peticiones http, quien diria que en oficinas usen tanto internet, saludos

[firecold]

Volviendo al tema de Multicore de squid o SMP, pues he estado haciendo pruebas muy exitosas por cierto aunque con algunos problemas, debo decir que la configuracion de squid para que esto sea posible es esta:

Código [Seleccionar] Expandir

pinger_enable off
workers 4
dns_v4_first on
cpu_affinity_map process_numbers=1,2,3,4 cores=1,2,3,4
cache_dir aufs /var/spool/squid3/squid0${process_number} 10000 16 256 min-size=3100 max-size=90000
cache_dir aufs /var/spool/squid3/squid0${process_number} 10000 16 256 min-size=3100 max-size=90000
cache_dir aufs /var/spool/squid3/squid0${process_number} 10000 16 256 min-size=3100 max-size=90000
cache_dir aufs /var/spool/squid3/squid0${process_number} 10000 16 256 min-size=3100 max-size=90000

y arrancar a squid con el comando:

Código [Seleccionar] Expandir

sudo squid3 -d1N

Solamente estar consiente que tienen que crear los directorios antes de esto, con squid3 -z, aunque como comente hay problemas que todavia no he podido solucionar, y afectan el buen funcionamiento del mismo, estos errores son:

Código [Seleccionar] Expandir

commBind: Cannot bind socket FD 11 to [::]: (13) Permission denied
assertion failed: mem.cc:219: "MemPools[type]"

Solo haciéndolos saber para que si saben algo al respecto me puedan ayudar a encontrar la solución o evocando a los beta testeadores o que se hacen llamar asi, ya que me imagino ya lo habran resuelto, Saludos