Alterserv

Squid => Squid 2.7 & Squid 3.x => Mensaje publicado por: charlesjavier en Septiembre 22, 2013, 12:45:52 AM

Título: Actualizar Squid 3.x cualquier versión
Publicado por: charlesjavier en Septiembre 22, 2013, 12:45:52 AM
Amigos de ThunderCache les traigo la manera de actualizar el Squid 3 esto es bueno porque se corrigen errores del mismo y se obtiene mayor desempeño del Squid ya que puede trabajar con los nuevos procesadores en el uso de sus núcleos y correcciones de las nuevas programaciones de los HTTP y otros errores comunes aqui el LINK espero les guste

http://albahra.com/journal/2013/04/upgrading-to-squid-3-3-on-debian-6-squeeze

NOTA: Esta en ingles y tienen que tener el DVD de donde instalaron el Debian
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 22, 2013, 01:06:26 PM
Cita de: charlesjavier en Septiembre 22, 2013, 12:45:52 AM
Amigos de ThunderCache les traigo la manera de actualizar el Squid 3 esto es bueno porque se corrigen errores del mismo y se obtiene mayor desempeño del Squid ya que puede trabajar con los nuevos procesadores en el uso de sus núcleos y correcciones de las nuevas programaciones de los HTTP y otros errores comunes aqui el LINK espero les guste

http://albahra.com/journal/2013/04/upgrading-to-squid-3-3-on-debian-6-squeeze

NOTA: Esta en ingles y tienen que tener el DVD de donde instalaron el Debian

Amigo el detalle es que estos paquetes de squid todavia no estan en calidad de estables, esto quiere decir que causan mas problemas de los que reparan, aunque puedes probar con paquetes un poquito mas probados como; http://octavio.gnu.org.ve/squid-3-2-4-smp-en-debian-squeeze/, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: ingjaab en Septiembre 22, 2013, 03:54:03 PM
 ??? y por que jomelg no lo hace con otro que no sea squid  ???
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 22, 2013, 05:01:14 PM
Cita de: ingjaab en Septiembre 22, 2013, 03:54:03 PM
??? y por que jomelg no lo hace con otro que no sea squid  ???

Que opcion considera usted amigo ingjaab, para poder sustituir a squid, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 22, 2013, 06:00:00 PM
Cita de: charlesjavier en Septiembre 22, 2013, 12:45:52 AM
Amigos de ThunderCache les traigo la manera de actualizar el Squid 3 esto es bueno porque se corrigen errores del mismo y se obtiene mayor desempeño del Squid ya que puede trabajar con los nuevos procesadores en el uso de sus núcleos y correcciones de las nuevas programaciones de los HTTP y otros errores comunes aqui el LINK espero les guste

http://albahra.com/journal/2013/04/upgrading-to-squid-3-3-on-debian-6-squeeze

NOTA: Esta en ingles y tienen que tener el DVD de donde instalaron el Debian

Tambien si quieres experimentar puedes usar ubuntu 13.10 el cual traera nativamente squid3.3.8, el cual trae la nueva funcionalidad de multi-core, que se llama workers, desplegando un proceso de squid independiente, no un subproceso, por cada nucleo, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: Nessa en Septiembre 23, 2013, 10:35:12 PM
Cita de: firecold en Septiembre 22, 2013, 06:00:00 PM
Tambien si quieres experimentar puedes usar ubuntu 13.10 el cual traera nativamente squid3.3.8, el cual trae la nueva funcionalidad de multi-core, que se llama workers, desplegando un proceso de squid independiente, no un subproceso, por cada nucleo, Saludos

Disculpa firecold, me puedes explicar un poco cómo se utiliza esa directiva? Tengo un squid 3.2.4 en una máquina i7, y quiero probar si existe algún cambio habilitando los 8 núcleos del procesador. Solo puse en mi squid.conf una línea que dice: workers 8

O algún comando para comprobar que en realidad el squid está utilizando varios procesos al mismo tiempo. Utilizo el top, pero veo solo 1 proceso activo.

Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: charlesjavier en Septiembre 23, 2013, 10:52:06 PM
Mi amigo dio la respuesta el por qué actualizar... es por la misma razón de los core de los nuevos CPUS Intel que son múltiples y con respecto a si es estable vayan a la pagina de www.squid-cache.org y revisa cual es estable y cual es beta y le estoy dando algo que sé es estable no es cuento alguno lo estoy probando ahora es mas eficiente la PC que uso para Thunder por lo de los CORE y también tiene nuevo soporte para los HTTP 1.1 que el 3.1.6 no tiene si quieren estar con las limitaciones de la versión antes menciona bueno eso es decisión de cada quien, pero el que quiera mejorar actualicen...
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 23, 2013, 11:08:26 PM
Cita de: charlesjavier en Septiembre 23, 2013, 10:52:06 PM
Mi amigo dio la respuesta el por qué actualizar... es por la misma razón de los core de los nuevos CPUS Intel que son múltiples y con respecto a si es estable vayan a la pagina de www.squid-cache.org y revisa cual es estable y cual es beta y le estoy dando algo que sé es estable no es cuento alguno lo estoy probando ahora es mas eficiente la PC que uso para Thunder por lo de los CORE y también tiene nuevo soporte para los HTTP 1.1 que el 3.1.6 no tiene si quieren estar con las limitaciones de la versión antes menciona bueno eso es decisión de cada quien, pero el que quiera mejorar actualicen...

Si amigo yo he leido muchas veces lo que dice la pagina de squid, pero la verdad dentro de ubuntu se consideraestable un paquete cuando tiene un poco mas de tiempo de salido y si hablamos de debian es mucho mas tiempo, ha eso es lo que me refiero, estable para el sistema operativo, no para el mantenedor de squid, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 23, 2013, 11:24:27 PM
Cita de: Nessa en Septiembre 23, 2013, 10:35:12 PM
Disculpa firecold, me puedes explicar un poco cómo se utiliza esa directiva? Tengo un squid 3.2.4 en una máquina i7, y quiero probar si existe algún cambio habilitando los 8 núcleos del procesador. Solo puse en mi squid.conf una línea que dice: workers 8

O algún comando para comprobar que en realidad el squid está utilizando varios procesos al mismo tiempo. Utilizo el top, pero veo solo 1 proceso activo.



Amigo Nessa la opcion de workers de squid es funcional pero utilizando otro parametro, pero el cual todavia estoy averiguando como funciona, pero el parametro es cpu_affinity_map, este parametro la opción cpu_affinity_map permite dedicar un núcleo de CPU para cada worker, pero como te digo todavia lo estoy averiguando, para darte una idea puedes pasar por aqui: http://wiki.squid-cache.org/Features/SmpScale.

Lo unico que dice squid.conf al respecto es:

#  TAG: workers
# Number of main Squid processes or "workers" to fork and maintain.
# 0: "no daemon" mode, like running "squid -N ..."
# 1: "no SMP" mode, start one main Squid process daemon (default)
# N: start N main Squid process daemons (i.e., SMP mode)
#
# In SMP mode, each worker does nearly all what a single Squid daemon
# does (e.g., listen on http_port and forward HTTP requests).
#Default:
# SMP support disabled.

#  TAG: cpu_affinity_map
# Usage: cpu_affinity_map process_numbers=P1,P2,... cores=C1,C2,...
#
# Sets 1:1 mapping between Squid processes and CPU cores. For example,
#
#     cpu_affinity_map process_numbers=1,2,3,4 cores=1,3,5,7
#
# affects processes 1 through 4 only and places them on the first
# four even cores, starting with core #1.
#
# CPU cores are numbered starting from 1. Requires support for
# sched_getaffinity(2) and sched_setaffinity(2) system calls.
#
# Multiple cpu_affinity_map options are merged.
#
# See also: workers
#Default:
# Let operating system decide.
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: charlesjavier en Septiembre 24, 2013, 10:32:12 AM
Entonces para el manejador Squid no es el tiempo porque es el mismo así lo saquen ahora, cuando ellos lo sacan de BETA es estable el que deben actualizar es el OS en el caso de Debian sino no saliera de la face BETA, si lo quieres estable siempre esta pendiente de las actualizaciones del OS y cuando lo fui actualizar me pidió el DVD de instalación porque necesita otros archivos que el 3.1.6 no necesita, que eso lo hace mas eficiente, o creen que los que hacen Squid siguen trabajando en la misma versión hasta ser estable? de ninguna manera, sino que siguen por la versión siguiente mejorando el anterior... Me esta funcionando muy bien hasta conseguí varios megas de velocidad...
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 24, 2013, 08:14:46 PM
Cita de: charlesjavier en Septiembre 24, 2013, 10:32:12 AM
Entonces para el manejador Squid no es el tiempo porque es el mismo así lo saquen ahora, cuando ellos lo sacan de BETA es estable el que deben actualizar es el OS en el caso de Debian sino no saliera de la face BETA, si lo quieres estable siempre esta pendiente de las actualizaciones del OS y cuando lo fui actualizar me pidió el DVD de instalación porque necesita otros archivos que el 3.1.6 no necesita, que eso lo hace mas eficiente, o creen que los que hacen Squid siguen trabajando en la misma versión hasta ser estable? de ninguna manera, sino que siguen por la versión siguiente mejorando el anterior... Me esta funcionando muy bien hasta conseguí varios megas de velocidad...

Amigo con respecto a a las actualizaciones de squid, no se puede decir que en muchas de sus versiones hallan mejorado gran cosa, por ejemplo: por defecto la mayoria prefiere squid2.7, habiendo desde mucho tiempo squid3.0 y tanto debian como ubuntu incluyeron el paquete de squid3 hasta la version 3.0.6 y de ahi fueron incluyendo las mas estables no para el manejador del paquete si no por la reputacion del mismo, solo te voy a dar un ejemplo: ubuntu por definicion le gusta estar mas actualizada y casi siempre incluye la mayor parte de mejoras en los paquetes y te puedo decir que desde ubuntu 10.04 se empezo a usar squid3 en su version 3.0.STABLE19, habiendo muchas versiones superiores  y hasta ubuntu 12.04 se pasaron a la version 3.1.19, ubuntu 12.10 el mismo, hasta ubuntu 13.04 empezaron a usar 3.1.20 y hasta ubnutu 13.10 pasaran a 3.3.8 y si hablamos de debian ellos empezaron a usar squid3.1.20 hasta debian 7, en debian 6 se usaba 3.1.6, cuando hablamos de estabilidad del sistema operativo, no cuenta lo que diga el mantenedor del paquete, aparte de eso squid2.7 fue la mas estable por mucho tiempo ya que hasta squid3.0.19 se lograron areglar los mucho problemas que daban las versiones superiores a squid2.7, entonces eso que dices que una version mayor supone mejoras es algo que muchos no te dejaran pasar, por eso muchos prefieren debian ya que es mucho mas estable ya que no incluyen veriones superiores hasta que realmente sea estable, por que crees que ubuntu no ha usado versiones superiores de squid habiendo tantas versiones supuestamente mejores y que hallan usado squid3.1.20 en tres sitemas diferentes por mas de 1 año y medio y despues de eso se pasen a la version 3.3.8, te lo dejo para que lo examines un poco, ya que no cuenta las supuestas mejoras, si no la estabilidad del SO, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: charlesjavier en Septiembre 24, 2013, 09:19:16 PM
Te estoy diciendo que es estable porque la estoy usando desde hace varios días antes de publicar la actualización, trabajo con los OS desde hace años 12 en total y nunca me he caracterizado por recomendar algo si no he probado el producto muchos tiempo para ver sus fallos, una de las cosas que se ha mejorado es la carga de imágenes grandes que el Squid 3.1.6 tenia por falla hacia una especie de compresión absurda para ahorro de velocidad que ahora se ha corregido, también he notado la mejora en la nueva seguridad de Google certificado Digital que antes tenia cierta dificulta de autenticación en los procesos de log ahora eso es como una pagina normal, el UPGRADE de HTTP 1.1 mejoraron considerablemente si me gusta ser BETA PROBADOR si! pero no me gusta promocionar BETAS, las pruebo solo para enviar las notificaciones de fallos pero hasta ahí, luego recibo notificaciones de las actuales y sé cuando salen en definitivas, allí pruebo y en una semana dejando en su uso día y noche doy mi visto para los clientes o sino no digo absolutamente nada como por ejemplo el gran fallo que existe en el Mac OS X Lion Mountain que para mi concepto es muy pesado y es superado por la primera BETA de Maverick y la 7 BETA es muy estable pero con algunas fallas de GRAFICO que es arreglada en la definitiva por razones de que la gente no se acostumbre y luego compre el ORIGINAL, te digo amigo que no recomiendo de no ser usada no soy un publicador de basura al azar no soy un niño aprendiendo de informática tengo varios años en la rama de informática ahora estoy en la parte de REDES desde hace 5 años y es un tema que es ademas amplio se sigue manejando en el área que me gusta OS's si es por eso los he usado todos desde LINUX (FEDORA, UBUNTU, KUBUNTU, DEBIAN, ETC) SOLARIS (Solo 10 y 11) Windows desde 3.1 hasta el 8, Mac OS X desde el Tiger hasta el nuevo que esta por salir Maverick, Squid desde Windows hasta Mac OS X y no me vas a charlear con que es estable o no, cuando recomiendo algo es porque lo he probado en basto y amplio recorrido de prueba...
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 25, 2013, 11:35:47 AM
Cita de: Nessa en Septiembre 23, 2013, 10:35:12 PM
Disculpa firecold, me puedes explicar un poco cómo se utiliza esa directiva? Tengo un squid 3.2.4 en una máquina i7, y quiero probar si existe algún cambio habilitando los 8 núcleos del procesador. Solo puse en mi squid.conf una línea que dice: workers 8

O algún comando para comprobar que en realidad el squid está utilizando varios procesos al mismo tiempo. Utilizo el top, pero veo solo 1 proceso activo.


Segun veo en varias paginas esto de workers no es muy estable, pero funcional, segun parece cada worker puede tener una configuracion diferente y un puerto diferente si se quiere, puedes leer estos dos post y te daras una idea: http://wiki.squid-cache.org/ConfigExamples/SmpCarpCluster, http://www.marshut.com/ttw/smp-vs-single-process-performance.html, en el primero le dan diferente configuracion y puerto y en el segundo le asignan un proceso por cache_dir, lo cual es interesante, yo estoy probando el segundo, pero no veo que halla mas de un proceso de squid cuando le asigne 4 a 4 cache_dir, pero habra que esperar, si no talvez alguien del foro que se dedique a probar y que sepa claro, ya que yo todavia estoy en mis averiguaciones, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 25, 2013, 04:51:32 PM
(http://img23.imageshack.us/img23/6572/v9za.png) (http://imageshack.us/photo/my-images/23/v9za.png/)

(http://img32.imageshack.us/img32/3205/1xzx.png) (http://imageshack.us/photo/my-images/32/1xzx.png/)

Al final lo deje en 3, como dije todavia en pruebas, aunque claramente hay una mejoria en procesamiento, veremos que pasa en los proximos dias, ya que todavia requiere un mes de pruebas de rigor que tiene que cumplir, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: Nessa en Septiembre 25, 2013, 10:09:35 PM
Cita de: firecold en Septiembre 25, 2013, 04:51:32 PM
(http://img23.imageshack.us/img23/6572/v9za.png) (http://imageshack.us/photo/my-images/23/v9za.png/)

(http://img32.imageshack.us/img32/3205/1xzx.png) (http://imageshack.us/photo/my-images/32/1xzx.png/)

Al final lo deje en 3, como dije todavia en pruebas, aunque claramente hay una mejoria en procesamiento, veremos que pasa en los proximos dias, ya que todavia requiere un mes de pruebas de rigor que tiene que cumplir, Saludos

Excelente, yo también voy a probar con una maquinita que tengo, aunque me quedan mis dudas si la velocidad de lectura del disco se verá afectada al tener a más procesos escribiendo y leyendo al mismo tiempo.

De pronto rendiría mas si se les asigna particiones diferentes.
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 25, 2013, 10:17:30 PM
Cita de: Nessa en Septiembre 25, 2013, 10:09:35 PM
Excelente, yo también voy a probar con una maquinita que tengo, aunque me quedan mis dudas si la velocidad de lectura del disco se verá afectada al tener a más procesos escribiendo y leyendo al mismo tiempo.

De pronto rendiría mas si se les asigna particiones diferentes.

Si definitivamente se les asigna directorios diferentes, en este caso, el sistema se encarga de colocar un numero dependiendo del proceso,  y tengo tres procesos sin problemas, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 26, 2013, 10:41:59 PM
Siguiendo con las pruebas con el parametro workers, del cual hemos estado platicando en este hilo, ha sido un poco bueno y a la misma vez un poco frustrante, primeramente bueno porque squid 3.3.8 esta funcionando mejor de lo esperado, con sus workers trabajando, lo atenuante en estas versiones de squid el innumerable monton de problemas que traen pese a decir que son estables, los cuales hay muy poca documentacion para corregirlas, me tope con varios de los errores mas comunes y con algunos no tan comunes resolviendo de alguna manera la mayoria, con respecto a workers he tenido bastantes problemas debo decir, como he dicho por la escasa documentacion y aun en la pagina de soporte de squid: http://squid-web-proxy-cache.1019090.n4.nabble.com/, hay muchos con los mismo problemas, la mayoria sin resolver, el mas importante que sigo tratando de resolver, es que funciona squid pero no hacen cache cuando se implementa el parametro workers y ha este mismo se le asigna un nucleo, por lo demas estare comentando en este mismo hilo, los avances y atrasos en esta funcionalidad, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: abcwarbot en Septiembre 26, 2013, 11:39:09 PM
Hola a todos.

Muy interesante el post. Debo sin embargo agregar que si están haciendo pruebas con esa versión del squid, estas deben ser hechas con carga importante. Hablo de al menos unas 8000 conexiones y mas de 110 clientes conectados. De esta manera nos dariamos cuenta de su verdadero comportamiento en situaciones de alto requerimiento.



Cordialmente
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 27, 2013, 09:32:42 AM
Cita de: abcwarbot en Septiembre 26, 2013, 11:39:09 PM
Hola a todos.

Muy interesante el post. Debo sin embargo agregar que si están haciendo pruebas con esa versión del squid, estas deben ser hechas con carga importante. Hablo de al menos unas 8000 conexiones y mas de 110 clientes conectados. De esta manera nos dariamos cuenta de su verdadero comportamiento en situaciones de alto requerimiento.

Cordialmente


Amigo gracias por tu sugerencia y claro tienes razon aunque ya esta cubierto, lo estoy probando con cerca de 150 clientes, 100 practicamente en horarios de oficina y el resto son casas particulares que navegan mas que todo en la noche y gracias a la rapidez de esta version de squid apenas y se acerca a las 6000 conexiones, porque como he dicho estoy trabajando con 3 workers, lastimosamente lo he tenido que hacer con un amigo ya que yo no cuento con esa cantidad de clientes, el la esta haciendo de conejillo de indias y hasta el momento ha reportado que ha tenido buenas criticas de parte de sus clientes, el unico detalle es que no esta usando Raptor, solo squid por el momento, despues haremos las pruebas con raptor, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: Gaburi en Septiembre 28, 2013, 12:26:42 AM
Dejo este material por sisirve para alguien!

http://www.4shared.com/office/pEHwga_3/squidproxyserver31beginnersgui.htm
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: abcwarbot en Septiembre 28, 2013, 07:57:51 AM
Cita de: firecold en Septiembre 27, 2013, 09:32:42 AM
Amigo gracias por tu sugerencia y claro tienes razon aunque ya esta cubierto, lo estoy probando con cerca de 150 clientes, 100 practicamente en horarios de oficina y el resto son casas particulares que navegan mas que todo en la noche y gracias a la rapidez de esta version de squid apenas y se acerca a las 6000 conexiones, porque como he dicho estoy trabajando con 3 workers, lastimosamente lo he tenido que hacer con un amigo ya que yo no cuento con esa cantidad de clientes, el la esta haciendo de conejillo de indias y hasta el momento ha reportado que ha tenido buenas criticas de parte de sus clientes, el unico detalle es que no esta usando Raptor, solo squid por el momento, despues haremos las pruebas con raptor, Saludos

Firecold,

Gracias por tu esfuerzo. Tus experiencias nos pueden acercar mucho a mejoras en desempeño y accesibilidad.
Importante si es saber como funciona integrado con el raptor.

Podrías por favor darnos las estadísticas generadas por cachemgr a continuación para análisis:

Median Service Times (seconds)  5 min    60 min:
    HTTP Requests (All): 
    Cache Misses:         
    Cache Hits:           
    Near Hits:             
    Not-Modified Replies: 
    DNS Lookups:           
    ICP Queries:           

Resource usage for squid:
   UP Time:   
   CPU Time:   
   CPU Usage:   
   CPU Usage, 5 minute avg:   
   CPU Usage, 60 minute avg:   
   Process Data Segment Size via sbrk():
   Maximum Resident Size:
   Page faults with physical i/o:


Recompilaste con los Async IO de 128.??



Cordialmente
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 28, 2013, 06:48:31 PM
Código (cpp) [Seleccionar]
Connection information for squid:
Number of clients accessing cache: 125
Number of HTTP requests received: 7358789229
Number of ICP messages received: 0
Number of ICP messages sent: 0
Number of queued ICP replies: 0
Number of HTCP messages received: 0
Number of HTCP messages sent: 0
Request failure ratio: 0.00
Average HTTP requests per minute since start: 7456.4
Average ICP messages per minute since start: 0.0

Median Service Times (seconds)  5 min    60 min:
HTTP Requests (All):   3.33943  10.49576
Cache Misses:          1.42149  7.61549
Cache Hits:            0.04538  1.07269
Near Hits:             0.00000  0.28853
Not-Modified Replies:  0.00000  0.00000
DNS Lookups:           2.12472  5.25460
ICP Queries:           0.00000  0.00000

Resource usage for squid:
UP Time: 86500.612 seconds
CPU Time: 44018.328 seconds
CPU Usage: 1.23%
CPU Usage, 5 minute avg: 5.32%
CPU Usage, 60 minute avg: 5.19%
Process Data Segment Size via sbrk(): 56960 KB
Maximum Resident Size: 1238624 KB
Page faults with physical i/o: 175


Amigo podria tambien postear el suyo para que podamos hacer una comparacion, realmente no hice ninguna optimizacion de ningun tipo el sistema esta trabajando con filedescriptors=65536 y con async-io=8, estan en el valor por defecto ya que como solo le instale squid al compañero y no lo recompile para darle mas descriptores de archivos y darle mas velocidad de escritura/lectura y como comente no se esta usando raptor, ya que fue una instalacion rapida, por los clientes del amigo, el proximo fin de semana volvere a ir donde el e instalare raptor y el me contara si aumento el rendimiento si o no, por lo demas quisiera saber su opinion al respecto de los datos que le envio, los cree bueno o malos o aceptables, supero sus espectativas o las dejo por el suelo, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: abcwarbot en Septiembre 29, 2013, 10:18:33 PM
Cita de: firecold en Septiembre 28, 2013, 06:48:31 PM
Código (cpp) [Seleccionar]
Connection information for squid:
Number of clients accessing cache: 125
Number of HTTP requests received: 7358789229
Number of ICP messages received: 0
Number of ICP messages sent: 0
Number of queued ICP replies: 0
Number of HTCP messages received: 0
Number of HTCP messages sent: 0
Request failure ratio: 0.00
Average HTTP requests per minute since start: 7456.4
Average ICP messages per minute since start: 0.0

Median Service Times (seconds)  5 min    60 min:
HTTP Requests (All):   3.33943  10.49576
Cache Misses:          1.42149  7.61549
Cache Hits:            0.04538  1.07269
Near Hits:             0.00000  0.28853
Not-Modified Replies:  0.00000  0.00000
DNS Lookups:           2.12472  5.25460
ICP Queries:           0.00000  0.00000

Resource usage for squid:
UP Time: 86500.612 seconds
CPU Time: 44018.328 seconds
CPU Usage: 1.23%
CPU Usage, 5 minute avg: 5.32%
CPU Usage, 60 minute avg: 5.19%
Process Data Segment Size via sbrk(): 56960 KB
Maximum Resident Size: 1238624 KB
Page faults with physical i/o: 175


Amigo podria tambien postear el suyo para que podamos hacer una comparacion, realmente no hice ninguna optimizacion de ningun tipo el sistema esta trabajando con filedescriptors=65536 y con async-io=8, estan en el valor por defecto ya que como solo le instale squid al compañero y no lo recompile para darle mas descriptores de archivos y darle mas velocidad de escritura/lectura y como comente no se esta usando raptor, ya que fue una instalacion rapida, por los clientes del amigo, el proximo fin de semana volvere a ir donde el e instalare raptor y el me contara si aumento el rendimiento si o no, por lo demas quisiera saber su opinion al respecto de los datos que le envio, los cree bueno o malos o aceptables, supero sus espectativas o las dejo por el suelo, Saludos


Aunque no tengo parte de las estadísticas de clientes, mi promedio son 105. A continuación mis otras stats:

Connection information for squid:
   Number of clients accessing cache:   0
   Number of HTTP requests received:   3102897
   Number of ICP messages received:   0
   Number of ICP messages sent:   0
   Number of queued ICP replies:   0
   Number of HTCP messages received:   0
   Number of HTCP messages sent:   0
   Request failure ratio:    0.00
   Average HTTP requests per minute since start:   3200.0
   Average ICP messages per minute since start:   0.0
   Select loop called: 204729476 times, 0.284 ms avg
Cache information for squid:
   Hits as % of all requests:   5min: 11.1%, 60min: 7.5%
   Hits as % of bytes sent:   5min: 3.0%, 60min: 2.9%
   Memory hits as % of hit requests:   5min: 10.7%, 60min: 15.2%
   Disk hits as % of hit requests:   5min: 69.1%, 60min: 46.9%
   Storage Swap size:   75366272 KB
   Storage Swap capacity:   92.0% used,  8.0% free
   Storage Mem size:   2076504 KB
   Storage Mem capacity:   100.0% used,  0.0% free
   Mean Object Size:   162.17 KB
   Requests given to unlinkd:   0
Median Service Times (seconds)  5 min    60 min:
   HTTP Requests (All):   0.27332  0.28853
   Cache Misses:          0.32154  0.30459
   Cache Hits:            0.01387  0.05046
   Near Hits:             0.27332  0.37825
   Not-Modified Replies:  0.00091  0.00000
   DNS Lookups:           0.24351  0.36346
   ICP Queries:           0.00000  0.00000
Resource usage for squid:
   UP Time:   58178.820 seconds
   CPU Time:   7542.455 seconds
   CPU Usage:   12.96%
   CPU Usage, 5 minute avg:   4.37%
   CPU Usage, 60 minute avg:   6.28%
   Process Data Segment Size via sbrk(): 2685048 KB
   Maximum Resident Size: 11234128 KB
   Page faults with physical i/o: 2


Doblas la cantidad de peticiones que manejas pero los tiempos promedio para atender las peticiones son altos comparados con los míos.
Evalua tu y me comentas.



Cordialmente
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 29, 2013, 10:58:37 PM
Cita de: abcwarbot en Septiembre 29, 2013, 10:18:33 PM

Aunque no tengo parte de las estadísticas de clientes, mi promedio son 105. A continuación mis otras stats:

Connection information for squid:
   Number of clients accessing cache:   0
   Number of HTTP requests received:   3102897
   Number of ICP messages received:   0
   Number of ICP messages sent:   0
   Number of queued ICP replies:   0
   Number of HTCP messages received:   0
   Number of HTCP messages sent:   0
   Request failure ratio:    0.00
   Average HTTP requests per minute since start:   3200.0
   Average ICP messages per minute since start:   0.0
   Select loop called: 204729476 times, 0.284 ms avg
Cache information for squid:
   Hits as % of all requests:   5min: 11.1%, 60min: 7.5%
   Hits as % of bytes sent:   5min: 3.0%, 60min: 2.9%
   Memory hits as % of hit requests:   5min: 10.7%, 60min: 15.2%
   Disk hits as % of hit requests:   5min: 69.1%, 60min: 46.9%
   Storage Swap size:   75366272 KB
   Storage Swap capacity:   92.0% used,  8.0% free
   Storage Mem size:   2076504 KB
   Storage Mem capacity:   100.0% used,  0.0% free
   Mean Object Size:   162.17 KB
   Requests given to unlinkd:   0
Median Service Times (seconds)  5 min    60 min:
   HTTP Requests (All):   0.27332  0.28853
   Cache Misses:          0.32154  0.30459
   Cache Hits:            0.01387  0.05046
   Near Hits:             0.27332  0.37825
   Not-Modified Replies:  0.00091  0.00000
   DNS Lookups:           0.24351  0.36346
   ICP Queries:           0.00000  0.00000
Resource usage for squid:
   UP Time:   58178.820 seconds
   CPU Time:   7542.455 seconds
   CPU Usage:   12.96%
   CPU Usage, 5 minute avg:   4.37%
   CPU Usage, 60 minute avg:   6.28%
   Process Data Segment Size via sbrk(): 2685048 KB
   Maximum Resident Size: 11234128 KB
   Page faults with physical i/o: 2


Doblas la cantidad de peticiones que manejas pero los tiempos promedio para atender las peticiones son altos comparados con los míos.
Evalua tu y me comentas.

Cordialmente

En eso tienes razon no lo voy a decir que no, pues los tiempos para responder son bastantes altos, pero hay razon para ello, el hardware que se esta manejando es un pentiun 4 3.00GHz con 1GB de ram y un disco duro IDE viejo de 120GB, por eso las respuestas son bastante altas, ya que el hardware es bastante viejo y de pocos recursos para la cantidad de clientes y la demanda que ellos tienen como puedes ver es bastante alta, pero como eso es lo que habia para probar eso use, ya te digo que si tuviera core i5 con por lo menos 4GB de ram y un disco duro sata fuera otra historia, pero pronto cambiaremos el hardware ya que le parecio el rendimiento al amigo y va a poner un equipo dedicado a esto, con mucho mas recursos, por lo demas te doy las gracias, por los parametros de comparacion, Saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: abcwarbot en Septiembre 29, 2013, 11:34:28 PM
Cita de: firecold en Septiembre 29, 2013, 10:58:37 PM
En eso tienes razon no lo voy a decir que no, pues los tiempos para responder son bastantes altos, pero hay razon para ello, el hardware que se esta manejando es un pentiun 4 3.00GHz con 1GB de ram y un disco duro IDE viejo de 120GB, por eso las respuestas son bastante altas, ya que el hardware es bastante viejo y de pocos recursos para la cantidad de clientes y la demanda que ellos tienen como puedes ver es bastante alta, pero como eso es lo que habia para probar eso use, ya te digo que si tuviera core i5 con por lo menos 4GB de ram y un disco duro sata fuera otra historia, pero pronto cambiaremos el hardware ya que le parecio el rendimiento al amigo y va a poner un equipo dedicado a esto, con mucho mas recursos, por lo demas te doy las gracias, por los parametros de comparacion, Saludos

Firecold,

Debo agregar que 7k peticiones http x segundo son muchisimas y sin duda me interesa tenerlas tambien.
No olvides compilar  con los parametros de optimizacion  asi podemos realizar una comparativa mas exacta.


Cordialmemte
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Septiembre 29, 2013, 11:56:27 PM
Cita de: abcwarbot en Septiembre 29, 2013, 11:34:28 PM
Firecold,

Debo agregar que 7k peticiones http x segundo son muchisimas y sin duda me interesa tenerlas tambien.
No olvides compilar  con los parametros de optimizacion  asi podemos realizar una comparativa mas exacta.

Cordialmemte

Si gracias amigo, pronto cambiaremos el hardware y pondre raptor y squid compilado con mas descriptores de archivos y Async IO en 128, creo que ahi lograremos poner una estadistica mas certera y si son bastantes peticiones http, quien diria que en oficinas usen tanto internet, saludos
Título: Re:Actualizar Squid 3.x cualquier versión
Publicado por: firecold en Octubre 24, 2013, 04:11:58 PM
Volviendo al tema de Multicore de squid o SMP, pues he estado haciendo pruebas muy exitosas por cierto aunque con algunos problemas, debo decir que la configuracion de squid para que esto sea posible es esta:

pinger_enable off
workers 4
dns_v4_first on
cpu_affinity_map process_numbers=1,2,3,4 cores=1,2,3,4
cache_dir aufs /var/spool/squid3/squid0${process_number} 10000 16 256 min-size=3100 max-size=90000
cache_dir aufs /var/spool/squid3/squid0${process_number} 10000 16 256 min-size=3100 max-size=90000
cache_dir aufs /var/spool/squid3/squid0${process_number} 10000 16 256 min-size=3100 max-size=90000
cache_dir aufs /var/spool/squid3/squid0${process_number} 10000 16 256 min-size=3100 max-size=90000


y arrancar a squid con el comando:

sudo squid3 -d1N

Solamente estar consiente que tienen que crear los directorios antes de esto, con squid3 -z, aunque como comente hay problemas que todavia no he podido solucionar, y afectan el buen funcionamiento del mismo, estos errores son:

commBind: Cannot bind socket FD 11 to [::]: (13) Permission denied
assertion failed: mem.cc:219: "MemPools[type]"


Solo haciéndolos saber para que si saben algo al respecto me puedan ayudar a encontrar la solución o evocando a los beta testeadores o que se hacen llamar asi, ya que me imagino ya lo habran resuelto, Saludos

Cita de: charlesjavier en Septiembre 24, 2013, 09:19:16 PM