Compilacion y Optimizacion de Squid3

[tonyvzla]

Siguio cada uno de los procedimientos entre ellos estaba cambiar o borrar estos parametros:

Código (cpp) [Seleccionar] Expandir

echo 65536 > proc sys fs file-max
echo "*         soft        nofile          65536" >>  etc security limits.conf
echo "*         hard        nofile          65536" >> etc security limits.conf
echo "root      soft        nofile          65536" >> etc security limits.conf
echo "root      hard        nofile          65536" >> etc security limits.conf
echo "proxy     soft        nofile          65536" >> etc securitylimits.conf
echo "proxy     hard        nofile          65536" >> etc security limits.conf
echo "ulimit -Hn 8192
ulimit -Sn 8192">>  etc profile
fs.file-max = 65536

Saludos

Disculpa fire, estos datos serian para?

[firecold]

Disculpa fire, estos datos serian para?

Estos son los que viene por defecto en la instalacion de raptor, se recomienda borrar la linea 1 y de la 8 a la 10, Saludos

[tonyvzla]

Despues a /etc/security/limits.conf y borra las lineas relatadas en este tema nada mas

Que se borra en limits.conf? disculpa no lo vi en este hilo

[luistec]

Estos son los que viene por defecto en la instalacion de raptor, se recomienda borrar la linea 1 y de la 8 a la 10, Saludos

La respuesta es algo ambigua, se pregunto para que son esos datos, en el caso de sugerir ese cambio ,porque hacerlo?, en una oportunidad ya habia comentado sobre esto ya que para algunos puese estar bien y para otros no sea suficiente pero eso no quiere decir que este mal, algunas configuraciones uno tiene que modificarlas de acuerdo a sus necesidades. Haber si me doy un tiempo para poner una breve definición con algunos ejemplos para que se pueda entender mejor esa parte, como también algunos valores para la compilación.

Saludos.

[firecold]

La respuesta es algo ambigua, se pregunto para que son esos datos, en el caso de sugerir ese cambio ,porque hacerlo?, en una oportunidad ya habia comentado sobre esto ya que para algunos puese estar bien y para otros no sea suficiente pero eso no quiere decir que este mal, algunas configuraciones uno tiene que modificarlas de acuerdo a sus necesidades. Haber si me doy un tiempo para poner una breve definición con algunos ejemplos para que se pueda entender mejor esa parte, como también algunos valores para la compilación.

Saludos.

Gracias amigo Luistec, siempre es bueno tener ayuda, Saludos

[ninohwifi]

amigo hay alguna forma de vericifar esto enable-async-io ? osea q este trabajando con 128 ?

[firecold]

amigo hay alguna forma de vericifar esto enable-async-io ? osea q este trabajando con 128 ?

Es muy facil despues de compilar y ajustar sus valores a los que crea convenientes, va y teclea esto:

Código (bash) [Seleccionar] Expandir

squid3 -v | grep -o "enable-async-io=128"

y te tendria que marcar dicho parametro para que verifiques si lo cambiaste o no, Saludos

[ninohwifi]

amigo instale de nuevo todo el sistema debian  7 pero ahora cuando intento hacer lo q dice este tutorial, especificamente en la parte de:

apt-get build-dep squid3

me sale esto:

Leyendo lista de paquetes... Hecho
Creando árbol de dependencias
Leyendo la información de estado... Hecho
E: No se pudo encontrar un paquete de fuentes para squid3

[firecold]

amigo instale de nuevo todo el sistema debian  7 pero ahora cuando intento hacer lo q dice este tutorial, especificamente en la parte de:

apt-get build-dep squid3

me sale esto:

Leyendo lista de paquetes... Hecho
Creando árbol de dependencias
Leyendo la información de estado... Hecho
E: No se pudo encontrar un paquete de fuentes para squid3

Habria que ver, ya que varios usuarios lo han hecho tanto en Debian 6 como 7 sin problemas, es mas le he ayudado a varios compañeros del foro a hacer lo mismo sin problemas, Saludos

[juliobrenis]

COnsulta Firecol si tengo 32 Gb de Ram que valores son los optimos

[firecold]

COnsulta Firecol si tengo 32 Gb de Ram que valores son los optimos

Un cuarto de tu memoria seria excelente y dejar lo demas para el sistema, ya que cuando se manejan muchas conexiones squid puede ser tu peor enemigo, Saludos

[hackang]

buenas amigo firecold, despues de compilar y optimizar, el squid no entrega bien algunas imagenes, despues de guardada.

[firecold]

buenas amigo firecold, despues de compilar y optimizar, el squid no entrega bien algunas imagenes, despues de guardada.

yo tengo mas de 7 meses con raptor y squid modificado sin formatear ni nada y no tengo problemas, Saludos

[ninohwifi]

Amigo firecold tengo este problema... el sistema se me torna lento en la entrega de contenido desde squid, haciendo un top veo que el procesador esta en un 99% y se mantiene alli con el servicio squid... he intentado instalar la version squid 3.3 para asi poder hacer funcionar los workers como lei que habias logrado pero no logro hacerlo andar... me podrias indicar los paso para compilarlo y hacerlo andar  con los workers?

[firecold]

Amigo firecold tengo este problema... el sistema se me torna lento en la entrega de contenido desde squid, haciendo un top veo que el procesador esta en un 99% y se mantiene alli con el servicio squid... he intentado instalar la version squid 3.3 para asi poder hacer funcionar los workers como lei que habias logrado pero no logro hacerlo andar... me podrias indicar los paso para compilarlo y hacerlo andar  con los workers?

Amigo te cuento que workers todavia es una funcion inestable de Squid3, yo estoy esperando que mejoren el codigo para poder implementarlo, ya que tiene un problema con el tamaño de lo que puede hacer cache, con respecto a tu squid, habria que hacer un test de dicho funcionamiento, la pregunta es cuantos clientes manejas en hora pico y cuanto le tienes asignado de memoria y demas, para optimizar la configuracion, Saludos

[ninohwifi]

Amigo te cuento que workers todavia es una funcion inestable de Squid3, yo estoy esperando que mejoren el codigo para poder implementarlo, ya que tiene un problema con el tamaño de lo que puede hacer cache, con respecto a tu squid, habria que hacer un test de dicho funcionamiento, la pregunta es cuantos clientes manejas en hora pico y cuanto le tienes asignado de memoria y demas, para optimizar la configuracion, Saludos

en total tengo unos 120 clientes.. em horas picos tengo unos 80 conectados simultaneamente... de memoria ram tengo 8gb en total asignadole en squid.conf 6114 y tengo un procesador dual core a 3ghz... el squid lo tengo optimizado de acuerdo a tu post con 815146 filedescriptors y 128 async-io (que aun no se que significa) el problema es con solo unos 15 clientes conectados se me dispara el procesador y en el top me aparece squid usando todo el procesador, y alli la navegacion se torna lenta ( supong que por esto mismo)... podrias ayudarme

[firecold]

en total tengo unos 120 clientes.. em horas picos tengo unos 80 conectados simultaneamente... de memoria ram tengo 8gb en total asignadole en squid.conf 6114 y tengo un procesador dual core a 3ghz... el squid lo tengo optimizado de acuerdo a tu post con 815146 filedescriptors y 128 async-io (que aun no se que significa) el problema es con solo unos 15 clientes conectados se me dispara el procesador y en el top me aparece squid usando todo el procesador, y alli la navegacion se torna lenta ( supong que por esto mismo)... podrias ayudarme

Que version de squid estas utilizando y puedes postear tu configuracion de squid.conf para ver que pasa, Saludos

[ninohwifi]

Que version de squid estas utilizando y puedes postear tu configuracion de squid.conf para ver que pasa, Saludos

uso la version 3.1.20 y mi squid.conf es el siguiente:

#========================== Squid 3.x Conf ===========================#
#
# Opciones de SQUID 3.x
#----------------------------------------------------------------------
http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0
#----------------------------------------------------------------------
#error_directory /usr/share/squid3/errors/Spanish/
#----------------------------------------------------------------------
acl denegados url_regex -i "/etc/squid3/denegados.lst"
#----------------------------------------------------------------------
# Servidor DNS y Politica de Cambios
#----------------------------------------------------------------------
dns_nameservers 200.44.32.12 200.11.248.12
dns_retransmit_interval 5 seconds
dns_timeout 2 minutes
#----------------------------------------------------------------------
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl CONNECT method CONNECT

acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl SSL_ports port 443
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl Safe_ports port 631         # cups
acl Safe_ports port 873         # rsync
acl Safe_ports port 901         # SWAT
acl Safe_ports port 1863        # MSN
#acl SSL_ports port 443          # https
acl SSL_ports port 563          # snews
acl SSL_ports port 873          # rsync

http_access allow manager localhost
http_access deny manager all
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny denegados
#----------------------------------------------------------------------
coredump_dir /var/spool/squid3
#----------------------------------------------------------------------
# Memoria reservada para cache
#----------------------------------------------------------------------
cache_mem 6114 MB
#----------------------------------------------------------------------
# Maximo tamaño de archivo en cache de memoria
#----------------------------------------------------------------------
maximum_object_size_in_memory 128 KB
#----------------------------------------------------------------------
# Maximo y minimo tamaño de archivos cache en el Disco duro
#----------------------------------------------------------------------
maximum_object_size 30 MB
minimum_object_size 4 KB
#----------------------------------------------------------------------
# Sustituir archivos de cache cuando llegue a 96%
#----------------------------------------------------------------------
cache_swap_low 92
cache_swap_high 96
#----------------------------------------------------------------------
# Total de espacio en HD a ser usado por el cache, numero de carpetas,
# numero de subcarpetas en cache
# 100000 = 100 GB
#----------------------------------------------------------------------
cache_dir aufs /var/spool/squid3/cache1 100000  16 256
#----------------------------------------------------------------------
# Estandar de actualización de cache
# 1 mes = 10080 mins, 1 dia = 1440 mins
#----------------------------------------------------------------------
refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(swf|htm|html|shtm|shtml|nub)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 14400 80% 43200
refresh_pattern -i .(avi|iso|wav|mid|mp?|mpe?g?|mpeg|mov|3gp|wm?|flv|x-flv|axd)$ 14400 80% 43200
refresh_pattern -i .(qtm?|viv|au|ram?|snd|sit|hqx|arj|lzh|lha|txt|rtf|tex|latex|class|js|ico)$ 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320
#----------------------------------------------------------------------
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
#refresh_pattern (Release|Package(.gz)*)$       0       20%     2880
refresh_pattern .               0       20%     4320
#----------------------------------------------------------------------
# Log de acessos por el cache o para SARG
#----------------------------------------------------------------------
logfile_rotate 7
access_log /var/log/squid3/access.log
access_log /var/log/squid3/error.log
cache_store_log none
#----------------------------------------------------------------------
# Otras configuraciones
#----------------------------------------------------------------------
half_closed_clients off
server_persistent_connections off
client_persistent_connections off
log_fqdn off
quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 95
max_filedescriptors 815146
cache_effective_user proxy
cache_effective_group proxy
#----------------------------------------------------------------------
# Manteniendo objetos recientes y pequeños en memoria
#----------------------------------------------------------------------
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
#----------------------------------------------------------------------
# Sitios que se les niega el cache  
#----------------------------------------------------------------------
acl nocache dstdomain .4shared.com .youtube.com .windowsupdate.com .gl$
no_cache deny nocache
#----------------------------------------------------------------------
# Deny cache                              
#----------------------------------------------------------------------
acl dontrewrite url_regex (get_video\?|videoplayback\?|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video|videoplayback\?id|videoplayback.*id).*begin\=[1-9][0-9]*
acl dontrewrite url_regex \.(php|asp|aspx|jsp|cgi|js)\?
acl dontrewrite url_regex threadless.*\.jpg\?r=
acl dontrewrite url_regex -i .(asx|asf)$
cache deny dontrewrite
#----------------------------------------------------------------------
acl adblock url_regex "/etc/squid3/adblock.acl"
http_access deny adblock
#----------------------------------------------------------------------
acl raptor_lst url_regex -i "/etc/raptor/raptor.lst"
cache deny raptor_lst
cache_peer 192.168.10.2 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 192.168.10.2 allow raptor_lst
cache_peer_access 192.168.10.2 deny all
#----------------------------------------------------------------------
# -----------------------------------------------------------------------------
# Qos_Flows
# -----------------------------------------------------------------------------
qos_flows local-hit=0x30
qos_flows parent-hit=0x32

[firecold]

uso la version 3.1.20 y mi squid.conf es el siguiente:

#========================== Squid 3.x Conf ===========================#
#
# Opciones de SQUID 3.x
#----------------------------------------------------------------------
http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0
#----------------------------------------------------------------------
#error_directory /usr/share/squid3/errors/Spanish/
#----------------------------------------------------------------------
acl denegados url_regex -i "/etc/squid3/denegados.lst"
#----------------------------------------------------------------------
# Servidor DNS y Politica de Cambios
#----------------------------------------------------------------------
dns_nameservers 200.44.32.12 200.11.248.12
dns_retransmit_interval 5 seconds
dns_timeout 2 minutes
#----------------------------------------------------------------------
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl CONNECT method CONNECT

acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl SSL_ports port 443
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl Safe_ports port 631         # cups
acl Safe_ports port 873         # rsync
acl Safe_ports port 901         # SWAT
acl Safe_ports port 1863        # MSN
#acl SSL_ports port 443          # https
acl SSL_ports port 563          # snews
acl SSL_ports port 873          # rsync

http_access allow manager localhost
http_access deny manager all
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny denegados
#----------------------------------------------------------------------
coredump_dir /var/spool/squid3
#----------------------------------------------------------------------
# Memoria reservada para cache
#----------------------------------------------------------------------
cache_mem 6114 MB
#----------------------------------------------------------------------
# Maximo tamaño de archivo en cache de memoria
#----------------------------------------------------------------------
maximum_object_size_in_memory 128 KB
#----------------------------------------------------------------------
# Maximo y minimo tamaño de archivos cache en el Disco duro
#----------------------------------------------------------------------
maximum_object_size 30 MB
minimum_object_size 4 KB
#----------------------------------------------------------------------
# Sustituir archivos de cache cuando llegue a 96%
#----------------------------------------------------------------------
cache_swap_low 92
cache_swap_high 96
#----------------------------------------------------------------------
# Total de espacio en HD a ser usado por el cache, numero de carpetas,
# numero de subcarpetas en cache
# 100000 = 100 GB
#----------------------------------------------------------------------
cache_dir aufs /var/spool/squid3/cache1 100000  16 256
#----------------------------------------------------------------------
# Estandar de actualización de cache
# 1 mes = 10080 mins, 1 dia = 1440 mins
#----------------------------------------------------------------------
refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(swf|htm|html|shtm|shtml|nub)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 14400 80% 43200
refresh_pattern -i .(avi|iso|wav|mid|mp?|mpe?g?|mpeg|mov|3gp|wm?|flv|x-flv|axd)$ 14400 80% 43200
refresh_pattern -i .(qtm?|viv|au|ram?|snd|sit|hqx|arj|lzh|lha|txt|rtf|tex|latex|class|js|ico)$ 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320
#----------------------------------------------------------------------
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
#refresh_pattern (Release|Package(.gz)*)$       0       20%     2880
refresh_pattern .               0       20%     4320
#----------------------------------------------------------------------
# Log de acessos por el cache o para SARG
#----------------------------------------------------------------------
logfile_rotate 7
access_log /var/log/squid3/access.log
access_log /var/log/squid3/error.log
cache_store_log none
#----------------------------------------------------------------------
# Otras configuraciones
#----------------------------------------------------------------------
half_closed_clients off
server_persistent_connections off
client_persistent_connections off
log_fqdn off
quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 95
max_filedescriptors 815146
cache_effective_user proxy
cache_effective_group proxy
#----------------------------------------------------------------------
# Manteniendo objetos recientes y pequeños en memoria
#----------------------------------------------------------------------
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
#----------------------------------------------------------------------
# Sitios que se les niega el cache 
#----------------------------------------------------------------------
acl nocache dstdomain .4shared.com .youtube.com .windowsupdate.com .gl$
no_cache deny nocache
#----------------------------------------------------------------------
# Deny cache                             
#----------------------------------------------------------------------
acl dontrewrite url_regex (get_video\?|videoplayback\?|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video|videoplayback\?id|videoplayback.*id).*begin\=[1-9][0-9]*
acl dontrewrite url_regex \.(php|asp|aspx|jsp|cgi|js)\?
acl dontrewrite url_regex threadless.*\.jpg\?r=
acl dontrewrite url_regex -i .(asx|asf)$
cache deny dontrewrite
#----------------------------------------------------------------------
acl adblock url_regex "/etc/squid3/adblock.acl"
http_access deny adblock
#----------------------------------------------------------------------
acl raptor_lst url_regex -i "/etc/raptor/raptor.lst"
cache deny raptor_lst
cache_peer 192.168.10.2 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 192.168.10.2 allow raptor_lst
cache_peer_access 192.168.10.2 deny all
#----------------------------------------------------------------------
# -----------------------------------------------------------------------------
# Qos_Flows
# -----------------------------------------------------------------------------
qos_flows local-hit=0x30
qos_flows parent-hit=0x32

Dame chance el Domingo, ya que el dia de mañana Sabado tengo que ir a estudiar y no me es posible acceder a internet, pero el domingo estoy libre de la mayoria de cosas, sera mejor si es por teamviewer, Saludos

[ninohwifi]

Dame chance el Domingo, ya que el dia de mañana Sabado tengo que ir a estudiar y no me es posible acceder a internet, pero el domingo estoy libre de la mayoria de cosas, sera mejor si es por teamviewer, Saludos

estoy al pendiente... me avisas!!