Luis, dejando de lado el tema de que cae raptor, me parece que lo que habria que ver es el tema de la lentitud al transcurrir x tiempo. Son varios los usuarios que han planteado eso, pero tambien habria que mover el tema a un lugar mas coherente para que quien esta pasando por lo mismo desarrolle ahi su problema.

Cita de: luistec en Octubre 06, 2015, 09:25:23 PM
Usaste la última actualización?, ya que el límite de threads ahora solo hace un bypass a la conexion del contenido con el Raptor, no debería de dejar en Offline el servicio.

Saludos.

Sisi, lo actualize ni bien estuvo disponible, ya lo habia dicho tambien en un post anterior a que seguia cayendo raptor, por lo que agregue en cron el rienicio obligatorio cada 2 horas de ambos servicios.

Es mas, lo reinstale un par de dias despues de la actualizacion, debido a problemas en la interface web.

Como dije, de andar, cuando anda bien, es un avion

Cita de: roxdng en Octubre 06, 2015, 12:33:14 PM
Pon capturas de los dns de raptor y squid.

Usas cache dns?

Que dns usan tus usuarios?

Enviado desde Oneplus One

Tengo mi propio servidor, los de mi proveedor, los de google y los de open dns, no uso cache dns y los usuarios usan los que determino en base al rendimiento, desde el servidor DHCP.

Ya he probado con distintos ordenes de los servidores y el resultado es instantaneo cuando desactivo raptor

Cita de: freedarwuin en Octubre 06, 2015, 09:41:37 AM
He instalado el Raptor no se que cantidad de veces ya cambie disco duro memoria y pc completa...

Mi pregunta es porque a cierta cantidad de horas el cache se vuelve lento??
Al comienzo de la instalacion todo fluye rapido he notado para que vuelva a funcionar como al principio debo reiniciar el squid3 por consola.
Sino hago eso las paginas tardan para abrir el motor de busqueda queda al cabo de unos 32s ya le acabo de tomar el tiempo.

Para que no te sigas enloqueciendo, SI, llega un punto que se pone sumamente lento hasta llegar al error de time out, acusando en resolucion DNS.

Desactivo la redireccion de trafico de puerto 80 y la diferencia es instantanea (trabajo con pfsense, redirigiendo el trafico del 80 al 3128 de la interface de mi raptor)

Citar
ERROR
El URL solicitado no se ha podido conseguir

Se encontró el siguiente error al intentar recuperar la dirección URL: http://www.pchnnn.com/

    Incapaz de determinar la dirección IP a partir del nombre de la máquina www.pchnnnn.com

El servidor DNS devolvió:

    Timeout

Esto significa que el caché no ha sido capaz de resolver el nombre de máquina presente en la URL. Compruebe que la dirección sea correcta.

Su administrador del caché es raptor.os.

Generado Tue, 06 Oct 2015 13:11:48 GMT por raptor.os (squid/3.1.20)

Aun tengo en cron activado para que cada 2 horas reinicie si o si ambos servicios, ya que en cualquier momento raptor queda offline (luego de mas de 2 hora de funcionamiento) y no suelo estar pendiente de raptor todo el tiempo de este fallo.

De funcionar, funciona bien, a tener en cuenta que no es lo mismo que antes estando ahora limitado por sus 50 threads. Asi que por lo pronto lo estare desactivando hasta que este resuelto el tema de los limites ya que no puedo tenerlo en produccion y que me degrade el servicio (no, no es una queja ni reclamo, es mi realidad)

PD: me auto-modero, por que no empezamos a mover los temas a donde corresponde? ya van 50 paginas de este tema y mas de la mitad se debe a cosas ajenas a la "Instalacion RaptorCache 2"

Cita de: NIGROMANTE en Septiembre 27, 2015, 12:37:02 PM
amigo  WALYN  me puedes dar la mano en esto de agregar discos por putty y windsl, espero que me deas solo por esta vez la mano, ya que intento pero no logro hacerlo, saludos.

Y hasta donde llegaste? Para saber desde donde arrancar

Cita de: freedarwuin en Septiembre 27, 2015, 10:27:55 AM
esto que hace reincia'

Efectivamente, mata el proceso (todos), porque por mas que pidas un service raptor status y te devuelva "running", en el panel y en el trafico la realidad es otra.

Luis, no es el juego del huevo o la gallina y que vino primero, por otro lado con un PM la solucion no es publica, por eso lo escribo en el foro. La respuesta, al no ser codigo abierto (ni tampoco exigo que asi lo sea) esta en manos del desarrollador, para eso la necesidad del feedbak

Cita de: luistec en Septiembre 26, 2015, 11:53:25 PM
Ya no es necesario eso, ya que en la actualización no se pone en Offline.

Saludos.

Si, aun lo hace...

Para quienes se le ponga offline cada tanto (en mi caso cada 2 horas aproximadamente) prueben de agregar esta linea en cron

nano /etc/crontab

0       0/2     *       *       *       pkill raptor && service raptor start

Lo que hara es que cada 2 horas matara todo proceso que contenga "raptor" de manera parcial, para luego reiniciarlo

Al menos hasta que salga una correccion...

Va a ser medio largo, pero es mi punto de vista.

Aun no le veo un sentido demasiado logico a la realizacion de full cache sin limite de velocidad o a un doble o mas de la velocidad final del cliente.

Estariamos vendiendo humo señores, luego de ese "shot de velocidad" la conexion vuelve a su velocidad normal teorica, entonces el usuario queda a la espera de que la conexion le funcione el 100% del tiempo a full cache, cuando en realidad esa velocidad se dio debido a una "casualidad cacheada" en raptor (o el sistema que fuere). En pocas palabras, los ilusionamos y eso nos juega en contra, ya que los reclamos vienen siempre a la orden del dia, pero las felicitaciones por un servicio estable escasean

Dicho esto, aca no dejo que se note la falta de velocidad de navegacion, ya que lo que realmente persigo es mejorar el rendimiento de mi ancho de banda, dejando que los clientes naveguen a 1 mb, 2 mb o lo que sea que esten contratando en realidad (a no ser que tenga en uso el 100% de mi ancho de banda)

Si sale de la cache, Hurra!!! :-*
Si no esta en cache, a buscarlo a internet

Pero con este "metodo" nadie me reclama que anda con altibajos el servicio y hago un mejor aprovechamiento de mi ancho de banda, retrasando el momento de saturacion (que es lo que creo que les/nos sucede a la mayoria, seamos sinceros, a NADIE le sobra ancho de banda y si te sobra, mejora tus planes de navegacion ;D)

Cita de: angel en Septiembre 25, 2015, 10:48:16 PM
hola probando esa nueva actualizacion hay cosas que cambio
1.- cuando se lanzo esta version al usar la pc la cpu solo usaba 4% con la actualizacion usa 17%
2.- la version sin actualizar, la memoria no pasaba del 40%, con la actualizacion usa mas del 60%

Pensalo de esta manera, para que queres memoria libre?
Si tengo 8 gb y pretendo tener el 50% libre, por que no uso solo 4?
En linux, memoria libre = memoria desperdiciada

En este momento de los 8 gb tengo libres 8%, con eso se que se aprovecha al maximo, se disminuye el uso de swap y es un mejor rendimiento del sistema

Cita de: davidmilfont en Septiembre 26, 2015, 12:44:52 PM
Após instalação o Squid ficou offline.
Alguém ajuda?
Posso comentar a linha 82?

FATAL: Bungled squid.conf line 82: cache_peer_access 192.168.10.2 allow ext

Revisaste que este escrito exts ? atento a eso...

Estimados, adjunto unas capturas para mostrarles como va esta nueva version (con el patch que eleva el numero de PROCESOS SIMULTANEOS de 40 a 50)

Aun estoy haciendo algunas pruebas para ver de que manera se puede hacer un script para reiniciar el servicio raptor cuando este se detiene, pero al parecer sera a traves de un agregado en cron y el comando pkill, ya que el estado del servicio lo da como OK, pero la realidad es otra

Si, ya tenia comentada la linea, lo deje para que vallan teniendo en cuenta, es un log muy grande para que se duplique

 ;D
Fire, ahora el colgado que nunca vio la respuesta fui yo!
Igualmente, en ese entonces apague mi servidor, era demasiado tiempo que me quitaba, estoy probando la version 2, sin ese problema en la instalacion por defecto + el patch de la limitacion de 40

Alguna idea de que por que se crean 2 archivos de log con el mismo contenido para ambos?

access_log /var/log/squid3/access.log
access_log /var/log/squid3/error.log

Cual es la idea de replicar en el archivo error.log el contenido del access?

y este otro error, que ya voy a ver si es algo en mi pc o si es en general:

errorpage.cc(293) errorTryLoadText: '/usr/share/squid3/errors/v-es-la/ERR_READ_ERROR': (2) No such file or directory
WARNING: Error Pages Missing Language: v-es-la
errorpage.cc(293) errorTryLoadText: '/usr/share/squid3/errors/v-/ERR_READ_ERROR': (2) No such file or directory
WARNING: Error Pages Missing Language: v-

Nadie? Aunque sea como para cambiar el punto de vista y buscar alternativas

Estimados, me encuentro con el problema de que tengo un loop de redireccion y no logro dar con la solucion, adjunto los logs y las configuraciones para ver que puede ser el problema:

Squid.conf
#========================== Squid 3.x Conf ===========================#
#
# Opciones de SQUID 3.x
#----------------------------------------------------------------------
http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0
#----------------------------------------------------------------------
#error_directory /usr/share/squid3/errors/Spanish/
#----------------------------------------------------------------------
acl denegados url_regex -i "/etc/squid3/denegados.lst"
#----------------------------------------------------------------------
# Servidor DNS y Politica de Cambios
#----------------------------------------------------------------------
dns_nameservers 8.8.8.8 8.8.4.4
dns_retransmit_interval 5 seconds
dns_timeout 2 minutes
#----------------------------------------------------------------------
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl CONNECT method CONNECT

acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl SSL_ports port 443
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl Safe_ports port 631         # cups
acl Safe_ports port 873         # rsync
acl Safe_ports port 901         # SWAT
acl Safe_ports port 1863        # MSN
#acl SSL_ports port 443          # https
acl SSL_ports port 563          # snews
acl SSL_ports port 873          # rsync

http_access allow manager localhost
http_access deny manager all
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny denegados
#----------------------------------------------------------------------
coredump_dir /var/spool/squid3
#----------------------------------------------------------------------
# Memoria reservada para cache
#----------------------------------------------------------------------
cache_mem 7168 MB
#----------------------------------------------------------------------
# Maximo tamaño de archivo en cache de memoria
#----------------------------------------------------------------------
maximum_object_size_in_memory 640 KB
#----------------------------------------------------------------------
# Maximo y minimo tamaño de archivos cache en el Disco duro
#----------------------------------------------------------------------
maximum_object_size 30 MB
minimum_object_size 4 KB
#----------------------------------------------------------------------
# Sustituir archivos de cache cuando llegue a 96%
#----------------------------------------------------------------------
cache_swap_low 92
cache_swap_high 96
#----------------------------------------------------------------------
# Total de espacio en HD a ser usado por el cache, numero de carpetas,
# numero de subcarpetas en cache
# 100000 = 100 GB
#----------------------------------------------------------------------
cache_dir aufs /var/spool/squid3/cache1 100000  16 256
#----------------------------------------------------------------------
# Estandar de actualización de cache
# 1 mes = 10080 mins, 1 dia = 1440 mins
#----------------------------------------------------------------------
refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(swf|htm|html|shtm|shtml|nub)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 14400 80% 43200
refresh_pattern -i .(avi|iso|wav|mid|mp?|mpe?g?|mpeg|mov|3gp|wm?|flv|x-flv|axd)$ 14400 80% 43200
refresh_pattern -i .(qtm?|viv|au|ram?|snd|sit|hqx|arj|lzh|lha|txt|rtf|tex|latex|class|js|ico)$ 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320
#----------------------------------------------------------------------
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
#refresh_pattern (Release|Package(.gz)*)$       0       20%     2880
refresh_pattern .               0       20%     4320
#----------------------------------------------------------------------
# Log de acessos por el cache o para SARG
#----------------------------------------------------------------------
logfile_rotate 7
access_log /var/log/squid3/access.log
access_log /var/log/squid3/error.log
cache_store_log none
#----------------------------------------------------------------------
# Otras configuraciones
#----------------------------------------------------------------------
half_closed_clients off
server_persistent_connections off
client_persistent_connections off
log_fqdn off
quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 95
max_filedescriptors 815146
cache_effective_user proxy
cache_effective_group proxy
#----------------------------------------------------------------------
# Manteniendo objetos recientes y pequeños en memoria
#----------------------------------------------------------------------
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
#----------------------------------------------------------------------
# Sitios que se les niega el cache 
#----------------------------------------------------------------------
acl nocache dstdomain .4shared.com .youtube.com .windowsupdate.com .gl$
no_cache deny nocache
#----------------------------------------------------------------------
# Deny cache                             
#----------------------------------------------------------------------
acl dontrewrite url_regex (get_video\?|videoplayback\?|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video|videoplayback\?id|videoplayback.*id).*begin\=[1-9][0-9]*
acl dontrewrite url_regex \.(php|asp|aspx|jsp|cgi|js)\?
acl dontrewrite url_regex threadless.*\.jpg\?r=
acl dontrewrite url_regex -i .(asx|asf)$
cache deny dontrewrite
#----------------------------------------------------------------------
acl raptor_lst url_regex -i "/etc/raptor/raptor.lst"
cache deny raptor_lst
cache_peer 192.168.55.102 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 192.168.55.102 allow raptor_lst
cache_peer_access 192.168.55.102 deny all
#----------------------------------------------------------------------

Squid -v:
Squid Cache: Version 3.1.20
configure options: 
'--build=x86_64-linux-gnu'
'--prefix=/usr'
'--includedir=${prefix}/include'
'--mandir=${prefix}/share/man'
'--infodir=${prefix}/share/info'
'--sysconfdir=/etc'
'--localstatedir=/var'
'--libexecdir=${prefix}/lib/squid3'
'--srcdir=.'
'--disable-maintainer-mode'
'--disable-dependency-tracking'
'--disable-silent-rules'
'--datadir=/usr/share/squid3'
'--sysconfdir=/etc/squid3'
'--mandir=/usr/share/man'
'--with-cppunit-basedir=/usr'
'--enable-inline'
'--enable-async-io=128'
'--enable-storeio=ufs,aufs,diskd'
'--enable-removal-policies=lru,heap'
'--enable-delay-pools'
'--enable-cache-digests'
'--enable-underscores'
'--enable-icap-client'
'--enable-follow-x-forwarded-for'
'--enable-auth=basic,digest,ntlm,negotiate'
'--enable-basic-auth-helpers=LDAP,MSNT,NCSA,PAM,SASL,SMB,YP,DB,POP3,getpwnam,squid_radius_auth,multi-domain-NTLM'
'--enable-ntlm-auth-helpers=smb_lm,'
'--enable-digest-auth-helpers=ldap,password'
'--enable-negotiate-auth-helpers=squid_kerb_auth'
'--enable-external-acl-helpers=ip_user,ldap_group,session,unix_group,wbinfo_group'
'--enable-arp-acl'
'--enable-esi'
'--enable-zph-qos'
'--enable-wccpv2'
'--disable-translation'
'--with-logdir=/var/log/squid3'
'--with-pidfile=/var/run/squid3.pid'
'--with-filedescriptors=815732'
'--with-large-files'
'--with-default-user=proxy'
'--enable-linux-netfilter'
'build_alias=x86_64-linux-gnu'
'CFLAGS=-g -O2 -fPIE -fstack-protector --param=ssp-buffer-size=4 -Wformat -Werror=format-security -Wall'
'LDFLAGS=-fPIE -pie -Wl,-z,relro -Wl,-z,now'
'CPPFLAGS=-D_FORTIFY_SOURCE=2'
'CXXFLAGS=-g -O2 -fPIE -fstack-protector --param=ssp-buffer-size=4 -Wformat -Werror=format-security'
--with-squid=/usr/src/squid/squid3-3.1.20

hosts:
127.0.0.1 localhost.localdomain localhost
192.168.55.102 proxy.os.com proxy
#
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
fe00::0 ip6-mcastprefix
ff02:1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

Script IpTables
#!/bin/bash
echo ";;;;;;;;;;;;;;;;;;;;;;;"
echo ";     RaptorCache     ;"
echo ";;;;;;;;;;;;;;;;;;;;;;;"

#Borrar cadenas anteriores
iptables -F
iptables -X
iptables -Z
iptables -t nat -F

#Condiciones por defecto
iptables -P INPUT ACCEPT
iptables -P OUTPUT ACCEPT
iptables -P FORWARD ACCEPT

iptables -t nat -P PREROUTING ACCEPT
iptables -t nat -P POSTROUTING ACCEPT

#Aceptamos el localhost
iptables -A INPUT -i lo -j ACCEPT

#Aceptamos la red local
iptables -A INPUT -s 192.168.55.0/24 -j ACCEPT

iptables  -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j REDIRECT --to-port 3128

echo 1 > /proc/sys/net/ipv4/ip_forward

Interfaces
# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

# The loopback network interface
auto lo
iface lo inet loopback


Resolv.conf
# Generated by NetworkManager
domain inacom
search inacom
nameserver 127.0.0.1
nameserver 192.168.55.1
nameserver 8.8.8.8


Y por ultimo cahe.log
2015/01/28 10:08:30| WARNING: Forwarding loop detected for:
HEAD / HTTP/1.1
Host: 192.168.55.102:3128
Via: 1.0 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20)
X-Forwarded-For: 10.1.1.100, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102, 192.168.55.102
Cache-Control: max-age=259200

2015/01/28 10:08:30| ctx: enter level  0: 'http://192.168.55.102:3128/'
2015/01/28 10:08:30| HttpMsg::parse: Too large reply header (65636 > 65536
2015/01/28 10:08:31| ctx: exit level  0
2015/01/28 10:08:31| ctx: enter level  0: 'http://192.168.55.102:3128/'
2015/01/28 10:08:31| HttpMsg::parse: Too large reply header (65632 > 65536


A este ultimo le borre un par de cientos de lineas repetidas (basicamente se repetia la version de squid y la direccion ip de raptor)

Como datos adicionales, el error no lo hacia hasta antes de volver a compilar squid3 con la modificacion de '--with-filedescriptors=815732' y '--enable-async-io=128' y hasta ahi usaba raptor sin reglas de firewall sin que aparezca el problema, aunque no puedo tener certeza

NO UTILIZO MK, tengo un pfsense con una regla de nat que redirecciona todos los hosts de determinada subred (de prueba, claro esta):
If Proto Src. addr Src. ports Dest. addr Dest. ports NAT IP NAT Ports Description
LAN TCP 10.1.6.0/24 * * 80 (HTTP) 192.168.55.102 3128 prueba nat

Hardware utilizado:
Debian GNU/Linux 7.8 (wheezy) / 28-01-2015 08:27 am
Intel(R) Xeon(R) CPU E3-1220 V2 @ 3.10GHz - 4 cores (64 bits) / 7.79 GiB RAM

   Disco    S.M.A.R.T.    Modelo    Espacio    Temp.
1    /dev/sda    Enabled    Western Digital Caviar Black    931.51 GiB    46 °C
2    /dev/sdb    Enabled    Western Digital Caviar Black    931.51 GiB    45 °C
3    /dev/sdc    Enabled    Uknow    111.79 GiB    41 0 °C
Caché Dir.    Espacio Total    Espacio Usado    Espacio Libre    Obj. en Caché    % Usado    % Libre
/raptorcache    1832.78 GiB    139.25 GiB    1693.53 GiB    278.737    8 %    92 %

Mi primer post y obviamente mi primer consulta de varias que tengo.

Antes que nada les comento de que estuve utilizando raptor (que ahora esta fuera de la red de productividad) conectado a un pfsense (bsd), a traves de una simple regla de nat redireccionando todo lo que iba con destino al puerto 80 por parte de los clientes a 192.168.55.2:3128 que era la ip de raptor.

No utilizo full cache, ya que mi idea no es entregar el contenido a velocidades de lan, sino el objetivo el administrar con mayor eficiencia el ancho de banda, ya que si prometo 512 kb, entrego los 512 kb, de ahi que no use un mikrotik y las reglas de marcado para entrega de datos

Me encontre con unas cuestiones que no tuve tiempo de sentarme en profundidad a ver el motivo, pero que las expongo para ver si alguien me da una idea de que puede ser, asi vuelvo a utilizar raptor.

1- los logs cache.log crecian de una manera desmesurada, llegando a los 40 gb en solo unas horas de funcionamiento y el problema principal era de que squid detectaba un bucle de redireccion para cada consulta por parte de los clientes (el bucle se generaba entre 192.168.55.1 >> interface opt1 de pfsense y 192.168.55.2 >> raptor) basta hacerse a una idea de que en menos de 3 dias me lleno el disco con logs repetitivos hasta que desactive los mismos, quedando sin informes de errores.

2- los gestores de descargas dejaban de trabajar con multiples conexiones en simultaneo y solo se les permitia hacer una conexion al servidor donde se alojaba el video (por ejemplo), haciendo que la primer descarga sea a una velocidad de entre el 40 y 70 % menos de la velocidad que se obtenia desactivando la redireccion a raptor, ni que hablar si el gestor de descarga lograba las 10 o 15 conexiones simultaneas, ahi lo bajaba al limite establecido por cliente.