Hola

Ante todo aclaro que el server funciono por 30 dias de corrido pero desde hace 5 dias dejo de hacer cache el raptor, squid sigue entregando hit pero raptor no... paso a detallar

log squid me arroja esto

root@proxy:~# more /var/log/squid3/access.log | grep http://mla-s1-p.mlstatic.com/19190-MLA20166451211_092014-M.jpg
1438932969.077   4727 10.5.50.188 TCP_MISS/200 2177 GET http://mla-s1-p.mlstatic.com/19190-MLA20166451211_092014-M.jpg - FIRST_UP_PARENT/192.168.10.2 image/jpeg
1438934082.671   3883 10.5.50.188 TCP_MISS/304 305 GET http://mla-s1-p.mlstatic.com/19190-MLA20166451211_092014-M.jpg - FIRST_UP_PARENT/192.168.10.2 image/jpeg
1438934198.322   2247 10.5.50.188 TCP_MISS/304 305 GET http://mla-s1-p.mlstatic.com/19190-MLA20166451211_092014-M.jpg - FIRST_UP_PARENT/192.168.10.2 image/jpeg

consola java script chrome me arroja lo siguiente

archivo  http://mla-s1-p.mlstatic.com/19190-MLA20166451211_092014-M.jpg

Via:1.0 proxy.os.com (squid/3.1.20)
X-Cache:MISS from proxy.os.com
X-Cache-Lookup:MISS from proxy.os.com:3128

ya borre ambos cache, el de raptor y el de squid y sigue con el mismo comportamiento...

Alguna idea??

Saludos

ok lo voy a hacer tal cual lo comentan

Hola

No estoy usando redireccion por mangle, lo venia haciendo por nat de la siguiente manera

add action=dst-nat chain=dstnat comment="Redireccion PORT 80 a RaptorCache" disabled=no dst-port=80 protocol=tcp src-address=!192.168.10.2 to-addresses=192.168.10.2 \
    to-ports=3128

siempre lo tuve asi desde que tenia debian 7.2 con raptor 1.0.6b y el mangle como que no rendia de la misma forma... por eso no tengo nada en iptables, crees que el problema se resolveria haciendo la redireccion por mangle en vez de por nat?

saludos

Hola firecold

No tengo reglas en iptables....

root@proxy:~# iptables -L -n
Chain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
root@proxy:~#

la redireccion la estoy haciendo por nat y no por mangle, lo del loop lo entiendo y no tengo nada bloqueado en sitios denegados en squid, incluso cuando desabilite el bloque por lista adblock se colgaba el servicio casi cada 30 minutos dedo que el log cache.log se llenaba tornaba de 2gb, ahora esta mas estable que he vuelto a activar el adblock pero los cuelgues del servicio siguen pasando aunque no tan seguido

Saludos

Hola

Queria consultar si alguien tuvo el mismo problema dado que se me llena el log de squid y se me cuelga el servicio. por lo que veo hay un loop que el mismo squid genera pero nose a que se pueda deber, en el log veo mensajes como :

TCP_MISS/400 73343 POST http://192.168.10.2:3128/uploadv3 - DIRECT/192.168.10.2 text/html

o

TCP_MISS/400 101212 POST http://192.168.10.2:3128/tmpconnect - DIRECT/192.168.10.2 text/html

y dentro del archivo cache.log tengo lo siguiente:

2015/03/09 06:25:48| WARNING: Forwarding loop detected for:
POST /uploadv3 HTTP/1.1
Content-Length: 51394
Host: 192.168.10.2:3128
Via: 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20)
, 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1
.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1
proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 pro
xy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20), 1.1 proxy.os.com (squid/3.1.20)
X-Forwarded-For: 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2
, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2, 192.168.10.2
, 192.168.10.2
Cache-Control: max-age=259200

La regla nat para redireccionar el trafico a squid es la que esta aqui en el foro y nunca me dieron problemas, ahora hace unas semanas volvi a instalar todo de nuevo dado que el disco anterior se rompio y en estos dias veo este comportamiento extraño que no se que es.

Saludos

Proba esto en una terminal

edita
nano /etc/apache2/apache2.conf

al final agregas raptor.conf

deberia quedarte asi Include sites-enabled/raptor.conf
y alli ya podes correr el apache2.

Despues de 6 hs de buscar con esto me funciono a mi

Tambien dentro del archivo raptor.conf fijate que esta parte:
   
AuthName \"Authorization Required\"

tiene que quedar asi

AuthName "Authorization Required"

Saludos

asi es amigo luistec, mi esquema es Raptor conectado a mikrotik, redirecciono los clientes por nat y no por mangle, ahora revisando los log me aparece httpAccept: FD 17: accept failure: (23) Too many open files in system
En el rc.local del raptor desactive el fw.sh que tiene el siguiente contenido

Citar#!/bin/bash
echo ";;;;;;;;;;;;;;;;;;;;;;;"
echo ";     RaptorCache     ;"
echo ";;;;;;;;;;;;;;;;;;;;;;;"

#Borrar cadenas anteriores
iptables -F
iptables -X
iptables -Z
iptables -t nat -F

#Condiciones por defecto
iptables -P INPUT ACCEPT
iptables -P OUTPUT ACCEPT
iptables -P FORWARD ACCEPT

iptables -t nat -P PREROUTING ACCEPT
iptables -t nat -P POSTROUTING ACCEPT

#Aceptamos el localhost
iptables -A INPUT -i lo -j ACCEPT

#Aceptamos la red local
iptables -A INPUT -s 192.168.2.0/30 -j ACCEPT

iptables  -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 3128

echo 1 > /proc/sys/net/ipv4/ip_forward

y la verdad que igual me siguen apareciendo estos comentarios raros en el log del cache

saludos

Despues de un dia sin novedades con el Raptor otra vez se dispararon las conexiones, cuando veo el log me aparece lo siguiente:

Citar2014/10/25 09:23:15| Open FD WRITING    33931 http://192.168.10.2:3128/TMobileUSAIncIPAccessNano3G/LatestCRL.
2014/10/25 09:23:15| Open FD READING    33932 Reading next request
2014/10/25 09:23:15| Open FD WRITING    33933 http://192.168.10.2:3128/TMobileUSAIncIPAccessNano3G/LatestCRL.
2014/10/25 09:23:15| Open FD READING    33934 Reading next request
2014/10/25 09:23:15| Open FD WRITING    33935 http://192.168.10.2:3128/TMobileUSAIncIPAccessNano3G/LatestCRL.
2014/10/25 09:23:15| Open FD READING    33936 Reading next request
2014/10/25 09:23:15| Open FD READ/WRITE 33937 http://192.168.10.2:3128/TMobileUSAIncIPAccessNano3G/LatestCRL.
2014/10/25 09:23:15| Open FD UNSTARTED  41415 client http connect
2014/10/25 09:23:15| Open FD UNSTARTED  45364 client http connect
2014/10/25 09:23:15| Open FD UNSTARTED  49367 client http connect
2014/10/25 09:23:15| Open FD READ/WRITE 56961 http://cdn.marketplacecontent.windowsphone.com/public/ddf6aa13-
2014/10/25 09:23:15| Open FD READ/WRITE 58863 http://update.sonymobile.com/filerepository/application/s1live-
2014/10/25 09:23:15| Squid Cache (Version 3.1.20): Exiting normally.
2014/10/25 09:23:19| Starting Squid Cache version 3.1.20 for x86_64-pc-linux-gnu...
2014/10/25 09:23:19| Process ID 16367
2014/10/25 09:23:19| With 65536 file descriptors available
2014/10/25 09:23:19| Initializing IP Cache...
2014/10/25 09:23:19| DNS Socket created at [::], FD 7
2014/10/25 09:23:19| DNS Socket created at 0.0.0.0, FD 8
2014/10/25 09:23:19| Adding nameserver 8.8.8.8 from squid.conf
2014/10/25 09:23:19| Adding nameserver 8.8.4.4 from squid.conf
2014/10/25 09:23:20| Unlinkd pipe opened on FD 14
2014/10/25 09:23:20| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2014/10/25 09:23:20| Store logging disabled
2014/10/25 09:23:20| Swap maxSize 102400000 + 524288 KB, estimated 7917252 objects
2014/10/25 09:23:20| Target number of buckets: 395862
2014/10/25 09:23:20| Using 524288 Store buckets
2014/10/25 09:23:20| Max Mem  size: 524288 KB
2014/10/25 09:23:20| Max Swap size: 102400000 KB
2014/10/25 09:23:20| Version 1 of swap file with LFS support detected...
2014/10/25 09:23:20| Rebuilding storage in /var/spool/squid3/cache1 (CLEAN)

Alguna idea? termine reiniciandolo, pero esto http://192.168.10.2:3128/TMobileUSAIncIPAccessNano3G/LatestCRL. creo haberlo viso con anterioridad en el log

Cuando pasa esto el consumo del CPU se va al piso, a veces no me queda otra opcion mas que reiniciar el equipo y otras veces es como si cuando se desocupara levanta nuevamente todo, esto pasaba cada tanto pero anoche me paso durante dos horas y puede ser que hubo mas consumo del normal.

hola firecold

Nuevamente me paso que las conexiones se dispararon y despues de 10 minutos bajaron, durante ese tiempo me quedo sin internet siempre que el sitio pase por el puerto 80, el numero de conexiones se dispara a 65536, googleando un poco encuentro que tendria que elevar el valor de fs.file-max=65536 dentro del archivo /etc/sysctl.conf dado que en el log del sistema me aparece  httpAccept: FD 12: accept failure: (23) Too many open files in system

Saludos

Hola a todos

Queria preguntarles si a alguien le pasa que el raptor a veces por el trafico de los clientes les genera demasiadas conexiones. Por momentos veo en el menu UTILITARIOS --> Nº DE CONEXIONES POR USUARIOS y veo que la ip 192.168.10.2 o sea la de raptor me figuran 65565 conexiones y no bajan.
Viendo el syslog encuentro lo siguiente:

Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors
Oct 23 10:28:55 proxy named[2359]: accept: too many open file descriptors

tambien veo esto y creo pouede ser el origen

Oct 23 10:35:01 proxy snmpd[2369]: Connection from UDP: [127.0.0.1]:59938->[127.0.0.1]
Oct 23 10:35:02 proxy snmpd[2369]: Connection from UDP: [127.0.0.1]:64539->[127.0.0.1]
Oct 23 10:35:02 proxy snmpd[2369]: Connection from UDP: [127.0.0.1]:25253->[127.0.0.1]
Oct 23 10:35:02 proxy snmpd[2369]: Connection from UDP: [127.0.0.1]:16757->[127.0.0.1]
Oct 23 10:35:02 proxy snmpd[2369]: Connection from UDP: [127.0.0.1]:38494->[127.0.0.1]
Oct 23 10:35:02 proxy snmpd[2369]: Connection from UDP: [127.0.0.1]:60089->[127.0.0.1]
Oct 23 10:35:02 proxy snmpd[2369]: Connection from UDP: [127.0.0.1]:35215->[127.0.0.1]

Primero veo que named que si mal no recuerdo es el servicio de bind me tira ese error y despues veo que el mismo raptor me genera conexiones udp en diferentes puertos hacia el mismo servidor como si fuera el servicio snmp el cual nose si esta instalado en raptor. Por ahora lo que hice fue sacar de AJUSTES --> DNS sacar el nameserver 127.0.0.1

Si alguien me puede orientar lo agradecere

Me parece o youtube migro definitivamente a https?

Hola Firecold

tengo 291 plugins instalados, he estado revisando los logs de squid y estoy armando mas plugins. La consulta es porque nunca raptor a superado el 16% siendo que tiene un disco de 500g solo para raptor. Por ej. Ahora el cache de squid tiene un tamaño de 98G y el cache de raptor tiene un tamaño de 60G.

saludos

Hola, alguien tiene idea porque raptorcache nunca en mi caso supera el 15% de uso del HD, nose si hay que cambiar la configuracion en algun otro lado del raptor pero lo maximo que ocupo de un HD de 500GB con 70 usuarios fue solo el 16%
Alguna ayuda me vendria bien!

Gracias y saludos...

Hola

el disco 500GB SATA II, no queue porque el raptor esta conectado directamente a mi maquina sin MKT de por medio, asi

ROUTEROS -------> DEBIAN7+SQUID+RAPTOR ---------> MI PC

obiamente en la configuracion de mi firefox lo tengo apuntado al puerto del RAPTOR, es decir, me conecto directamente al raptor sin nada de por medio.

Saludos
OSCAR

Hola

Queria consultarles porque mi Raptor me entrega lo que este en el cache a un maximo de 15Mb  no mas? tengo que modificar algo en la configuracion? tiene que ser en el raptor porque es sobre el puerto 80, cuando bajo un archivo del servidor apache que esta en el mismo raptor me lo entrega a 80 Mb... Aclaro que la prueba la hice conectando mi maquina directamente al raptor con cable cruzado...

Saludos

Hola

Tengo un disco de 500GB, puedo instalar el sistema y cache de raptor en un mismo disco y despues mudar la carpeta /raptorcache a un disco nuevo?? podria hacer cp /raptorcache al nuevo disco?? el disco nuevo lo montaria en lvm2 para mas adelante agregar otro disco mas...

Gracias desde ya.
Saludos