RaptorCache - YouTube HTTP

firecold · Marzo 22, 2015, 01:59:43 AM

Cita de: ovijunio7 en Marzo 20, 2015, 05:17:50 PM
porque cuando direcciono con el header de squid al hacer cache en cver dice as3 en vez que diga cver:html5 pero cuando lo desactivo en https el cver dice...cver:html5, aparte se cortan los videos y se queda parado y no carga

Amigo desde cuando tiene este problema, le pregunto, ya que en mi red no he tenido problemas o por lo menos nadie los ha reportado, pero seria bueno que nos enviara mas informacion, es cualquier video o alguno en particular, que configuracion tiene en el user-agent de squid, Saludos

angel · Marzo 22, 2015, 01:26:07 PM

hola a todos los amigos del foro, tengo un problema com los videos de youtube, los videos que se ven, no hacen hit, pense que mi configuracion estaba mal asi que use una configuracion que me enviaron que esta detallado en el video lo copie tal cual esta solo le cambie la ip que uso, pero aun asi el problema persiste, no se que sera realmente lo que sucede, por que a la gran mayoria del foro parece que les funciona de maravilla, el video es el siguiente a ver si un alma buena me ayuda a saber por que esta asi

http://youtu.be/XIgsRrbCFGc

si mas que decir gracias espero sugerencias y a ver si me dan una manita para solucionar el problema, aclaro que esta en modo gateway :-X :'(

firecold · Marzo 22, 2015, 02:47:05 PM

Cita de: angel en Marzo 22, 2015, 01:26:07 PM
hola a todos los amigos del foro, tengo un problema com los videos de youtube, los videos que se ven, no hacen hit, pense que mi configuracion estaba mal asi que use una configuracion que me enviaron que esta detallado en el video lo copie tal cual esta solo le cambie la ip que uso, pero aun asi el problema persiste, no se que sera realmente lo que sucede, por que a la gran mayoria del foro parece que les funciona de maravilla, el video es el siguiente a ver si un alma buena me ayuda a saber por que esta asi

http://youtu.be/XIgsRrbCFGc

si mas que decir gracias espero sugerencias y a ver si me dan una manita para solucionar el problema, aclaro que esta en modo gateway :-X :'(

Amigo cuentenos mas detallmadamente cual es tu problema, que SO usas, que arquitectura, de como estas trabajando, modo gateway, modo paralelo, modo bridge, cual es tu configuracion de squid, si tiene problemas a revisado sus logs, los cuales ayudan a saber si tenemos algun problema, Saludos

angel · Marzo 22, 2015, 05:48:47 PM

Cita de: firecold en Marzo 22, 2015, 02:47:05 PM
Amigo cuentenos mas detallmadamente cual es tu problema, que SO usas, que arquitectura, de como estas trabajando, modo gateway, modo paralelo, modo bridge, cual es tu configuracion de squid, si tiene problemas a revisado sus logs, los cuales ayudan a saber si tenemos algun problema, Saludos

bueno el sistema que uso es debian 7.5 64bits
estoy trabajando en modo gateway y la configuracion del squid es la que raptor hace por defecto

configuracion de la intefaces de red
auto lo
iface lo inet loopback
##### internet####
auto eth0
iface eth0 inet dhcp

##### Lan ###############
auto eth1
iface eth1 inet static
address 200.200.0.1
netmask 255.255.255.0
network 200.200.0.0
broadcast 200.200.0.255

configuracion de iptables es
########## PARAMETROS #########
INT_IN=eth0 # Interface que provee internet
INT_OUT=eth1 # interface que comparte internet a la Lan
RANGO=200.200.0.0/24
###############################
echo " Borrando las Cadenas existentes..."
iptables -F
iptables -t nat -F
iptables -t mangle -F
iptables -X
iptables -t nat -X
iptables -t mangle -X
Zero all packets and counters.
iptables -Z
iptables -t nat -Z
iptables -t mangle -Z
echo " Estableciendo Politica por Defecto (ACEPTAR)"
iptables -P INPUT ACCEPT
iptables -P OUTPUT ACCEPT
iptables -P FORWARD ACCEPT
echo " Redireccionamos las peticiones de www hacia Squid Proxy"
echo 1 > /proc/sys/net/ipv4/ip_forward
iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j REDIRECT --to-port 3128
iptables -t nat -A POSTROUTING -o $INT_IN -s $RANGO -j MASQUERADE
echo " Terminando la Configuracion del Firewall."

la configuracion de squid es la siguiente
#========================== Squid 3.x Conf ===========================#
#
# Opciones de SQUID 3.x
#----------------------------------------------------------------------
http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0
#----------------------------------------------------------------------
acl google url_regex -i (googlevideo.com|youtube.com)
request_header_access User-Agent deny google
request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
#----------------------------------------------------------------------
#error_directory /usr/share/squid3/errors/Spanish/
#----------------------------------------------------------------------
acl denegados url_regex -i "/etc/squid3/denegados.lst"
#----------------------------------------------------------------------
# Servidor DNS y Politica de Cambios
#----------------------------------------------------------------------
dns_nameservers 8.8.8.8 8.8.4.4
dns_retransmit_interval 5 seconds
dns_timeout 2 minutes
#----------------------------------------------------------------------
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl CONNECT method CONNECT

acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl SSL_ports port 443
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl Safe_ports port 1863 # MSN
#acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync

http_access allow manager localhost
http_access deny manager all
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny denegados
#----------------------------------------------------------------------
coredump_dir /var/spool/squid3
#----------------------------------------------------------------------
# Memoria reservada para cache
#----------------------------------------------------------------------
cache_mem 512 MB
#----------------------------------------------------------------------
# Maximo tamaño de archivo en cache de memoria
#----------------------------------------------------------------------
maximum_object_size_in_memory 128 KB
#----------------------------------------------------------------------
# Maximo y minimo tamaño de archivos cache en el Disco duro
#----------------------------------------------------------------------
maximum_object_size 30 MB
minimum_object_size 4 KB
#----------------------------------------------------------------------
# Sustituir archivos de cache cuando llegue a 96%
#----------------------------------------------------------------------
cache_swap_low 92
cache_swap_high 96
#----------------------------------------------------------------------
# Total de espacio en HD a ser usado por el cache, numero de carpetas,
# numero de subcarpetas en cache
# 100000 = 100 GB
#----------------------------------------------------------------------
cache_dir aufs /var/spool/squid3/cache1 100000 16 256
#----------------------------------------------------------------------
# Estandar de actualización de cache
# 1 mes = 10080 mins, 1 dia = 1440 mins
#----------------------------------------------------------------------
refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(swf|htm|html|shtm|shtml|nub)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 14400 80% 43200
refresh_pattern -i .(avi|iso|wav|mid|mp?|mpe?g?|mpeg|mov|3gp|wm?|flv|x-flv|axd)$ 14400 80% 43200
refresh_pattern -i .(qtm?|viv|au|ram?|snd|sit|hqx|arj|lzh|lha|txt|rtf|tex|latex|class|js|ico)$ 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320
#----------------------------------------------------------------------
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
#refresh_pattern (Release|Package(.gz)*)$ 0 20% 2880
refresh_pattern . 0 20% 4320
#----------------------------------------------------------------------
# Log de acessos por el cache o para SARG
#----------------------------------------------------------------------
logfile_rotate 7
access_log /var/log/squid3/access.log
access_log /var/log/squid3/error.log
cache_store_log none
#----------------------------------------------------------------------
# Otras configuraciones
#----------------------------------------------------------------------
half_closed_clients off
server_persistent_connections off
client_persistent_connections off
log_fqdn off
quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 95
max_filedescriptors 65536
cache_effective_user proxy
cache_effective_group proxy
#----------------------------------------------------------------------
# Manteniendo objetos recientes y pequeños en memoria
#----------------------------------------------------------------------
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
#----------------------------------------------------------------------
# Sitios que se les niega el cache
#----------------------------------------------------------------------
acl nocache dstdomain .4shared.com .youtube.com .windowsupdate.com .gl$
no_cache deny nocache
#----------------------------------------------------------------------
# Deny cache
#----------------------------------------------------------------------
acl dontrewrite url_regex (get_video\?|videoplayback\?|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video|videoplayback\?id|videoplayback.*id).*begin\=[1-9][0-9]*
acl dontrewrite url_regex \.(php|asp|aspx|jsp|cgi|js)\?
acl dontrewrite url_regex threadless.*\.jpg\?r=
acl dontrewrite url_regex -i .(asx|asf)$
cache deny dontrewrite
#----------------------------------------------------------------------
acl raptor_lst url_regex -i "/etc/raptor/raptor.lst"
cache deny raptor_lst
cache_peer 10.0.2.15 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 10.0.2.15 allow raptor_lst
cache_peer_access 10.0.2.15 deny all
#----------------------------------------------------------------------

que es la que raptor hace por defecto

el squid access log es el siguiente

1426992299.347 235 200.200.0.2 TCP_MISS/200 796 GET http://clients1.google.com/complete/search? - DIRECT/190.104.7.91 text/javascript
1426992301.568 420 200.200.0.2 TCP_MISS/204 368 GET http://www.google.com/gen_204? - DIRECT/190.104.7.94 text/html
1426992301.614 428 200.200.0.2 TCP_MISS/200 21279 GET http://www.youtube.com/results? - DIRECT/190.104.7.87 application/json
1426992302.070 114 200.200.0.2 TCP_MISS/204 235 GET http://clients1.google.com/generate_204 - DIRECT/190.104.7.91 -
1426992302.084 9 200.200.0.2 TCP_MISS/200 9925 GET http://i.ytimg.com/vi/caoowvw7A-U/mqdefault.jpg - FIRST_UP_PARENT/10.0.2.15 image/jpeg
1426992302.152 272 200.200.0.2 TCP_MISS/200 866 GET http://ad.doubleclick.net/N4061/adi/com.ytsrc.enter/comicsanimation_cartoons;sz=300x250;tile=1;dc_yt=1;kga=-1;kgg=-1;klg=es;kmyd=ad_creative_1;ytexp=9408102,9406813,9407817,9405652,9407908;ord=1923966492938517? - DIRECT/216.58.219.134 text/html
1426992302.507 209 200.200.0.2 TCP_MISS/200 1344 GET http://www.youtube.com/ad_frame? - DIRECT/190.104.7.87 text/html
1426992302.536 650 200.200.0.2 TCP_MISS/204 464 GET http://csi.gstatic.com/csi? - DIRECT/64.233.186.94 image/gif
1426992312.177 388 200.200.0.2 TCP_MISS/200 36567 GET http://www.youtube.com/watch? - DIRECT/190.104.7.87 application/json
1426992312.728 152 200.200.0.2 TCP_MISS/200 721 GET http://r3---sn-upbvcv-88pe.googlevideo.com/crossdomain.xml - DIRECT/190.104.7.78 text/x-cross-domain-policy
1426992312.815 160 200.200.0.2 TCP_MISS/204 235 GET http://r3---sn-upbvcv-88pe.googlevideo.com/generate_204 - DIRECT/190.104.7.78 -
1426992312.891 151 200.200.0.2 TCP_MISS/204 235 GET http://clients1.google.com/generate_204 - DIRECT/190.104.7.91 -
1426992312.942 288 200.200.0.2 TCP_MISS/200 620 GET http://www.youtube.com/annotations_invideo? - DIRECT/190.104.7.87 text/xml
1426992313.383 535 200.200.0.2 TCP_MISS/204 516 GET http://s.youtube.com/api/stats/qoe? - DIRECT/190.104.7.93 text/html
1426992313.611 240 200.200.0.2 TCP_MISS/204 516 GET http://s.youtube.com/api/stats/qoe? - DIRECT/190.104.7.93 text/html
1426992314.182 1386 200.200.0.2 TCP_MISS/200 4490 GET http://i.ytimg.com/vi/O6jdZEws6_Y/default.jpg - FIRST_UP_PARENT/10.0.2.15 image/jpeg
1426992314.227 1429 200.200.0.2 TCP_MISS/200 3789 GET http://i.ytimg.com/vi/EjAUG18PWsc/default.jpg - FIRST_UP_PARENT/10.0.2.15 image/jpeg
1426992314.227 1380 200.200.0.2 TCP_MISS/200 5033 GET http://i.ytimg.com/vi/IrEx1xuOl8o/default.jpg - FIRST_UP_PARENT/10.0.2.15 image/jpeg
1426992314.227 1430 200.200.0.2 TCP_MISS/200 4795 GET http://i.ytimg.com/vi/G6ZLZQGydPc/default.jpg - FIRST_UP_PARENT/10.0.2.15 image/jpeg
1426992314.620 750 200.200.0.2 TCP_MISS/200 11073 POST http://www.youtube.com/watch_fragments_ajax? - DIRECT/190.104.7.87 application/json
1426992315.092 311 200.200.0.2 TCP_MISS/204 528 GET http://www.youtube.com/ptracking? - DIRECT/190.104.7.87 video/x-flv
1426992315.134 359 200.200.0.2 TCP_MISS/204 582 GET http://s.youtube.com/api/stats/playback? - DIRECT/190.104.7.93 text/html
1426992315.528 747 200.200.0.2 TCP_MISS/204 464 GET http://csi.gstatic.com/csi? - DIRECT/64.233.186.94 image/gif
1426992320.563 412 200.200.0.2 TCP_MISS/204 582 POST http://www.youtube.com/api/stats/atr? - DIRECT/190.104.7.87 text/html
1426992322.741 451 200.200.0.2 TCP_MISS/204 516 GET http://s.youtube.com/api/stats/qoe? - DIRECT/190.104.7.93 text/html
1426992323.777 493 200.200.0.2 TCP_MISS/204 582 GET http://s.youtube.com/api/stats/watchtime? - DIRECT/190.104.7.93 text/html
1426992324.292 1687 200.200.0.2 TCP_MISS/206 300660 GET http://download.cdn.mozilla.net/pub/firefox/releases/36.0.4/update/win32/es-ES/firefox-36.0.4.complete.mar - FIRST_UP_PARENT/10.0.2.15 application/octet-stream
1426992325.868 13292 200.200.0.2 TCP_MISS/206 22414066 GET http://r3---sn-upbvcv-88pe.googlevideo.com/videoplayback? - FIRST_UP_PARENT/10.0.2.15 video/mp4
1426992333.561 241 200.200.0.2 TCP_MISS/204 582 GET http://s.youtube.com/api/stats/watchtime? - DIRECT/190.104.7.93 text/html
1426992343.537 213 200.200.0.2 TCP_MISS/204 582 GET http://s.youtube.com/api/stats/watchtime? - DIRECT/190.104.7.93 text/html
1426992352.597 204 200.200.0.2 TCP_MISS/204 516 GET http://s.youtube.com/api/stats/qoe? - DIRECT/190.104.7.93 text/html
1426992368.656 239 200.200.0.2 TCP_MISS/204 582 GET http://s.youtube.com/api/stats/watchtime? - DIRECT/190.104.7.93 text/html
1426992382.920 413 200.200.0.2 TCP_MISS/204 516 GET http://s.youtube.com/api/stats/qoe? - DIRECT/190.104.7.93 text/html
1426992385.052 386 200.200.0.2 TCP_MISS/206 300660 GET http://download.cdn.mozilla.net/pub/firefox/releases/36.0.4/update/win32/es-ES/firefox-36.0.4.complete.mar - FIRST_UP_PARENT/10.0.2.15 application/octet-stream
1426992408.787 211 200.200.0.2 TCP_MISS/204 582 GET http://s.youtube.com/api/stats/watchtime? - DIRECT/190.104.7.93 text/html
1426992412.832 208 200.200.0.2 TCP_MISS/204 516 GET http://s.youtube.com/api/stats/qoe? - DIRECT/190.104.7.93 text/html
1426992443.286 553 200.200.0.2 TCP_MISS/204 516 GET http://s.youtube.com/api/stats/qoe? - DIRECT/190.104.7.123 text/html
1426992445.790 469 200.200.0.2 TCP_MISS/206 300660 GET http://download.cdn.mozilla.net/pub/firefox/releases/36.0.4/update/win32/es-ES/firefox-36.0.4.complete.mar - FIRST_UP_PARENT/10.0.2.15 application/octet-stream
1426992448.952 213 200.200.0.2 TCP_MISS/204 582 GET http://s.youtube.com/api/stats/watchtime? - DIRECT/190.104.7.123 text/html
1426992473.082 210 200.200.0.2 TCP_MISS/204 516 GET http://s.youtube.com/api/stats/qoe? - DIRECT/190.104.7.123 text/html

y el raptor access log es el siguiente

1426992047.000 (16863) MISS/200 7215 GET http://i.ytimg.com/vi/4c0YyXyfEEY/mqdefault.jpg
1426992047.000 (16862) MISS/200 11378 GET http://i.ytimg.com/vi/mhFDw2lJKHM/mqdefault.jpg
1426992047.000 (16868) MISS/200 7923 GET http://i.ytimg.com/vi/rxAB4Ec1ghA/mqdefault.jpg
1426992047.000 (16858) MISS/200 6039 GET http://i.ytimg.com/vi/yf9bkf6bDgQ/mqdefault.jpg
1426992047.000 (16866) MISS/200 9947 GET http://i.ytimg.com/vi/-D4zWJR1uqc/mqdefault.jpg
1426992047.000 (16859) MISS/200 7227 GET http://i.ytimg.com/vi/c2_8VnI1ywY/mqdefault.jpg
1426992047.000 (16860) MISS/200 12031 GET http://i.ytimg.com/vi/O6jdZEws6_Y/mqdefault.jpg
1426992047.000 (16864) MISS/200 11214 GET http://i.ytimg.com/vi/k86tqnd1eSQ/mqdefault.jpg
1426992047.000 (16853) HIT/304 48 GET http://i.ytimg.com/vi/i3vnqXOE3rs/mqdefault.jpg
1426992047.000 (16852) HIT/304 48 GET http://i.ytimg.com/vi/xYT9192W-OA/mqdefault.jpg
1426992047.000 (16857) MISS/200 7822 GET http://i.ytimg.com/vi/AdjLKetEAro/mqdefault.jpg
1426992047.000 (16856) MISS/200 8141 GET http://i.ytimg.com/vi/f_RZnQHabtU/mqdefault.jpg
1426992047.000 (16855) MISS/200 9272 GET http://i.ytimg.com/vi/IrEx1xuOl8o/mqdefault.jpg
1426992047.000 (16854) MISS/200 8087 GET http://i.ytimg.com/vi/ObV6-zeFlE4/mqdefault.jpg
1426992050.000 (17031) MISS/304 157 GET http://i.ytimg.com/i/F0pVplsI8R5kcAqgtoRqoA/1.jpg
1426992050.000 (17037) MISS/304 157 GET http://i.ytimg.com/i/Egdi0XIXXZ-qJOFPf4JSKw/1.jpg
1426992050.000 (17028) MISS/304 157 GET http://i.ytimg.com/i/YfdidRxbB8Qhf0Nx7ioOYw/1.jpg
1426992050.000 (17035) MISS/200 9109 GET http://i.ytimg.com/vi/aH9AEFYPt2A/mqdefault.jpg
1426992050.000 (17027) MISS/200 7883 GET http://i.ytimg.com/vi/FpM2X_5QwDU/mqdefault.jpg
1426992103.000 (17029) MISS/206 300498 GET http://download.cdn.mozilla.net/pub/firefox/releases/36.0.4/update/win32/es-ES/firefox-36.0.4.complete.mar
1426992124.000 (17033) HIT/200 9751 GET http://i.ytimg.com/vi/caoowvw7A-U/mqdefault.jpg
1426992130.000 (17036) HIT/304 48 GET http://i.ytimg.com/vi/O6jdZEws6_Y/default.jpg
1426992130.000 (17024) HIT/304 48 GET http://i.ytimg.com/vi/EjAUG18PWsc/default.jpg
1426992130.000 (17032) HIT/200 4621 GET http://i.ytimg.com/vi/G6ZLZQGydPc/default.jpg
1426992130.000 (17025) HIT/200 4859 GET http://i.ytimg.com/vi/IrEx1xuOl8o/default.jpg
1426992143.000 (17034) MISS/206 22413895 GET http://r3---sn-upbvcv-88pe.googlevideo.com/videoplayback?
1426992164.000 (17026) MISS/206 300498 GET http://download.cdn.mozilla.net/pub/firefox/releases/36.0.4/update/win32/es-ES/firefox-36.0.4.complete.mar
1426992225.000 (17030) MISS/206 300498 GET http://download.cdn.mozilla.net/pub/firefox/releases/36.0.4/update/win32/es-ES/firefox-36.0.4.complete.mar
1426992262.000 (17023) MISS/206 300498 GET http://download.cdn.mozilla.net/pub/firefox/releases/36.0.4/update/win32/es-ES/firefox-36.0.4.complete.mar
1426992289.000 (17021) HIT/200 13237 GET http://i.ytimg.com/vi/i3vnqXOE3rs/mqdefault.jpg
1426992289.000 (17020) HIT/200 15445 GET http://i.ytimg.com/vi/xYT9192W-OA/mqdefault.jpg
1426992302.000 (17019) HIT/200 9751 GET http://i.ytimg.com/vi/caoowvw7A-U/mqdefault.jpg
1426992314.000 (17701) HIT/200 4316 GET http://i.ytimg.com/vi/O6jdZEws6_Y/default.jpg
1426992314.000 (17695) HIT/200 4859 GET http://i.ytimg.com/vi/IrEx1xuOl8o/default.jpg
1426992314.000 (17697) HIT/200 4621 GET http://i.ytimg.com/vi/G6ZLZQGydPc/default.jpg
1426992314.000 (17694) HIT/200 3615 GET http://i.ytimg.com/vi/EjAUG18PWsc/default.jpg
1426992324.000 (17696) MISS/206 300498 GET http://download.cdn.mozilla.net/pub/firefox/releases/36.0.4/update/win32/es-ES/firefox-36.0.4.complete.mar
1426992325.000 (17018) MISS/206 22413895 GET http://r3---sn-upbvcv-88pe.googlevideo.com/videoplayback?
1426992385.000 (17699) MISS/206 300498 GET http://download.cdn.mozilla.net/pub/firefox/releases/36.0.4/update/win32/es-ES/firefox-36.0.4.complete.mar
1426992445.000 (17700) MISS/206 300498 GET http://download.cdn.mozilla.net/pub/firefox/releases/36.0.4/update/win32/es-ES/firefox-36.0.4.complete.mar
y el raptor error log no me muestra nada esta vacio.

el problema es que cuando se ve un video, sea cual sea este el raptor lo cachea, pero al ver de nuevo ese video el raptor no lo sirve del cache, si no lo vuelve a cachear como si este no se hubiera visto antes, por lo que el hit nunca aparece, como muestro en el video que pùblique es por eso que quiero saber a que se debe este problema, es mala configuracion o que es, ya que no toque ni cambie nada cuando el raptor se instalo en el video que puse esta bien detallado este problema a ver si me dan alguna idea de que puede ser gracias
:-X :'(

firecold · Marzo 22, 2015, 10:56:20 PM

Cita de: angel en Marzo 22, 2015, 05:48:47 PM
bueno el sistema que uso es debian 7.5 64bits
estoy trabajando en modo gateway y la configuracion del squid es la que raptor hace por defecto

configuracion de la intefaces de red
auto lo
iface lo inet loopback
##### internet####
auto eth0
iface eth0 inet dhcp

##### Lan ###############
auto eth1
iface eth1 inet static
address 200.200.0.1
netmask 255.255.255.0
network 200.200.0.0
broadcast 200.200.0.255

configuracion de iptables es
########## PARAMETROS #########
INT_IN=eth0 # Interface que provee internet
INT_OUT=eth1 # interface que comparte internet a la Lan
RANGO=200.200.0.0/24
###############################
echo " Borrando las Cadenas existentes..."
iptables -F
iptables -t nat -F
iptables -t mangle -F
iptables -X
iptables -t nat -X
iptables -t mangle -X
Zero all packets and counters.
iptables -Z
iptables -t nat -Z
iptables -t mangle -Z
echo " Estableciendo Politica por Defecto (ACEPTAR)"
iptables -P INPUT ACCEPT
iptables -P OUTPUT ACCEPT
iptables -P FORWARD ACCEPT
echo " Redireccionamos las peticiones de www hacia Squid Proxy"
echo 1 > /proc/sys/net/ipv4/ip_forward
iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j REDIRECT --to-port 3128
iptables -t nat -A POSTROUTING -o $INT_IN -s $RANGO -j MASQUERADE
echo " Terminando la Configuracion del Firewall."

la configuracion de squid es la siguiente
#========================== Squid 3.x Conf ===========================#
#
# Opciones de SQUID 3.x
#----------------------------------------------------------------------
http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0
#----------------------------------------------------------------------
acl google url_regex -i (googlevideo.com|youtube.com)
request_header_access User-Agent deny google
request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
#----------------------------------------------------------------------
#error_directory /usr/share/squid3/errors/Spanish/
#----------------------------------------------------------------------
acl denegados url_regex -i "/etc/squid3/denegados.lst"
#----------------------------------------------------------------------
# Servidor DNS y Politica de Cambios
#----------------------------------------------------------------------
dns_nameservers 8.8.8.8 8.8.4.4
dns_retransmit_interval 5 seconds
dns_timeout 2 minutes
#----------------------------------------------------------------------
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl CONNECT method CONNECT

acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl SSL_ports port 443
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl Safe_ports port 1863 # MSN
#acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync

http_access allow manager localhost
http_access deny manager all
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny denegados
#----------------------------------------------------------------------
coredump_dir /var/spool/squid3
#----------------------------------------------------------------------
# Memoria reservada para cache
#----------------------------------------------------------------------
cache_mem 512 MB
#----------------------------------------------------------------------
# Maximo tamaño de archivo en cache de memoria
#----------------------------------------------------------------------
maximum_object_size_in_memory 128 KB
#----------------------------------------------------------------------
# Maximo y minimo tamaño de archivos cache en el Disco duro
#----------------------------------------------------------------------
maximum_object_size 30 MB
minimum_object_size 4 KB
#----------------------------------------------------------------------
# Sustituir archivos de cache cuando llegue a 96%
#----------------------------------------------------------------------
cache_swap_low 92
cache_swap_high 96
#----------------------------------------------------------------------
# Total de espacio en HD a ser usado por el cache, numero de carpetas,
# numero de subcarpetas en cache
# 100000 = 100 GB
#----------------------------------------------------------------------
cache_dir aufs /var/spool/squid3/cache1 100000 16 256
#----------------------------------------------------------------------
# Estandar de actualización de cache
# 1 mes = 10080 mins, 1 dia = 1440 mins
#----------------------------------------------------------------------
refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(swf|htm|html|shtm|shtml|nub)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 14400 80% 43200
refresh_pattern -i .(avi|iso|wav|mid|mp?|mpe?g?|mpeg|mov|3gp|wm?|flv|x-flv|axd)$ 14400 80% 43200
refresh_pattern -i .(qtm?|viv|au|ram?|snd|sit|hqx|arj|lzh|lha|txt|rtf|tex|latex|class|js|ico)$ 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320
#----------------------------------------------------------------------
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
#refresh_pattern (Release|Package(.gz)*)$ 0 20% 2880
refresh_pattern . 0 20% 4320
#----------------------------------------------------------------------
# Log de acessos por el cache o para SARG
#----------------------------------------------------------------------
logfile_rotate 7
access_log /var/log/squid3/access.log
access_log /var/log/squid3/error.log
cache_store_log none
#----------------------------------------------------------------------
# Otras configuraciones
#----------------------------------------------------------------------
half_closed_clients off
server_persistent_connections off
client_persistent_connections off
log_fqdn off
quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 95
max_filedescriptors 65536
cache_effective_user proxy
cache_effective_group proxy
#----------------------------------------------------------------------
# Manteniendo objetos recientes y pequeños en memoria
#----------------------------------------------------------------------
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
#----------------------------------------------------------------------
# Sitios que se les niega el cache
#----------------------------------------------------------------------
acl nocache dstdomain .4shared.com .youtube.com .windowsupdate.com .gl$
no_cache deny nocache
#----------------------------------------------------------------------
# Deny cache
#----------------------------------------------------------------------
acl dontrewrite url_regex (get_video\?|videoplayback\?|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video|videoplayback\?id|videoplayback.*id).*begin\=[1-9][0-9]*
acl dontrewrite url_regex \.(php|asp|aspx|jsp|cgi|js)\?
acl dontrewrite url_regex threadless.*\.jpg\?r=
acl dontrewrite url_regex -i .(asx|asf)$
cache deny dontrewrite
#----------------------------------------------------------------------
acl raptor_lst url_regex -i "/etc/raptor/raptor.lst"
cache deny raptor_lst
cache_peer 10.0.2.15 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 10.0.2.15 allow raptor_lst
cache_peer_access 10.0.2.15 deny all
#----------------------------------------------------------------------

que es la que raptor hace por defecto
:-X :'(

El gran detalle esta en tu configuracion de squid, en la parte final:

Código [Seleccionar]

#----------------------------------------------------------------------
acl raptor_lst url_regex -i "/etc/raptor/raptor.lst"
cache deny raptor_lst
cache_peer 10.0.2.15 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 10.0.2.15 allow raptor_lst
cache_peer_access 10.0.2.15 deny all
#----------------------------------------------------------------------

ya que cache_peer debe de tener la ip de la interface que compartira el internet, el problema es que me imagino que mucha de tu configuracion debe de estar con la ip incorrecta, ya que me imagino que esta ip debe de ser de la interface de red que recibe el internet, Saludos

angel · Marzo 23, 2015, 11:58:08 AM

Cita de: firecold en Marzo 22, 2015, 10:56:20 PM
El gran detalle esta en tu configuracion de squid, en la parte final:

Código [Seleccionar] Expandir
#---------------------------------------------------------------------- acl raptor_lst url_regex -i "/etc/raptor/raptor.lst" cache deny raptor_lst cache_peer 10.0.2.15 parent 8080 0 proxy-only no-digest dead_peer_timeout 2 seconds cache_peer_access 10.0.2.15 allow raptor_lst cache_peer_access 10.0.2.15 deny all #----------------------------------------------------------------------

ya que cache_peer debe de tener la ip de la interface que compartira el internet, el problema es que me imagino que mucha de tu configuracion debe de estar con la ip incorrecta, ya que me imagino que esta ip debe de ser de la interface de red que recibe el internet, Saludos

te refieres que debo de colocar la direccion 200.200.0.1 que es la que comparte la red de internet a la red local gracias

firecold · Marzo 23, 2015, 12:02:15 PM

Cita de: angel en Marzo 23, 2015, 11:58:08 AM
te refieres que debo de colocar la direccion 200.200.0.1 que es la que comparte la red de internet a la red loca gracias

Asi es mi amigo, cuando se trabaja en modo gateway todas las maquinas y direcciones tiene que apuntar a la maquina que tiene Raptor, tambien podrias revisar que ip tienes en hosts, asi:

Código (bash) [Seleccionar]

sudo nano /etc/hosts

ya que si tiene la ip incorrecta va a ser tambien problematico, Saludos

angel · Marzo 23, 2015, 03:11:29 PM

Cita de: firecold en Marzo 23, 2015, 12:02:15 PM
Asi es mi amigo, cuando se trabaja en modo gateway todas las maquinas y direcciones tiene que apuntar a la maquina que tiene Raptor, tambien podrias revisar que ip tienes en hosts, asi:

Código (bash) [Seleccionar] Expandir
sudo nano /etc/hosts

ya que si tiene la ip incorrecta va a ser tambien problematico, Saludos

bueno amigo ya le cambie la ip al squid y quedo asi

#========================== Squid 3.x Conf ===========================#
#
# Opciones de SQUID 3.x
#----------------------------------------------------------------------
http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0
#----------------------------------------------------------------------
acl google url_regex -i (googlevideo.com|youtube.com)
request_header_access User-Agent deny google
request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
#----------------------------------------------------------------------
#error_directory /usr/share/squid3/errors/Spanish/
#----------------------------------------------------------------------
acl denegados url_regex -i "/etc/squid3/denegados.lst"
#----------------------------------------------------------------------
# Servidor DNS y Politica de Cambios
#----------------------------------------------------------------------
dns_nameservers 8.8.8.8 8.8.4.4
dns_retransmit_interval 5 seconds
dns_timeout 2 minutes
#----------------------------------------------------------------------
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl CONNECT method CONNECT

acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl SSL_ports port 443
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl Safe_ports port 1863 # MSN
#acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync

http_access allow manager localhost
http_access deny manager all
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny denegados
#----------------------------------------------------------------------
coredump_dir /var/spool/squid3
#----------------------------------------------------------------------
# Memoria reservada para cache
#----------------------------------------------------------------------
cache_mem 512 MB
#----------------------------------------------------------------------
# Maximo tamaño de archivo en cache de memoria
#----------------------------------------------------------------------
maximum_object_size_in_memory 128 KB
#----------------------------------------------------------------------
# Maximo y minimo tamaño de archivos cache en el Disco duro
#----------------------------------------------------------------------
maximum_object_size 30 MB
minimum_object_size 4 KB
#----------------------------------------------------------------------
# Sustituir archivos de cache cuando llegue a 96%
#----------------------------------------------------------------------
cache_swap_low 92
cache_swap_high 96
#----------------------------------------------------------------------
# Total de espacio en HD a ser usado por el cache, numero de carpetas,
# numero de subcarpetas en cache
# 100000 = 100 GB
#----------------------------------------------------------------------
cache_dir aufs /var/spool/squid3/cache1 100000 16 256
#----------------------------------------------------------------------
# Estandar de actualización de cache
# 1 mes = 10080 mins, 1 dia = 1440 mins
#----------------------------------------------------------------------
refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(swf|htm|html|shtm|shtml|nub)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 14400 80% 43200
refresh_pattern -i .(avi|iso|wav|mid|mp?|mpe?g?|mpeg|mov|3gp|wm?|flv|x-flv|axd)$ 14400 80% 43200
refresh_pattern -i .(qtm?|viv|au|ram?|snd|sit|hqx|arj|lzh|lha|txt|rtf|tex|latex|class|js|ico)$ 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320
#----------------------------------------------------------------------
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
#refresh_pattern (Release|Package(.gz)*)$ 0 20% 2880
refresh_pattern . 0 20% 4320
#----------------------------------------------------------------------
# Log de acessos por el cache o para SARG
#----------------------------------------------------------------------
logfile_rotate 7
access_log /var/log/squid3/access.log
access_log /var/log/squid3/error.log
cache_store_log none
#----------------------------------------------------------------------
# Otras configuraciones
#----------------------------------------------------------------------
half_closed_clients off
server_persistent_connections off
client_persistent_connections off
log_fqdn off
quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 95
max_filedescriptors 65536
cache_effective_user proxy
cache_effective_group proxy
#----------------------------------------------------------------------
# Manteniendo objetos recientes y pequeños en memoria
#----------------------------------------------------------------------
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
#----------------------------------------------------------------------
# Sitios que se les niega el cache
#----------------------------------------------------------------------
acl nocache dstdomain .4shared.com .youtube.com .windowsupdate.com .gl$
no_cache deny nocache
#----------------------------------------------------------------------
# Deny cache
#----------------------------------------------------------------------
acl dontrewrite url_regex (get_video\?|videoplayback\?|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video|videoplayback\?id|videoplayback.*id).*begin\=[1-9][0-9]*
acl dontrewrite url_regex \.(php|asp|aspx|jsp|cgi|js)\?
acl dontrewrite url_regex threadless.*\.jpg\?r=
acl dontrewrite url_regex -i .(asx|asf)$
cache deny dontrewrite
#----------------------------------------------------------------------
acl raptor_lst url_regex -i "/etc/raptor/raptor.lst"
cache deny raptor_lst
cache_peer 200.200.0.1 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 200.200.0.1 allow raptor_lst
cache_peer_access 200.200.0.1 deny all
#----------------------------------------------------------------------
y al poner sudo nano /etc/hosts
me salia la direccion 10.0.2.15
y le cambie por la siguiente

127.0.0.1 localhost.localdomain localhost
200.200.0.1 proxy.os.com proxy
#
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
fe00::0 ip6-mcastprefix
ff02:1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

pero aun asi el problema persiste no me muestra hits de los videos de youtube, los sigue cacheando n veces si el mismo video, que sera lo que esta mal, gracias por la ayuda

07350286 · Marzo 23, 2015, 08:56:49 PM

Amigos no me hace cache en todos los videos de HTML5, En flash si hace cache de manera normal.. Alguna solución amigos..

ovijunio7 · Marzo 23, 2015, 09:02:59 PM

de donde puedo descargar el plugin de youtube actulizado, porque www.raptorcache.com ya no esta en funcionamiento

firecold · Marzo 23, 2015, 11:00:28 PM

Cita de: ovijunio7 en Marzo 23, 2015, 09:02:59 PM
de donde puedo descargar el plugin de youtube actulizado, porque www.raptorcache.com ya no esta en funcionamiento

Cita de: 07350286 en Marzo 23, 2015, 08:56:49 PM
Amigos no me hace cache en todos los videos de HTML5, En flash si hace cache de manera normal.. Alguna solución amigos..

Vuelvo y repito que el sitio www.raptorcache.com ya no esta funcionando, ahora es www.raptorcache.netii.net, ya lo habia aclarado un par de veces, dentro de la instalacion normal de Raptor ya viene actualizado.

Por lo de los videos, solo dicen que no estan funcionando, pero no muestran los enlaces para saber que videos son y corroborar, ya que en mi experiencia la mayoria son malas configuraciones, Saludos

07350286 · Marzo 23, 2015, 11:22:31 PM

Cita de: firecold en Marzo 23, 2015, 11:00:28 PM
Vuelvo y repito que el sitio www.raptorcache.com ya no esta funcionando, ahora es www.raptorcache.netii.net, ya lo habia aclarado un par de veces, dentro de la instalacion normal de Raptor ya viene actualizado.

Por lo de los videos, solo dicen que no estan funcionando, pero no muestran los enlaces para saber que videos son y corroborar, ya que en mi experiencia la mayoria son malas configuraciones, Saludos

Son todos los videos de HTML5... Lo que es en Flash Player si me hace cache, me podrás hechar una mano Firecold

firecold · Marzo 24, 2015, 12:16:51 AM

Cita de: 07350286 en Marzo 23, 2015, 11:22:31 PM
Son todos los videos de HTML5... Lo que es en Flash Player si me hace cache, me podrás hechar una mano Firecold

Claro mandame tus datos, ahorita estoy por aca, saludos

angel · Marzo 24, 2015, 08:39:22 AM

amigo firecold un favorsaso grande me podrias enviar una configuracion en modo gateway que te este funcionando para poderlo adaptar a mi red, por que mi red sigue sin hacer hits de los videos que se ven en youtube, probe todos las sugerencias que posteaste en el foro pero nada sigo con el mismo lio, gracias

firecold · Marzo 24, 2015, 10:42:55 AM

Cita de: angel en Marzo 24, 2015, 08:39:22 AM
amigo firecold un favorsaso grande me podrias enviar una configuracion en modo gateway que te este funcionando para poderlo adaptar a mi red, por que mi red sigue sin hacer hits de los videos que se ven en youtube, probe todos las sugerencias que posteaste en el foro pero nada sigo con el mismo lio, gracias

Fijate mi amigo que seria mejor que revisara tu servidor, por teamviewer, ya que el dia de ayer revise en la noche a dos usuarios de Raptor y tenian algun problema de configuracion, entre otros el script de iptables, seria que nos pusieramos se acuerdo, yo normalmente estoy conectado hasta las 12 de la noche, eso quiere decir que en tu pais la 1 de la madrugada, Saludos

ovijunio7 · Marzo 24, 2015, 11:02:43 AM

amigo Firecold puedes revisar mi configuarcion por teamviewer, soy de peru a que hora te encuentro en linea gracias

firecold · Marzo 24, 2015, 11:05:25 AM

Cita de: ovijunio7 en Marzo 24, 2015, 11:02:43 AM
amigo Firecold puedes revisar mi configuarcion por teamviewer, soy de peru a que hora te encuentro en linea gracias

Fijate mi amigo que ahorita estoy en el trabajo y no puedo ayudarte, pero en la noche entre las 11 de la noche y 1 de la madrugada puedo ayudarte, Saludos

ovijunio7 · Marzo 24, 2015, 12:50:01 PM

en esta foto que tu muestras, en en el cuadro azul donde dice no hay problema en html5, en la parte que dice cver:html5 a mi me sale cver:as3 y es con todos los videos, pero cuando sale por https el cver dice cver:html5, creo que es por eso que los videos se cortan , y a veces sale la pantalla borrosa diciendo error video..y no sale nada...

angel · Marzo 24, 2015, 01:46:29 PM

Cita de: firecold en Marzo 24, 2015, 10:42:55 AM
Fijate mi amigo que seria mejor que revisara tu servidor, por teamviewer, ya que el dia de ayer revise en la noche a dos usuarios de Raptor y tenian algun problema de configuracion, entre otros el script de iptables, seria que nos pusieramos se acuerdo, yo normalmente estoy conectado hasta las 12 de la noche, eso quiere decir que en tu pais la 1 de la madrugada, Saludos

ok, estare atento esta noche alguito mas desde que hora estas conectado todos los dias ya que enviarte el pas de teamwiewer a las 12 de la noche pues o creo que lo puedas ver tal ves vas estar super ocupado, gracias

luistec · Marzo 24, 2015, 05:04:30 PM

Cita de: ovijunio7 en Marzo 24, 2015, 12:50:01 PM
en esta foto que tu muestras, en en el cuadro azul donde dice no hay problema en html5, en la parte que dice cver:html5 a mi me sale cver:as3 y es con todos los videos, pero cuando sale por https el cver dice cver:html5, creo que es por eso que los videos se cortan , y a veces sale la pantalla borrosa diciendo error video..y no sale nada...

Eso es debido a que en esa parte hace referencia al tipo de archivo, esto varía de acuerdo a los formatos de video que maneja YouTube; cuando cambias a HTTPS el contenido puede ser de diferente tipo, por eso el cambio en el formato.

Saludos.