RaptorCache - YouTube HTTP

[themrtime]

 :-X  es que soy muy novato, se trata de user-agren de lo Windows sphone 8.0, 81- navegadores Android 2.1 para arriba, htc, BlackBerry conseguí una lista pero no se si me sirva  http://www.useragentstring.com/pages/Mobile%20Browserlist/

[firecold]

:-X  es que soy muy novato, se trata de user-agren de lo Windows sphone 8.0, 81- navegadores Android 2.1 para arriba, htc, BlackBerry conseguí una lista pero no se si me sirva  http://www.useragentstring.com/pages/Mobile%20Browserlist/

Amigo estoy investigando en este momento, para poder crear un acl por PC de escritorio y mobil, pero esta en pruebas, pronto hablare con Luistec nuestro otro moderador, para que el pueda ayudarme con las pruebas, Saludos

[themrtime]

 :D probando con esto user-agent a ver como me va

Código [Seleccionar] Expandir



#IE EXPLORE MOBILES - INTERNET EXPLORE 11.O
request_header_replace User-Agent Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0)
request_header_replace User-Agent Mozilla/5.0 (compatible, MSIE 11, Windows NT 6.3; Trident/7.0; rv:11.0)
request_header_replace User-Agent Mozilla/5.0 (compatible; Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0; IEMobile/10.0; ARM; Touch; NOKIA; Lumia 920)
#----------------------------------------------------------------------------------------------
#FIREFOX
request_header_replace User-Agent Mozilla/5.0 (Windows NT 6.3; rv:36.0) Gecko/20100101 Firefox/36.0
request_header_replace User-Agent Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10; rv:33.0) Gecko/20100101 Firefox/33.0
request_header_replace User-Agent Mozilla/5.0 (X11; Linux i586; rv:31.0) Gecko/20100101 Firefox/31.0
request_header_replace User-Agent Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20130401 Firefox/31.0
request_header_replace User-Agent Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0
#----------------------------------------------------------------------------------------------
#CHRONE
request_header_replace User-Agent Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36
request_header_replace User-Agent Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36
request_header_replace User-Agent Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36
request_header_replace User-Agent Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36


[firecold]

:D probando con esto user-agent a ver como me va

Código [Seleccionar] Expandir



#IE EXPLORE MOBILES - INTERNET EXPLORE 11.O
request_header_replace User-Agent Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0)
request_header_replace User-Agent Mozilla/5.0 (compatible, MSIE 11, Windows NT 6.3; Trident/7.0; rv:11.0)
request_header_replace User-Agent Mozilla/5.0 (compatible; Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0; IEMobile/10.0; ARM; Touch; NOKIA; Lumia 920)
#----------------------------------------------------------------------------------------------
#FIREFOX
request_header_replace User-Agent Mozilla/5.0 (Windows NT 6.3; rv:36.0) Gecko/20100101 Firefox/36.0
request_header_replace User-Agent Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10; rv:33.0) Gecko/20100101 Firefox/33.0
request_header_replace User-Agent Mozilla/5.0 (X11; Linux i586; rv:31.0) Gecko/20100101 Firefox/31.0
request_header_replace User-Agent Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20130401 Firefox/31.0
request_header_replace User-Agent Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0
#----------------------------------------------------------------------------------------------
#CHRONE
request_header_replace User-Agent Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36
request_header_replace User-Agent Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36
request_header_replace User-Agent Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36
request_header_replace User-Agent Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36


El detalle de las pruebas es usar acl's para poder usar dicho user-agent, pueden hacer las pruebas con moviles, la verdad necesito que me ayuden con las pruebas ya que no tengo dispositivos moviles en mi red, el detalle de usar es este:

Código [Seleccionar] Expandir

acl mobile browser -i /Mobile|iP(hone|od|ad)|Android|BlackBerry|IEMobile|Kindle|NetFront|Silk-Accelerated|(hpw|web)OS|Fennec|Minimo|Opera M(obi|ini)|Blazer|Dolfin|Dolphin|Skyfire|Zune/


Esta regla o acl es para detectar dispositivos moviles, ahora bien seria de tener un user-agent general o hacer varias acl y dependiendo del dispositivo asignarle un user-agent, es lo que se me ocurre, pero ustedes diran, Saludos

[angel]

hola amigo firecold, como es el modo paralelo, igual funciona sin microtik para poder implementarlo, gracias

[themrtime]

gracias men me funciono  ;D

[firecold]

gracias men me funciono  ;D

Amigo cuentanos que fue lo que te funciono, jajajajaja, ya que no te expliques, Saludos

[ovijunio7]

parece que el user-agent ya no funciona y los videos se cortar o se paran, google esta usando el protocolo QUIC, el puerto 80 UDP y 443 , UDP, aca hay un link que hace referencia a dicho protocolo http://en.wikipedia.org/wiki/QUIC... alguien ah tenido problemas con los videos de googlevideo

[firecold]

parece que el user-agent ya no funciona y los videos se cortar o se paran, google esta usando el protocolo QUIC, el puerto 80 UDP y 443 , UDP, aca hay un link que hace referencia a dicho protocolo http://en.wikipedia.org/wiki/QUIC... alguien ah tenido problemas con los videos de googlevideo

Amigo por no dejas los links de los videos que fallan, ya que he probado una infinidad de videos sin problemas, es mas no uso flash player para solo probar videos en html5, ya que muchos se quejan de ellos e igual no he tenido problemas, como te digo y te mando imagenes de mis pruebas, Saludos

[firecold]

parece que el user-agent ya no funciona y los videos se cortar o se paran, google esta usando el protocolo QUIC, el puerto 80 UDP y 443 , UDP, aca hay un link que hace referencia a dicho protocolo http://en.wikipedia.org/wiki/QUIC... alguien ah tenido problemas con los videos de googlevideo

Amigo Quic no cambia el modo de entragar el contenido, cambia el modo de enviarla en cuanto al protocolo y mas porque el navegador funciona de una forma predeterminada, para que te enteres mas de Quic te dejo este enlace: Quic, Saludos

[hackwik]

el cache para youtube no esta Funcionando?? me direcciona a https :(

[firecold]

el cache para youtube no esta Funcionando?? me direcciona a https :(

Amigo cuentame que videos estuvieron cargando mal, para poder revisar y ver si hay algun problema, Saludos

[hackwik]

https://www.youtube.com/watch?v=ngElkyQ6Rhs

en el Log de raptor no se ve ningun HIT con este tipo de direcciones: ://r1---sn-0opoxu-2cjr.googlevideo.com/videoplayback?

[firecold]

https://www.youtube.com/watch?v=ngElkyQ6Rhs

en el Log de raptor no se ve ningun HIT con este tipo de direcciones: ://r1---sn-0opoxu-2cjr.googlevideo.com/videoplayback?

Pues haciendo mis pruebas y mire mis resultados:







Saludos

[hackwik]

 :-X :-X :-X

Utilizo  un mikrotik rb750gl  y raptor en paralelo.. esta es la configuración de squid esta bien??

#========================== Squid 3.x Conf ===========================#
#
# Opciones de SQUID 3.x
#----------------------------------------------------------------------
http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0
#---------------------------------------------------------------------
acl google url_regex -i (googlevideo.com|youtube.com)
request_header_access User-Agent deny google
request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
#---------------------------------------------------------------------
#error_directory /usr/share/squid3/errors/Spanish/
#----------------------------------------------------------------------
acl denegados url_regex -i "/etc/squid3/denegados.lst"
#----------------------------------------------------------------------
# Servidor DNS y Politica de Cambios
#----------------------------------------------------------------------
dns_nameservers 8.8.8.8 8.8.4.4
dns_retransmit_interval 5 seconds
dns_timeout 2 minutes
#----------------------------------------------------------------------
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl CONNECT method CONNECT

acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl SSL_ports port 443
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl Safe_ports port 631         # cups
acl Safe_ports port 873         # rsync
acl Safe_ports port 901         # SWAT
acl Safe_ports port 1863        # MSN
#acl SSL_ports port 443          # https
acl SSL_ports port 563          # snews
acl SSL_ports port 873          # rsync

http_access allow manager localhost
http_access deny manager all
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny denegados
#----------------------------------------------------------------------
coredump_dir /var/spool/squid3
#----------------------------------------------------------------------
# Memoria reservada para cache
#----------------------------------------------------------------------
cache_mem 512 MB
#----------------------------------------------------------------------
# Maximo tamaño de archivo en cache de memoria
#----------------------------------------------------------------------
maximum_object_size_in_memory 128 KB
#----------------------------------------------------------------------
# Maximo y minimo tamaño de archivos cache en el Disco duro
#----------------------------------------------------------------------
maximum_object_size 30 MB
minimum_object_size 4 KB
#----------------------------------------------------------------------
# Sustituir archivos de cache cuando llegue a 96%
#----------------------------------------------------------------------
cache_swap_low 92
cache_swap_high 96
#----------------------------------------------------------------------
# Total de espacio en HD a ser usado por el cache, numero de carpetas,
# numero de subcarpetas en cache
# 100000 = 100 GB
#----------------------------------------------------------------------
cache_dir aufs /var/spool/squid3/cache1 100000  16 256
#----------------------------------------------------------------------
# Estandar de actualización de cache
# 1 mes = 10080 mins, 1 dia = 1440 mins
#----------------------------------------------------------------------
refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(swf|htm|html|shtm|shtml|nub)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 14400 80% 43200
refresh_pattern -i .(avi|iso|wav|mid|mp?|mpe?g?|mpeg|mov|3gp|wm?|flv|x-flv|axd)$ 14400 80% 43200
refresh_pattern -i .(qtm?|viv|au|ram?|snd|sit|hqx|arj|lzh|lha|txt|rtf|tex|latex|class|js|ico)$ 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320
#----------------------------------------------------------------------
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
#refresh_pattern (Release|Package(.gz)*)$       0       20%     2880
refresh_pattern .               0       20%     4320
#----------------------------------------------------------------------
# Log de acessos por el cache o para SARG
#----------------------------------------------------------------------
logfile_rotate 7
access_log /var/log/squid3/access.log
access_log /var/log/squid3/error.log
cache_store_log none
#----------------------------------------------------------------------
# Otras configuraciones
#----------------------------------------------------------------------
half_closed_clients off
server_persistent_connections off
client_persistent_connections off
log_fqdn off
quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 95
max_filedescriptors 65536
cache_effective_user proxy
cache_effective_group proxy
#----------------------------------------------------------------------
# Manteniendo objetos recientes y pequeños en memoria
#----------------------------------------------------------------------
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
#----------------------------------------------------------------------
# Sitios que se les niega el cache 
#----------------------------------------------------------------------
acl nocache dstdomain .4shared.com .youtube.com .windowsupdate.com .gl$
no_cache deny nocache
#----------------------------------------------------------------------
# Deny cache                             
#----------------------------------------------------------------------
acl dontrewrite url_regex (get_video\?|videoplayback\?|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video|videoplayback\?id|videoplayback.*id).*begin\=[1-9][0-9]*
acl dontrewrite url_regex \.(php|asp|aspx|jsp|cgi|js)\?
acl dontrewrite url_regex threadless.*\.jpg\?r=
acl dontrewrite url_regex -i .(asx|asf)$
cache deny dontrewrite
# -----------------------------------------------------------------------------
# Qos_Flows
# -----------------------------------------------------------------------------
qos_flows local-hit=0x30
qos_flows parent-hit=0x32
qos_flows disable-preserve-miss
#----------------------------------------------------------------------
acl raptor_lst url_regex -i "/etc/raptor/raptor.lst"
cache deny raptor_lst
cache_peer 10.0.10.20 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 10.0.10.20 allow raptor_lst
cache_peer_access 10.0.10.20 deny all
#----------------------------------------------------------------------

[saintdave]

Amigo FireCold tu no usas mikrotik si es asi como controlas en ancho de banda para tus clientes? me gustaria si nos mostraras un diagrama de como tienes tu red. :-*

[firecold]

Amigo FireCold tu no usas mikrotik si es asi como controlas en ancho de banda para tus clientes? me gustaria si nos mostraras un diagrama de como tienes tu red. :-*

Amigo fijate que no uso MK, la verdad no lo conozco, yo uso squid con delay_pools, y squish para las cuotas, nada mas, Saludos

[saintdave]

Si no fuera mucha molestia podría hacerse un Tuto de como implementar lo que usted hace aunque sea algo rápido para tener una idea; me gustaría probar su forma de trabajo, talves sin necesidad del MikroTik trabaje mejor la entrega del cache.

[robertjs]

Hola no se si sea bien, pero podrian intentar usar estas reglas en el MK
son reglas adicionales que tienes ya para el raptor, lo que hace es hacer que google o youtube no los redireccione a https://

hagan sus pruebas :)

/ip firewall layer7-protocol add name=Google regexp="^.*(google|youtube|googlevideo|gstatic)\\.com.*"
/ip firewall mangle add action=add-dst-to-address-list address-list=Google chain=postrouting \ out-interface="WAN" layer7-protocol=Google
/ip firewall filter add action=drop chain=forward comment="Bloqueo udp Chrome" \ dst-address-list=Google dst-port=!53  protocol=udp

cambien la interfase wan por el suyo o ppoe el que use... y no olviden que la regla qu esta en mangle tiene que estar por ensima de todas las demas..

[saintdave]

Gracias voy a probar