RaptorCache - YouTube HTTP

Publicado por joemg6, Enero 18, 2015, 04:29:41 PM

Tema anterior - Siguiente tema
Imprimir
Ir Abajo Páginas1 2 3 4 5 ... 16
Acciones del Usuario

joemg6

Enero 18, 2015, 04:29:41 PM
Como ya saben, Google cambio el modo de acceso a sus páginas forzando a utilizar el protocolo HTTPS, pero esto puede ser evitado en algunas páginas como Youtube y el buscador de Google. Esto se puede realizar al modificar el Header User-Agent que trae por defecto y reemplazarlo por el rastreador principal de Google (Googlebot), con lo cual ya no nos redireccionaría directamente al protocolo HTTPS. Pero esto no implica que ya no se pueda usar dicho protocolo, para usarlo solo se tendría que digitar la dirección con el tipo de protocolo, por ej. https://www.google.com.
Para realizar esta modificación se puede hacer de distintas maneras; en este caso emplearemos una de las más sencillas con tan solo insertar dos directivas en "/etc/squid3/squid.conf" y son las siguientes:
Código [Seleccionar]

acl google url_regex -i (googlevideo.com|youtube.com)
request_header_access User-Agent deny google
request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)


Estas directivas insertarlas despues de las siguientes líneas preferentemente
Código [Seleccionar]

http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0


Luego reiniciar squid y Raptor procederá a hacer caché de YouTube.


RaptorCache Developer

maverick84

#1
Enero 18, 2015, 05:32:54 PM
lo probe tal cual en la ultima version de raptor y funciona perfectamente....GENIAL el Aporte!!!... estoy trabajando en la solucion a un problema similar con facebook en el cual direcciona tbm todo a https....alguna ayuda???

JVProducciones

#2
Enero 18, 2015, 05:38:04 PM
Cita de: maverick84 en Enero 18, 2015, 05:32:54 PM
lo probe tal cual en la ultima version de raptor y funciona perfectamente....GENIAL el Aporte!!!... estoy trabajando en la solucion a un problema similar con facebook en el cual direcciona tbm todo a https....alguna ayuda???
Facebook, es mas complicado.... Con el user agent no te  saldrá.... Saludos

07350286

#3
Enero 18, 2015, 05:49:21 PM
Funcionando para youtube, pero en google me sigue saliento en https..

luistec

#4
Enero 18, 2015, 06:02:16 PM
Cita de: maverick84 en Enero 18, 2015, 05:32:54 PM
lo probe tal cual en la ultima version de raptor y funciona perfectamente....GENIAL el Aporte!!!... estoy trabajando en la solucion a un problema similar con facebook en el cual direcciona tbm todo a https....alguna ayuda???
El detalle es que facebook mudo todo su contenido a HTTPS, antes había una opcion en la configuración de facebook en donde se podía deshabilitar la conexión segura HTTPS y se podia seguir utilizando HTTP, pero ahora ya no hay esa opción porque ya no utilizan HTTP, en la página de facebook-engineering hacen referencia a eso
https://www.facebook.com/notes/facebook-engineering/secure-browsing-by-default/10151590414803920

Saludos.

luistec

#5
Enero 18, 2015, 06:24:19 PM
Cita de: 07350286 en Enero 18, 2015, 05:49:21 PM
Funcionando para youtube, pero en google me sigue saliento en https..
Prueba poniendo la dirección http://www.google.com


Saludos.

07350286

#6
Enero 18, 2015, 06:29:59 PM
Cita de: luistec en Enero 18, 2015, 06:24:19 PM
Prueba poniendo la dirección http://www.google.com


Saludos.

Gracias amigo me sirvio, y no hay alguna forma de ponerlo automaticamente youtube, porque si escribe en la buscador youtube, si le das la primera opcion de manda a la pagina de youtube con https... Pero si lo digitas manualmente si funcionan..

andret1719

#7
Enero 18, 2015, 08:10:25 PM
Cita de: joemg6 en Enero 18, 2015, 04:29:41 PM
Como ya saben, Google cambio el modo de acceso a sus páginas forzando a utilizar el protocolo HTTPS, pero esto puede ser evitado en algunas páginas como Youtube y el buscador de Google. Esto se puede realizar al modificar el Header User-Agent que trae por defecto y reemplazarlo por el rastreador principal de Google (Googlebot), con lo cual ya no nos redireccionaría directamente al protocolo HTTPS. Pero esto no implica que ya no se pueda usar dicho protocolo, para usarlo solo se tendría que digitar la dirección con el tipo de protocolo, por ej. https://www.google.com.
Para realizar esta modificación se puede hacer de distintas maneras; en este caso emplearemos una de las más sencillas con tan solo insertar dos directivas en "/etc/squid3/squid.conf" y son las siguientes:
Código [Seleccionar]

request_header_access User-Agent deny all
request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)


Estas directivas insertarlas despues de las siguientes líneas preferentemente
Código [Seleccionar]

http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0


Luego reiniciar squid y Raptor procederá a hacer caché de YouTube.





Excelente amigo, me funciona de maravilla, tengo una consulta, habrá forma de que si en google escriben youtube los direccione a http?

firecold

#8
Enero 18, 2015, 09:26:51 PM
Cita de: luistec en Enero 18, 2015, 06:02:16 PM
El detalle es que facebook mudo todo su contenido a HTTPS, antes había una opcion en la configuración de facebook en donde se podía deshabilitar la conexión segura HTTPS y se podia seguir utilizando HTTP, pero ahora ya no hay esa opción porque ya no utilizan HTTP, en la página de facebook-engineering hacen referencia a eso
https://www.facebook.com/notes/facebook-engineering/secure-browsing-by-default/10151590414803920

Saludos.
Cita de: joemg6 en Enero 18, 2015, 05:29:24 PM
En el header únicamente hace el cambio a los rastreadores de Google, de no ser así les asigna el que está por defecto; se hizo las pruebas respectivas con anterioridad, por eso la demora.

Gracias a Joemg6 Y Luistec por este aporte muy bueno, probado y funcionando al 100% en toda mi red, Saludos

kuichines

#9
Enero 18, 2015, 10:41:48 PM
Me puse bruto, denme un screen a ver como deberia quedar. plisss

firecold

#10
Enero 18, 2015, 10:56:59 PM
Cita de: kuichines en Enero 18, 2015, 10:41:48 PM
Me puse bruto, denme un screen a ver como deberia quedar. plisss

Mis pruebas son exittosas en todos los videos que he visto:







Yo siempre he dicho que una imagen vale mas que mil palabras, aqui esta la prueba, Saludos

07350286

#11
Enero 18, 2015, 10:59:57 PM
Amigo Firecold si nos puedes compartir completo tu configuracion de tu squid3....

kuichines

#12
Enero 18, 2015, 11:19:35 PM
#========================== Squid 3.x Conf ===========================#
#
# Opciones de SQUID 3.x
#----------------------------------------------------------------------
http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0
#---------------------------------------------------------------------
request_header_access User-Agent deny all
request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
#----------------------------------------------------------------------
#error_directory /usr/share/squid3/errors/Spanish/
#----------------------------------------------------------------------
acl denegados url_regex -i "/etc/squid3/denegados.lst"
#----------------------------------------------------------------------
# Servidor DNS y Politica de Cambios
#----------------------------------------------------------------------
dns_nameservers 8.8.8.8 8.8.4.4
dns_retransmit_interval 5 seconds
dns_timeout 2 minutes
#----------------------------------------------------------------------
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl CONNECT method CONNECT

acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl SSL_ports port 443
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl Safe_ports port 631         # cups
acl Safe_ports port 873         # rsync
acl Safe_ports port 901         # SWAT
acl Safe_ports port 1863        # MSN
#acl SSL_ports port 443          # https
acl SSL_ports port 563          # snews
acl SSL_ports port 873          # rsync

http_access allow manager localhost
http_access deny manager all
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny denegados
#----------------------------------------------------------------------
coredump_dir /var/spool/squid3
#----------------------------------------------------------------------
# Memoria reservada para cache
#----------------------------------------------------------------------
cache_mem 1024 MB
#----------------------------------------------------------------------
# Maximo tamaño de archivo en cache de memoria
#----------------------------------------------------------------------
maximum_object_size_in_memory 128 KB
#----------------------------------------------------------------------
# Maximo y minimo tamaño de archivos cache en el Disco duro
#----------------------------------------------------------------------
maximum_object_size 30 MB
minimum_object_size 4 KB
#----------------------------------------------------------------------
# Sustituir archivos de cache cuando llegue a 96%
#----------------------------------------------------------------------
cache_swap_low 92
cache_swap_high 96
#----------------------------------------------------------------------
# Total de espacio en HD a ser usado por el cache, numero de carpetas,
# numero de subcarpetas en cache
# 100000 = 100 GB
#----------------------------------------------------------------------
cache_dir aufs /var/spool/squid3/cache1 100000  16 256
#----------------------------------------------------------------------
# Estandar de actualización de cache
# 1 mes = 10080 mins, 1 dia = 1440 mins
#----------------------------------------------------------------------
refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(swf|htm|html|shtm|shtml|nub)$ 14400 80% 43200 reload-into-ims
refresh_pattern -i .(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 14400 80% 43200
refresh_pattern -i .(avi|iso|wav|mid|mp?|mpe?g?|mpeg|mov|3gp|wm?|flv|x-flv|axd)$ 14400 80% 43200
refresh_pattern -i .(qtm?|viv|au|ram?|snd|sit|hqx|arj|lzh|lha|txt|rtf|tex|latex|class|js|ico)$ 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320
#----------------------------------------------------------------------
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
#refresh_pattern (Release|Package(.gz)*)$       0       20%     2880
refresh_pattern .               0       20%     4320
#----------------------------------------------------------------------
# Log de acessos por el cache o para SARG
#----------------------------------------------------------------------
logfile_rotate 7
access_log /var/log/squid3/access.log
access_log /var/log/squid3/error.log
cache_store_log none
#----------------------------------------------------------------------
# Otras configuraciones
#----------------------------------------------------------------------
half_closed_clients off
server_persistent_connections off
client_persistent_connections off
log_fqdn off
quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 95
max_filedescriptors 65536
cache_effective_user proxy
cache_effective_group proxy
#----------------------------------------------------------------------
# Manteniendo objetos recientes y pequeños en memoria
#----------------------------------------------------------------------
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
#----------------------------------------------------------------------
# Sitios que se les niega el cache 
#----------------------------------------------------------------------
acl nocache dstdomain .4shared.com .youtube.com .windowsupdate.com .gl$
no_cache deny nocache
#----------------------------------------------------------------------
# Deny cache                             
#----------------------------------------------------------------------
acl dontrewrite url_regex (get_video\?|videoplayback\?|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)
acl dontrewrite url_regex (get_video|videoplayback\?id|videoplayback.*id).*begin\=[1-9][0-9]*
acl dontrewrite url_regex \.(php|asp|aspx|jsp|cgi|js)\?
acl dontrewrite url_regex threadless.*\.jpg\?r=
acl dontrewrite url_regex -i .(asx|asf)$
cache deny dontrewrite

# -----------------------------------------------------------------------------
# Qos_Flows
# -----------------------------------------------------------------------------
qos_flows local-hit=0x30
qos_flows parent-hit=0x32
qos_flows disable-preserve-miss# -----------------------------------------------------------------------------
# Qos_Flows
# -----------------------------------------------------------------------------
qos_flows local-hit=0x30
qos_flows parent-hit=0x32
qos_flows disable-preserve-miss
#----------------------------------------------------------------------
acl raptor_lst url_regex -i "/etc/raptor/raptor.lst"
cache deny raptor_lst
cache_peer 192.168.10.2 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 192.168.10.2 allow raptor_lst
cache_peer_access 192.168.10.2 deny all
#----------------------------------------------------------------------

07350286

#13
Enero 18, 2015, 11:31:44 PM
La del amigo Firecold es diferente es por eso que le estoy pidiendo que lo comparta, la del el le puso mas configuracion...

firecold

#14
Enero 18, 2015, 11:54:08 PM
Cita de: 07350286 en Enero 18, 2015, 11:31:44 PM
La del amigo Firecold es diferente es por eso que le estoy pidiendo que lo comparta, la del el le puso mas configuracion...

La mia es diferente mi amigo ya que yo no uso Raptor Cache paralelo a MK, sino lo uso en modo gateway, entonces mi configuracion no les funcionaria, aparte yo uso Delay_pools y otros detalles, aparte mi configuracion es diferente ya que yo uso Squid 3.3.8 y ustedes usan squid 3.1.20, lo unico que hay que agregar es las dos lineas a squid que describe Joemg6 y reiniciar squid, Saludos

firecold

#15
Enero 19, 2015, 12:14:05 AM
Cita de: 07350286 en Enero 18, 2015, 10:59:57 PM
Amigo Firecold si nos puedes compartir completo tu configuracion de tu squid3....

Este Tema puede ser respondido en el apartado de Squid en el foro, lo de mi configuracion de Squid3, Saludos

kuichines

#16
Enero 19, 2015, 07:12:12 AM
Buen dia,

yo hice la config, y toda casi bien, pero solo se reproducen 19 segundos, luego se frisa y me da un error.

josemanuel155

#17
Enero 19, 2015, 07:58:42 AM
Cita de: kuichines en Enero 19, 2015, 07:12:12 AM
Buen dia,

yo hice la config, y toda casi bien, pero solo se reproducen 19 segundos, luego se frisa y me da un error.

amigo eso mismo me secede a mi me da error al inicial el video dura 6 segundo y error
un saludos para todos desde venezuela

firecold

#18
Enero 19, 2015, 09:36:49 AM
Cita de: josemanuel155 en Enero 19, 2015, 07:58:42 AM
amigo eso mismo me secede a mi me da error al inicial el video dura 6 segundo y error

Han intentando recargar la pagina con F5, ya que el dia de ayer hice varias pruebas y me paso algunas veces, pero recargaba la pagina y se areglaba, Saludos

josemanuel155

#19
Enero 19, 2015, 09:43:02 AM
Cita de: firecold en Enero 19, 2015, 09:36:49 AM
Han intentando recargar la pagina con F5, ya que el dia de ayer hice varias pruebas y me paso algunas veces, pero recargaba la pagina y se areglaba, Saludos

actualizo la pagina carga los 6 segundo a veces llega hasta los 14 segundo y ahi error he reiniciado el mikrotik la cual esta en paralelo con el raptor cache   y todo igual :-\
un saludos para todos desde venezuela
Imprimir
Ir Arriba Páginas1 2 3 4 5 ... 16
Acciones del Usuario