RaptorCache - YouTube HTTP

Publicado por joemg6, Enero 18, 2015, 04:29:41 PM

Tema anterior - Siguiente tema

firecold

Cita de: josemanuel155 en Enero 19, 2015, 09:43:02 AM
actualizo la pagina carga los 6 segundo a veces llega hasta los 14 segundo y ahi error he reiniciado el mikrotik la cual esta en paralelo con el raptor cache   y todo igual :-\

te pasa con algunos videos o todos, ya que si eso te pasa solo con algunos videos, seria que los reportaras en este tema: Reportar, Saludos

josemanuel155

Cita de: firecold en Enero 19, 2015, 09:46:09 AM
te pasa con algunos videos o todos, ya que si eso te pasa solo con algunos videos, seria que los reportaras en este tema: Reportar, Saludos

he probado infinidades de videos de youtube y nada se para el video cuando mucho llega a 14 segundo pero en casi todo los casos llega a 6 segundo
un saludos para todos desde venezuela

luistec

Cita de: josemanuel155 en Enero 19, 2015, 09:59:09 AM
he probado infinidades de videos de youtube y nada se para el video cuando mucho llega a 14 segundo pero en casi todo los casos llega a 6 segundo
Si quieres que te lo revise por teeamviewer, mandame tu user y pass por MP, para ver que es lo que está sucediendo.

Saludos.

kez

Saludos, hermanos :)
Escreverei em Português, desculpe-me.
Parabéns ao OP, mudando o user-agent o YouTube passou a ser usado no modo HTTP.
Entretanto, ao mudar o user-agent pelo Squid, TODOS os sites são afetados.
Podemos verificar ao abrir alguns sites usando um Smartphone.
O correto seria alterar o user-agent apenas quando:
1) O site acessado é o Youtube e...
2) Quando o user-agent é de um browser de desktop(Internet Explorer, Firefox, Chrome, Opera...) e não alterar quando for de um browser mobile.

Andei pensando em como fazer isso:
1) netsed = funciona, mas mudaria o user-agent para todos os sites(apesar que, usando mangle para direcionar somente os endereços IP do youtube para o netsed funcionaria corretamente)
2) ECAP/ICAP do Squid para modificar o user-agent apenas a ACL para o domínio youtube.com
3) plugin para RaptorCache

O problema é que precisamos modificar o conteúdo das negociações HTTP e não o URL(feito com URL rewriter) ou o conteúdo do site.
Alguma sugestão?

Gracias :)

jeicko24

hola amigos, gracias por sus ayudas y ya lo tengo funcionando el youtube

les comento cuando un video hace hit justo en ese momento tengo muchos microcortes
lo cual me desconecta hasta haveces me vota del wimbox
les muestro una foto, espero se pueda visualizar
http://www.ryohnosuke.net/image/S4K

07350286

Cita de: jeicko24 en Enero 19, 2015, 12:01:05 PM
hola amigos, gracias por sus ayudas y ya lo tengo funcionando el youtube

les comento cuando un video hace hit justo en ese momento tengo muchos microcortes
lo cual me desconecta hasta haveces me vota del wimbox
les muestro una foto, espero se pueda visualizar
http://www.ryohnosuke.net/image/S4K
De casualidad no es problema de tu proveedor de servicio de internet, porque yo tengo el mismo problema, pero es un problema de mi proveedor que esta saturado...

jeicko24

me gustaria que fuese asi :(  pero si lo desconecto el raptor vuelve a la normalidad

kez

Consegui mudar o user-agent apenas para o Youtube, assim os outros sites não são afetados.

squid.conf

#========================== Squid 3.x Conf ===========================#
#
# Opciones de SQUID 3.x
#----------------------------------------------------------------------
http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0
#----------------------------------------------------------------------
acl youtube url_regex -i "/etc/squid3/youtube.lst"
request_header_access User-Agent deny youtube
request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)


===============
/etc/squid3/youtube.lst

youtube.com

saintdave

Yo ya pude correr el raptor desde cero y y vinieron las modificaciones y va bien

JVProducciones

Cita de: kez en Enero 19, 2015, 10:11:38 AM
Saludos, hermanos :)
Escreverei em Português, desculpe-me.
Parabéns ao OP, mudando o user-agent o YouTube passou a ser usado no modo HTTP.
Entretanto, ao mudar o user-agent pelo Squid, TODOS os sites são afetados.
Podemos verificar ao abrir alguns sites usando um Smartphone.
O correto seria alterar o user-agent apenas quando:
1) O site acessado é o Youtube e...
2) Quando o user-agent é de um browser de desktop(Internet Explorer, Firefox, Chrome, Opera...) e não alterar quando for de um browser mobile.

Andei pensando em como fazer isso:
1) netsed = funciona, mas mudaria o user-agent para todos os sites(apesar que, usando mangle para direcionar somente os endereços IP do youtube para o netsed funcionaria corretamente)
2) ECAP/ICAP do Squid para modificar o user-agent apenas a ACL para o domínio youtube.com
3) plugin para RaptorCache

O problema é que precisamos modificar o conteúdo das negociações HTTP e não o URL(feito com URL rewriter) ou o conteúdo do site.
Alguma sugestão?

Gracias :)
Justamente a eso me refería.... Están cambiando el useragen de todos los dominios.... Ya que yo no conozco squid, espero estar equivocado pero mi experiencia en handy me hace pensar que debería especificar dominios google.con y youtube.con  ... Saludos...

JVProducciones

Cita de: jeicko24 en Enero 19, 2015, 12:15:09 PM
me gustaria que fuese asi :(  pero si lo desconecto el raptor vuelve a la normalidad
Deshabilita reglas queue y prueba.... Saludos

JVProducciones

Cita de: kez en Enero 19, 2015, 12:24:55 PM
Consegui mudar o user-agent apenas para o Youtube, assim os outros sites não são afetados.

squid.conf

#========================== Squid 3.x Conf ===========================#
#
# Opciones de SQUID 3.x
#----------------------------------------------------------------------
http_port 3128 intercept
visible_hostname proxy.os.com
icp_port 0
#----------------------------------------------------------------------
acl youtube url_regex -i "/etc/squid3/youtube.lst"
request_header_access User-Agent deny youtube
request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)


===============
/etc/squid3/youtube.lst

youtube.com
Aseguraré de que poner a www.google.com para jalar desde un inicio a http...

luistec

Cita de: JVProducciones en Enero 20, 2015, 07:41:03 AM
Justamente a eso me refería.... Están cambiando el useragen de todos los dominios.... Ya que yo no conozco squid, espero estar equivocado pero mi experiencia en handy me hace pensar que debería especificar dominios google.con y youtube.con  ... Saludos...
En realidad no cambia a todos los dominios, solo a los de google, si no corresponde no hace el cambio, eso se puede ver revisando los header de otras páginas que también están pasando, pero google tiene varias páginas de distintos servicios, si uno tuviese un conflicto con una de ellas simplemente se puede especificar con el uso de ACL. Sobre el handy no lo he probado, pero por ahí estuve viendo unos plugins usan lenguaje script lua, teoricamente algunos plugins no están muy bien especificados lo que conduce a errores en la entrega con algunos contenidos del caché, también te has fijado como funciona el User-Agent en handy, sería que le deas un análisis. En las actualizaciones de Raptor esto ha ido mejorando para que el binario se encargue de esto, ya que como se ve muchos solo editan los códigos de fuente, si bien esto es suficiente para un gran porcentaje también hay sus excepciones y de la mano de Squid se pueden hacer muchas configuraciones de manera que uno puede especificar o personalizar de acuerdo a las necesidades.

Saludos.

andret1719

Cita de: luistec en Enero 20, 2015, 10:17:01 AM
En realidad no cambia a todos los dominios, solo a los de google, si no corresponde no hace el cambio, eso se puede ver revisando los header de otras páginas que también estan pasando, pero google tiene varias páginas de distintos servicios, si uno tuviese un conflicto con una de ellas simplemente se puede especificar con el uso de ACL. Sobre el handy no lo he probado, pero por ahí estuve viendo unos plugins usan lenguaje script lua, teoricamente algunos plugins no están muy bien especificados lo que conduce a errores en la entrega con algunos contenidos del caché, también te has fijado como funciona el User-Agent en handy, sería que le deas un análisis. En las actualizaciones de Raptor esto ha ido mejorando para que el binario se encargue de esto, ya que como se ve muchos solo editan los códigos de fuente, si bien esto es suficiente para un gran porcentaje también hay sus excepciones y de la mano de Squid se pueden hacer muchas configuraciones de manera que uno puede especificar o personalizar de acuerdo a las necesidades.

Saludos.

Buenas amigo como vas, mira es que tengo inconvenientes aveces con paginas http y en android tambien, cuando quiero ingresar a paginas http se torna lento y aveces si es rapido, no se si tenga problemas en algo, pero pues me estaba trabajando bien hasta hace dos dias vengo con esos problemas....

Otra cosita amigo, quisiera saber como hacer para que determinada ip de un cliente no pase por el raptor que reglas puedo usar, de antemano gracias...

luistec

Cita de: andret1719 en Enero 20, 2015, 02:50:31 PM
Buenas amigo como vas, mira es que tengo inconvenientes aveces con paginas http y en android tambien, cuando quiero ingresar a paginas http se torna lento y aveces si es rapido, no se si tenga problemas en algo, pero pues me estaba trabajando bien hasta hace dos dias vengo con esos problemas....

Otra cosita amigo, quisiera saber como hacer para que determinada ip de un cliente no pase por el raptor que reglas puedo usar, de antemano gracias...
Si quieres que ciertos IPs no pasen por Raptor revisa en este post
http://www.alterserv.com/foros/index.php?topic=5.msg13906#msg13906

Saludos.

JVProducciones

Cita de: luistec en Enero 20, 2015, 10:17:01 AM
En realidad no cambia a todos los dominios, solo a los de google, si no corresponde no hace el cambio, eso se puede ver revisando los header de otras páginas que también están pasando, pero google tiene varias páginas de distintos servicios, si uno tuviese un conflicto con una de ellas simplemente se puede especificar con el uso de ACL. Sobre el handy no lo he probado, pero por ahí estuve viendo unos plugins usan lenguaje script lua, teoricamente algunos plugins no están muy bien especificados lo que conduce a errores en la entrega con algunos contenidos del caché, también te has fijado como funciona el User-Agent en handy, sería que le deas un análisis. En las actualizaciones de Raptor esto ha ido mejorando para que el binario se encargue de esto, ya que como se ve muchos solo editan los códigos de fuente, si bien esto es suficiente para un gran porcentaje también hay sus excepciones y de la mano de Squid se pueden hacer muchas configuraciones de manera que uno puede especificar o personalizar de acuerdo a las necesidades.

Saludos.
Hola amigo Luis, no se si te as dado cuenta en las imagenes mostradas por ryo se muestra la web (la forma) como si estuviera en https...será un fake?



por que en handy con el user agent no se pudo.... en raptor les sale así?

luistec

Cita de: JVProducciones en Enero 20, 2015, 02:57:56 PM
Hola amigo Luis, no se si te as dado cuenta en las imagenes mostradas por ryo se muestra la web (la forma) como si estuviera en https...será un fake?



por que en handy con el user agent no se pudo.... en raptor les sale así?




La verda no te puedo decir si esa imagen es un fake o no, ya que también es posible hacer eso instalando un Addon en el navegador. Lo que puedo mostrar es una captura de como se ve el buscador de Google HTTP usando Raptor y mostrando la información del contendido

Falta el plugin del servidor de esa imagen por eso no figura el MISS del Raptor, pero como ya sabemos eso es sencillo de arreglar.

Saludos.

JVProducciones

Cita de: luistec en Enero 20, 2015, 03:22:39 PM



La verda no te puedo decir si es un fake o no, ya que también es posible hacer eso instalando un Addon en el navegador. Lo que puedo mostrar es una captura de como se ve el buscador de Google HTTP usando Raptor y mostrando la información del contendido

Falta el plugin del servidor de esa imagen por eso no figura el MISS del Raptor, pero como ya sabemos eso es sencillo de arreglar.

Saludos.
si... es igual en handy.... lo que me deja intrigado es que le diga "Esta red desactivo la busqueda ssl" pero bueno....saludos a ti y a Joemg6 y espero que todo les vaya bien y saquen adelante a raptorcache....

firecold

Cita de: JVProducciones en Enero 20, 2015, 07:41:03 AM
Justamente a eso me refería.... Están cambiando el useragen de todos los dominios.... Ya que yo no conozco squid, espero estar equivocado pero mi experiencia en handy me hace pensar que debería especificar dominios google.con y youtube.con  ... Saludos...

Amigo JVProducciones un detalle interesante es que usted menciona que cambia todos los dominios, cosa que no es cierta, ya que si usted busca en nuestro eterno maestro Google, se dara cuenta que cambiar user-agent de todos los dominios se hace de forma distinta, cosa que me imagino que usted como desarrollador de HC se tendria que haber enterado, la otra es que el mismo google en sus foros y paginas de ayuda menciona sobre este metodo, de cambiar sus googlebots, puede pasarse por aqui para asesorarse: Enlace, Enlace_2, Enlace_3, Enlace_4, todos ellos son bastante interesantes ya que habla de la indexacion y rastreo de contenido de Google, no de otros dominios y como sabemos google y youtube comparten servidores como ips y aun en mas le recomiendo asesorarse en este tema, tambien para que pueda verificar lo que le estoy diciendo Squid tiene una opcion en los logs de detectar el user-agent de cada uno de los usuarios que esta navegando y asi pueda verificar si como usted dice cambia el contenido de paginas o sitios que no pertenecen a google, Saludos

firecold

Cita de: luistec en Enero 20, 2015, 10:17:01 AM
En realidad no cambia a todos los dominios, solo a los de google, si no corresponde no hace el cambio, eso se puede ver revisando los header de otras páginas que también están pasando, pero google tiene varias páginas de distintos servicios, si uno tuviese un conflicto con una de ellas simplemente se puede especificar con el uso de ACL. Sobre el handy no lo he probado, pero por ahí estuve viendo unos plugins usan lenguaje script lua, teoricamente algunos plugins no están muy bien especificados lo que conduce a errores en la entrega con algunos contenidos del caché, también te has fijado como funciona el User-Agent en handy, sería que le deas un análisis. En las actualizaciones de Raptor esto ha ido mejorando para que el binario se encargue de esto, ya que como se ve muchos solo editan los códigos de fuente, si bien esto es suficiente para un gran porcentaje también hay sus excepciones y de la mano de Squid se pueden hacer muchas configuraciones de manera que uno puede especificar o personalizar de acuerdo a las necesidades.

Saludos.

Amigo Luistec apoyo su aseveracion de que no cambia el user-agent de otros dominios que no son de google, es mas segun los enlaces que le envie a JVProducciones solo afecta a la busqueda de Google y por ende Youtube, yo ya hice mis pruebas con squid viendo los user-agent con  sus cambios y no afectando a otro sitio que la busqueda de Google, Youtube y algun otro, pero no he visto siquiera que afecte esto a GMAIL, cosa que es buena, por lo demas Gracias a usted y Joemg6 por la ayuda desinteresada, Saludos