YOUTUBEya no cachea pasa por el puerto 443 HTTPS

Publicado por peguerojs, Febrero 09, 2014, 05:43:18 PM

Tema anterior - Siguiente tema

peguerojs

BUENAS TARDES AMIGOS DE ALTERSERV HOY ME ENCONTRE CON QUE MI RAPTOR NO ESTABA CACHEANDO LOS VIDEOS DE YOU TUBE YA QUE ESTA PASANDO POR EL PUERTO 443 O HTTPS
MI PREGUNTA ES :    QUE VAMOS A HACER YA NO PODEMOS CHACHEAR FACEBOOK NI LAS IMAGENES NI LOS JUEGOS Y AHORA YA NO PODEMOS CACHEAR YOUTUBE
SERA QUE ALGUIEN TIENE ALGUNA SOLUCION PARA ESTO YA QUE ESTAMOS PERDIENDO TERRENO

saintdave


peguerojs


RooTDoWN

Cita de: peguerojs en Febrero 09, 2014, 05:43:18 PM
BUENAS TARDES AMIGOS DE ALTERSERV HOY ME ENCONTRE CON QUE MI RAPTOR NO ESTABA CACHEANDO LOS VIDEOS DE YOU TUBE YA QUE ESTA PASANDO POR EL PUERTO 443 O HTTPS
MI PREGUNTA ES :    QUE VAMOS A HACER YA NO PODEMOS CHACHEAR FACEBOOK NI LAS IMAGENES NI LOS JUEGOS Y AHORA YA NO PODEMOS CACHEAR YOUTUBE
SERA QUE ALGUIEN TIENE ALGUNA SOLUCION PARA ESTO YA QUE ESTAMOS PERDIENDO TERRENO

Aunque Youtube utilice HTTPS, el contenido de los vídeos sigue pasando por HTTP (dominio *.googlevideo.com), así que sí se puede cachear, otra cosa es que el proxy caché que utilices no lo tenga implementado. Pero poder, se puede.

peguerojs

Cita de: RooTDoWN en Febrero 09, 2014, 09:16:30 PM
Aunque Youtube utilice HTTPS, el contenido de los vídeos sigue pasando por HTTP (dominio *.googlevideo.com), así que sí se puede cachear, otra cosa es que el proxy caché que utilices no lo tenga implementado. Pero poder, se puede.

lo que pasa es que yo estoy loco eso es

saintdave

Cita de: RooTDoWN en Febrero 09, 2014, 09:16:30 PM
Aunque Youtube utilice HTTPS, el contenido de los vídeos sigue pasando por HTTP (dominio *.googlevideo.com), así que sí se puede cachear, otra cosa es que el proxy caché que utilices no lo tenga implementado. Pero poder, se puede.
Podrias explicar un poco mas detallado de o que citas ahi, o decirnos de como corregir ese problema del chrome que no deja hacer cache al youtube.

peguerojs

Cita de: saintdave en Febrero 10, 2014, 11:24:47 AM
Podrias explicar un poco mas detallado de o que citas ahi, o decirnos de como corregir ese problema del chrome que no deja hacer cache al youtube.
con Internet explore pasa lo mismo y con firefox también yo creo que es youtube que esta protegiendo los paquetes cono facebook

jesus3602

ATENCION  ATENCION  ATENCION LEAN - lean

pienso lo mismo mas que todo los que buscamos implementar raptor es para hacer mas rapida nuestra red en que sentido en que haga cache paginas pesadas que consumen mucho ancho de banda como las siguientes youtube y facebook twitter son las más visitadas y son las que más consumen recursos debería (   Joemg   ) enfocarse en desarrollar una soluci0on por allí vi unas paginas americanas el tutorial completo de como hacer cache al 443 pero a la traducción todos sabemos que cambian muchas cosas xq el traductor a veces no es tan exacto por eso se necesita un experto en la materia de debían para que lo resuma y lo simplifique para los amateur como yo y muchos de los que estamos aquí...

Otro llamado es para que arreglen lo de la pagina todos debemos contribuir me estoy moviendo para abonar a la pagina 5 dólares todos saben hasta los extranjeros la difícil situación que está pasando mi país Venezuela en cuestiones de divisas pero aun así hare un gran esfuerzo por este proyecto del cual todos nos lucramos sea monetariamente o para nuestra red que al final es lo mismo gracias....
Despues de un final de circuito, hay un comienzo para un codigo en "C+ "Informatica Pura"

RooTDoWN

Cita de: saintdave en Febrero 10, 2014, 11:24:47 AM
Podrias explicar un poco mas detallado de o que citas ahi, o decirnos de como corregir ese problema del chrome que no deja hacer cache al youtube.

Cuando visitas por HTTPS a Youtube, los HTML, imagénes, css, javascripts, etc.. de Youtube van por HTTPS, y no se pueden cachear.
Pero los vídeos siguen yendo por HTTP y sí se pueden cachear.

Para saber por cual protocolo va cada elemento de la página puedes utilizar un sniffer (tcpdump & wireshark por ejemplo), para analizar el tráfico de cada página web.

Los vídeos hasta ahora siempre han ido por HTTP, así que no hay de qué preocuparse. Si el proxy caché no lo cachea, no es porque no se pueda, es porque no lo tiene implementado, pero poder se puede.

peguerojs

Cita de: RooTDoWN en Febrero 11, 2014, 04:36:01 PM
Cuando visitas por HTTPS a Youtube, los HTML, imagénes, css, javascripts, etc.. de Youtube van por HTTPS, y no se pueden cachear.
Pero los vídeos siguen yendo por HTTP y sí se pueden cachear.

Para saber por cual protocolo va cada elemento de la página puedes utilizar un sniffer (tcpdump & wireshark por ejemplo), para analizar el tráfico de cada página web.

Los vídeos hasta ahora siempre han ido por HTTP, así que no hay de qué preocuparse. Si el proxy caché no lo cachea, no es porque no se pueda, es porque no lo tiene implementado, pero poder se puede.
bueno aqui en venezuela no se puede ya que los datos pasan por el puerto 443 y estoy seguro que youtube lo va a hacer país por país asta que todo el trafico sea seguro

RooTDoWN

Tenéis razón.

La única solución que queda es habilitar un proxy HTTP->HTTPS. He estado haciendo pruebas en ese sentido.
Ya que tarde o temprano terminarán obligando a pasar todo el tráfico de Youtube por HTTPS.
Además de que también serviría para cachear Facebook/Twitter/etc...

No se trata de utilizar otro proxy diferente a squid/raptor/thunder/etc.. sino de utilizarlo como complemento a esos programas, únicamente para las citadas webs (Youtube/Facebook/Twitter/etc...), de forma que reciba las conexiones como servidor por HTTP y las saque como cliente por HTTPS. Así no habrá problemas de certificados en el navegador del cliente, y éste siempre tendrá la opción de utilizar HTTP (con caché y más velocidad) o HTTPS (con más privacidad, pero sin cache y menor velocidad), sin que sea vea obligado a utilizar HTTPS por Youtube/Facebook/Twitter/etc...

Tal como están las cosas, no queda otra solución que esa, y cuanto antes se haga, mejor. Youtube se lleva el grueso del tráfico en cualquier ISP.

Si alguien quiere hacer de betatester puedo poner instrucciones por aquí, pero para utilizarlo en producción todavía no lo he probado lo suficiente.

Saludos.

peguerojs

Cita de: RooTDoWN en Febrero 12, 2014, 09:39:15 PM
Tenéis razón.

La única solución que queda es habilitar un proxy HTTP->HTTPS. He estado haciendo pruebas en ese sentido.
Ya que tarde o temprano terminarán obligando a pasar todo el tráfico de Youtube por HTTPS.
Además de que también serviría para cachear Facebook/Twitter/etc...

No se trata de utilizar otro proxy diferente a squid/raptor/thunder/etc.. sino de utilizarlo como complemento a esos programas, únicamente para las citadas webs (Youtube/Facebook/Twitter/etc...), de forma que reciba las conexiones como servidor por HTTP y las saque como cliente por HTTPS. Así no habrá problemas de certificados en el navegador del cliente, y éste siempre tendrá la opción de utilizar HTTP (con caché y más velocidad) o HTTPS (con más privacidad, pero sin cache y menor velocidad), sin que sea vea obligado a utilizar HTTPS por Youtube/Facebook/Twitter/etc...

Tal como están las cosas, no queda otra solución que esa, y cuanto antes se haga, mejor. Youtube se lleva el grueso del tráfico en cualquier ISP.

Si alguien quiere hacer de betatester puedo poner instrucciones por aquí, pero para utilizarlo en producción todavía no lo he probado lo suficiente.

Saludos.
estaremos agradecidos si nos ayudas a resolver este problema y creo que hablo por toda la comunidad

saintdave

Cita de: RooTDoWN en Febrero 12, 2014, 09:39:15 PM
Si alguien quiere hacer de betatester puedo poner instrucciones por aquí, pero para utilizarlo en producción todavía no lo he probado lo suficiente.
Se agradece tus buenas intenciones compañero, cuenta conmigo para el test.

loquitoslack

Buenos días una consulta por ahí leo que en venezuela el caching ya esta en https, puede verificar eso con el siguiente comando

# tail -f /var/log/raptor/access.log  

Sino cachea ningún video es que algo esta pasando aqui en perú todo sigue igual, el video pasa por http, ahora creo que analizando la logica no tendría sentido pasar un video por https ya que dicho video es publico, a excepción de la información de facebook que es información privada, por eso veo poco probable esa migración, ahora el video de youtube cuando es entregado al usuario es partido en varias partes y cada parte tendria que ser cifrada y descifrada por el servidor ( primary key, public key) lo que generaría desde mi punto de vista lentitud en la conectividad, ahora es una tendencia un poco maniatica querer pasar todo a https porque solo sería datos importantes de ahi lo demas no es necesario, es como predecir la muerte de http por https :D, es mi opinión por si acaso no soy experto en la materia, les deseo suerte.

Atentamente

firecold

Cita de: loquitoslack en Febrero 18, 2014, 09:14:14 AM
Buenos días una consulta por ahí leo que en venezuela el caching ya esta en https, puede verificar eso con el siguiente comando

# tail -f /var/log/raptor/access.log 

Sino cachea ningún video es que algo esta pasando aqui en perú todo sigue igual, el video pasa por http, ahora creo que analizando la logica no tendría sentido pasar un video por https ya que dicho video es publico, a excepción de la información de facebook que es información privada, por eso veo poco probable esa migración, ahora el video de youtube cuando es entregado al usuario es partido en varias partes y cada parte tendria que ser cifrada y descifrada por el servidor ( primary key, public key) lo que generaría desde mi punto de vista lentitud en la conectividad, ahora es una tendencia un poco maniatica querer pasar todo a https porque solo sería datos importantes de ahi lo demas no es necesario, es como predecir la muerte de http por https :D, es mi opinión por si acaso no soy experto en la materia, les deseo suerte.

Atentamente

Evidentemente como usted dice loquitoslack, igualmente en mi pais Guatemala, la pagina esta en https, pero los videos salen en http y logran ser cacheados sin problemas, el detalle esta y siempre lo he dicho que cuando uno se loguea en gmail, por proteccion se cifra todo y para ver en un texto las paginas de youtube recomendaria el siguiente comando:

Código (bash) [Seleccionar]
sudo cat /var/log/squid3/access.log | grep googlevideo.com >> /home/log.log

Creando un archivo en tu home con la imformacion requerida para posterior analisis, Saludos

loquitoslack

Hola chicos ya encontre el tema del dilema :D prueben con esta url

https://www.youtube.com/watch?v=Tl4t7tMpRnI

--> No hara ni MISS ni HIT
y

de ahí con:

http://www.youtube.com/watch?v=Tl4t7tMpRnI

--> hara MISS y HIT dependiendo

tail -f /var/log/raptor/access.log | grep --color googlevideo :P

Si desean percatarse prueben abriendo el video en 2 pestañas :D

que ha pasado, google cambio la forma como se ve el video, no tiene logica :D pero bueno habra que esperar que Joem saque un update :D o hagamos caching de https :P

Me olvidaba si quieren darse cuenta pruebenlo con firefox :P, joder no tiene logica cifrar un video que es público :D jajajajajaa

Estoy probando desde iceweasel y coloco http pero en cada video que habras la pestaña heredara el protocolo, si colocas la s de https heredara todos los videos y no hara caching

RooTDoWN

Cita de: saintdave en Febrero 17, 2014, 12:17:29 PM
Se agradece tus buenas intenciones compañero, cuenta conmigo para el test.

Gracias, pronto publicaré el código fuente e instrucciones para que lo pruebe quien quiera.

Cita de: firecold en Febrero 18, 2014, 10:08:36 AM
Evidentemente como usted dice loquitoslack, igualmente en mi pais Guatemala, la pagina esta en https, pero los videos salen en http y logran ser cacheados sin problemas, el detalle esta y siempre lo he dicho que cuando uno se loguea en gmail, por proteccion se cifra todo y para ver en un texto las paginas de youtube recomendaria el siguiente comando:

Código (bash) [Seleccionar]
sudo cat /var/log/squid3/access.log | grep googlevideo.com >> /home/log.log

Creando un archivo en tu home con la imformacion requerida para posterior analisis, Saludos

En España era así como dices hasta hace bien poco.
Ahora mismo... si entras por HTTPS a youtube (sin estar logueado) el video de googlevideo.com sale por HTTPS también (hace unas semanas no era así). Pero de momento no es obligado entrar por HTTPS, si entras por HTTP no cambia a HTTPS y el vídeo de googlevideo.com también sale por HTTP. Comprobado personalmente por mí, sniffeando la conexión con tcpdump.

Imagino que será progresivo el cambio, de unos servidores de youtube a otros. Así que mejor estar preparado para cuando ya no haya opción de utilizar la versión en HTTP.

Recordad que hace años ni siquiera había versión HTTPS de Twitter, y ahora es obligado su uso (y como punto intermedio, hace años, fue opcional). Así que la tendencia de esas grandes webs de EEUU (que se llevan el grueso del tráfico en cualquier ISP) es utilizar HTTPS cada vez más (quizá por la influencia de las revelaciones sobre espionaje de la NSA de Edward Snowden, contraespionaje de Alemania, etc).

Yo pienso que lo mejor es que sea siempre el usuario quien tenga la última opción de elegir si HTTP o HTTPS, y que no que se imponga esa opción desde EEUU ni desde el ISP. Por ejemplo, desde un hotspot público es preferible utilizar HTTPS, si el tráfico de la red wifi va sin cifrado. Pero desde casa en general es preferible HTTP si el ISP tiene un proxy caché para aumentar la velocidad de carga. Y por suerte, hacer esto siempre será técnicamente posible, cuestión de software del proxy, por mucho que traten de impedirlo desde esas grandes webs :D.

firecold

Cita de: loquitoslack en Febrero 18, 2014, 11:30:19 AM
Hola chicos ya encontre el tema del dilema :D prueben con esta url

https://www.youtube.com/watch?v=Tl4t7tMpRnI

--> No hara ni MISS ni HIT
y

de ahí con:

http://www.youtube.com/watch?v=Tl4t7tMpRnI

--> hara MISS y HIT dependiendo

tail -f /var/log/raptor/access.log | grep --color googlevideo :P

Si desean percatarse prueben abriendo el video en 2 pestañas :D

que ha pasado, google cambio la forma como se ve el video, no tiene logica :D pero bueno habra que esperar que Joem saque un update :D o hagamos caching de https :P

Me olvidaba si quieren darse cuenta pruebenlo con firefox :P, joder no tiene logica cifrar un video que es público :D jajajajajaa

Estoy probando desde iceweasel y coloco http y https a las url y igual lo descarga en modo http, extraño por favor todos probando :D para reportar

Viendo tu ejemplo, pues debo decir que te doy la razon, ya que es el mismo video pero uno lo entrega en https y el otro en http, bueno habra que esperar y ver que pasa, si es temporal por https sera siempre, ya que con el tiempo nos lo autoimponen, si no acuerdense de facebook, por lo demas habra que documentarselo a joemg6 y ver que pasa, Saludos

firecold

Cita de: RooTDoWN en Febrero 18, 2014, 11:51:08 AM
Gracias, pronto publicaré el código fuente e instrucciones para que lo pruebe quien quiera.

En España era así como dices hasta hace bien poco.
Ahora mismo... si entras por HTTPS a youtube (sin estar logueado) el video de googlevideo.com sale por HTTPS también (hace unas semanas no era así). Pero de momento no es obligado entrar por HTTPS, si entras por HTTP no cambia a HTTPS y el vídeo de googlevideo.com también sale por HTTP. Comprobado personalmente por mí, sniffeando la conexión con tcpdump.

Imagino que será progresivo el cambio, de unos servidores de youtube a otros. Así que mejor estar preparado para cuando ya no haya opción de utilizar la versión en HTTP.

Recordad que hace años ni siquiera había versión HTTPS de Twitter, y ahora es obligado su uso (y como punto intermedio, hace años, fue opcional). Así que la tendencia de esas grandes webs de EEUU (que se llevan el grueso del tráfico en cualquier ISP) es utilizar HTTPS cada vez más (quizá por la influencia de las revelaciones sobre espionaje de la NSA de Edward Snowden, contraespionaje de Alemania, etc).

Yo pienso que lo mejor es que sea siempre el usuario quien tenga la última opción de elegir si HTTP o HTTPS, y que no que se imponga esa opción desde EEUU ni desde el ISP. Por ejemplo, desde un hotspot público es preferible utilizar HTTPS, si el tráfico de la red wifi va sin cifrado. Pero desde casa en general es preferible HTTP si el ISP tiene un proxy caché para aumentar la velocidad de carga. Y por suerte, hacer esto siempre será técnicamente posible, cuestión de software del proxy, por mucho que traten de impedirlo desde esas grandes webs :D.

Por el momento estaremos esperando en lo que estas trabajando y ver que tal funciona, por el momento no emitire mi opinion si es bueno o malo, hasta probarlo y ver que no afecte de ninguna manera la seguridad o la estabilidad, saludos

gonzalito

Buenas tardes después de tanto leer encontré esta pagina, pero lo veo algo complicado ya que posiblemente se tenga que verificar la configuración de cada pc

http://www.alcancelibre.org/staticpages/index.php/como-wpad

Bueno espero que sirva de algo yo no lo implemente pero me parecio interesante.

Saludos.