Bueno estimado, que yo sepa de manera transparente sólo hay una forma de hacer la redirección de https, y la vdd no creo q sea con ccproxy, igual hay q instalar los certs, hace tiempo hice unas pruebas con dos programas mostrados en el blackhat Asia 2014 el dnsproxy y el sslstripv2 estos dos programas a través de un MiTM lograban romper la romper la encriptacion ssl(gracias al sslstrip) a través de un engaño a nivel dns ( gracias al dnsproxy) una forma más sencilla de entender es q hacia algo como un phishing (pero obviamente lo reenviaba a la pag real) todo este proceso lo hacia sólo para quitar la encriptacion y poder ver todo en http. Según lo que leí por ahí es q algunos proxies están apuntando a algo similar con sslsplit y forging de certificados x.509 usando un mitm, la desgracia de esto es q solo lo he visto en linux, no en windows, así q si alguien se anima a probarlo en winfows lo más probable es q lo haga en cygwin, actualmente estoy sin pc jeje ya q queme la q tenia y estoy a la espera de q me llegue la otra, así que tardaría en ver este proyecto, pero si alguien se anima ahí dejé las palabras clave para q lo intente por su cuenta, pero a decir vdd no se si el ccproxy pueda hacer una intercepcion de https on the fly y sin certificado.

Saludos
Requium

Excelente Vuelta, JV.

Bueno aprovechando de revisar un poco el script y dandole un poco de vueltas te dejo algo que ya utilizaba en una empresa para hacer load balancing de proxys y failover (por si el handy no enciende y el apache si), y que servira para handys por el script pac (es randomico, no es un pcc, pero es algo jeje).

var hosts = "192.168.88.206:8080 192.168.88.206:8081 192.168.88.206:8082"; // Los proxies van aca separados de UN ESPACIO

function FindProxyForURL(url,host) {

if (shExpMatch(url, "https://*.ytimg.com/*"))
  { var hostsArray = hosts.split(" "); // Separacion en array de proxies delimitado por el espacio
    var randomIndex = Math.floor((Math.random() * hostsArray.length)); // obtencion de un indice en randomico funcion de la cantidad de elementos de el array.
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT"; // escoger el proxy de los array en funcion del indice randomico
}
if (shExpMatch(url, "https://*.googlevideo.com/*"))
{ var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.youtube.com/*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.cloudfront.com/*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.playshoo.com/*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.socialpointgames.com/*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.fbcdn.net/*.jpg*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.fbcdn.net/*.png*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.fbcdn.net/*.mp4*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.akamaihd.net/*.png*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.akamaihd.net/*.jpeg*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.akamaihd.net/*.swf*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.akamaihd.net/*.mp3*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
}
if (shExpMatch(url, "https://*.swf*"))
   { var hostsArray = hosts.split(" ");
    var randomIndex = Math.floor((Math.random() * hostsArray.length));
    return "PROXY " + hostsArray[randomIndex] + "; DIRECT";
} 
}

Para los que van a probar, porfavor asegurense de haber probado el anterior script primero, si lo hicieron recien pueden hacer esto, posteriormente tienen que desactivar en el navegador la opcion de usar scripts de configuracion automatica y detectar la configuracion automaticamente darle aceptar y luego vuelven a habilitar estas dos opciones, ya que es la única manera que vi que haga un refresh de la carga de script de otra manera seguira usando el anterior script.

Saludos
Requium

Cita de: ivarth0221 en Octubre 23, 2015, 12:56:39 AM
Hola JV!!!

Muchas gracias por este gran aporte del HC y las ayudas en esta gran comunidad !!!

Quisiera me colaboras con un inconveniente q tengo antes de instalar el HC trabajaba con unas reglas  de calidad de servicio (QoS )q ajuste a mis necesidad  y me trabajaban muy bn  ....

Al instalar el  HC me generaron conflicto  y no me liberaran el fullcache  y me toco desactivarla .....

Como todos mi clientes trabajan  con SX LITE de mikrotik como receptor les instale este script a cada uno y trabaja muyyy bn perooooo!!!!!!

Tengo muchos problemas con las llamadas voip !!!!!

Verifique la latencia , ping ,tx y rx y estan bn en cada cliente; observo que  es mi RB450  no le da prioridad a las llamadas voip ...

Es mas!!! Apago mi HC,  activo las reglas QoS y las llamadas salen perfectas



Como puedo mejorar esto sin afecta mi HC?


Adjunto imagen de QoS q utilizo en mi RB450 y clientes!!!!

Muchas gracias

Pos, muestra el QoS, depende mucho donde lo hagas ya sea en el simple o en el tree varia la solucion.

Saludos

Pueden usar esa regla sola sin necesidad de la de layer 7 pero como dije es prueba si pueden comprueben q no les afecte en nada mas

Hmm pos para facilitarles la vida pueden probar la siguiente regla q es mas directa, (OJO: Probar) y decir q tal va, hasta ahora a mi me dio bien, pero no se si les afecte en algun juego o algun aplicativo, pq yo lo use en una red pequeña:

/ip firewall filter add chain=forward protocol=udp dst-port=443 action=drop out-interface="WAN"

noten q la interface WAN es la interface de internet o por la que salen a internet.

Saludos
Requium

Efectivamente, me hice una regla para logear el trafico y para ser mas exacto es el udp 443 o.O, no se si varia por server.

Lo de google, si es verdad cambia por país y operador, ya que tienen un cdn puesto en cada operador, para facilitar las cosas dejo las reglas ya que parece q anda todo bien hasta ahora.

Sin mas las reglas para capturar IPs de google indiferentemente del país, Ojo: estas reglas usan layer7, por lo que genera algo de proceso si tu RB esta por encima de los 75% de cpu trata de no aplicarlas.

/ip firewall layer7-protocol add name=Google regexp="^.*(google|youtube|googlevideo|gstatic)\\.com.*"
/ip firewall mangle add action=add-dst-to-address-list address-list=Google chain=postrouting \ out-interface="WAN" layer7-protocol=Google
/ip firewall filter add action=drop chain=forward comment="Bloqueo udp Chrome" \ dst-address-list=Google dst-port=!53  protocol=udp


PD: Tal vez para los que tengan un proceso superior a los 75% podrian probar con una regla de firewall bloqueando el udp 443 hacia internet, como alternativa, nota que no lo probé.

Saludos
Requium

Hmmm le haze un sniff para ver q cosa usa en udp o algun regexp q se pueda usar para bloquearlo

Bueno, probate mas tarde lo del nuevo handy para lo de chtome aun sigo trabajando en eso, ya q hay un tema con los cookies q se guarda y al bloquear eso algunos contenidos se eliminan como las imagenes,etc, habria q buscar un factor que no sea generado por el sitio. Salufos

Pos si, si no usas chrome con usuario y contraseña no se cargan las cookies de https, a mi me paso esto ya desde hace 1 mes, pero los demas usuarios (cybers o gente q no es dueña de su pc) usan el chrome sin usuario y eso les genera un cookie de visitor o algo asi q no genera problema, el problema q tenia yo era q cuando estaba logeado despues de un rato se pasaba a https, pero bueno ya corregi el tema de que cargaba mas lento los videos.

A ver si le das una prueba estando logeado, la verdad no se q causo q a veces los videos se migren a https, pero tiene q ver algo con los cookies, de todas maneras dejo la solucion q realice y me sirvio a mi, por si alguien mas tiene el problema.

Saludos

Agregando algo al tema, no se si algunos han tenido problemas con el tema de los cookies de chrome ultimamente, que ya no mandaba a http los videos de youtube y borrando volvia a acceder pero solo duraba en la primera puesta, bueno no vi mucho del tema pero he visto por mi parte que he tenido ese tipo de problemas para chrome.

Para lo cual hice la siguiente extension que es compatible con las dos ultimas extensiones de JV, (UserAgent Googlebot y Youtube Guardado x Titulo (Marcado fullCache)(googlebot)) que actualmente son las q use para la prueba de esta extension, para usarla solo hay q borrar en el historial los cookies y otros datos de sitio y de complementos, luego los cookies ya no son descargados mas de los sitios de youtube y los datos de cache hasta el origen de los tiempos.

La extension esta en la version 0.1, lo cual no ha sido pulida, (ya que repite 4 veces el proceso de limpieza de cookies) y no tiene un proceso automatico de bucle para reconocer la cantidad de cookies q se generan, si alguien quiere mejorarlo, es libre de hacerlo

Sin mas, aqui dejo la extension:

EDITADO:
Se corrigio el problema con la lentitud de carga de chrome, se corrigio para q solo quite el cookie de la pagina de inicio de youtube o el llamado de www.youtube.com, que eos no mas es lo q genera el https

Este problema es generalmente visto en los usuarios que logean con su cuenta, si no lo tienes no es necesario que lo cargues, si ya te aparecio puedes usarlo para corregirlo.

Testeado con solo el plugin Youtube Guardado x Titulo (Marcado fullCache)(googlebot)

V.02:
http://adf.ly/1FO3zz
Saludos y espero q les sirva.

Hmm, revisando por esa parte hace peticiones a un servidor con ip, 108.x.x.31, al ver la pelicula y no la hace al dominio netflix.net, es posible hacer plugins a IPs con el thunder 3.1.2??

Se agradece por la respuesta tan pronta :D.

Saludos

Buenas a todos, y otra vez molestando, queria hacer una consulta, revisando videos de netflix premium no cachean, en el thunder repor me marca como 26Mbps de cacheo que creo q es el resto de la pag, no se si alguien lo ha probado ya.

Muchas gracias anticipadas.

Saludos

Al parecer lo estas haciendo todo con tu usuario comun, cambia a usuario root para darle los permisos necesarios

su -u root

Saludos

Para los de la RAM seria bueno que pongan algo mas especifico para ayudar a joemg a resolverlo.

Podrian colocar capturas o exports de
top Luego presionan n para el consumo de memoria según procesos

Si el consumo de RAM es del squid en el momento que este 99%:
tail -f /var/log/squid3/cache.log

Saludos
Requium

Revisa tu cache.log de tu squid :/. con tail -f, yo ahi vi un loop que tenia, talvez sea eso :/.

/var/log/squid3/tail-f cache.log


Saludos
Requium

Yo tenia un problema similar en el thunder 3.1.2, que la RAM llegaba 99% todo el tiempo, revisando el cache.log de /var/log/squid3 observe que existia un loop, revisando un poco las conexiones en el mk observe que una pc realizaba varias consultas al thunder :80 y causaba un loop, lo solucione quitando a la pc del thunder, no se si el caso sea similar pero por que no te fijas el cache.log del squid3.

Saludos

sip eso hare :/. Gracias por la ayuda

Saludos

Hmm no creo, es la unica pagina de pdfs q no entra :/, probe scribd y funciona, la unica solucion q halle es sacarlo del cache del squid. :/ muy raro talvez sea algo con la pc que hace de server de squid o que este usando win8 como OS.

Saludos

Hmm he reinstalado el thunder con el squid 3.x y aun sigo sin poder ver los pdfs de la mum de mikrotik, y al parecer no hay nada dentro del squid.conf con bloqueo de virus :/.

Agradezco el esfuerzo de antemano :).

Bueno me respondo solo, y para algunas personas q talvez tengan el problema, en el BIOS faltaba activar Remap Memory, al parecer hay algunos problemas con algunos chipset.

Saludos