Instalación de ThunderCache 3.1.2 paralelo a Mikrotik - Squid 3.x

joemg6 · Octubre 27, 2012, 12:48:44 PM

En esta instalación se hace en base al squid 3.x (3.x de acuerdo a como los repositorios de gestor de paquetes se van actualizando a las versiones de squid3), esto para ir actualizando algunas directivas que se han quedado en el 2.7, y también para ir de acuerdo a las ultimas actualizaciones estables del squid.

Para instalar tenemos que seguir los siguientes pasos.

1.- Primero tenemos que instalar Debían, se puede descargar de los siguientes enlaces.

32 bits
http://cdimage.debian.org/debian-cd/6.0.6/i386/iso-cd/debian-6.0.6-i386-netinst.iso

64 bits
http://cdimage.debian.org/debian-cd/6.0.6/amd64/iso-cd/debian-6.0.6-amd64-netinst.iso

Luego procedemos a instalar el Debian como se muestra en el video, se debe de poner el IP 192.168.10.2, ya posteriormente a la instlación del thunder se puede cambiar el IP que uno quiera.

2.- Instalamos el Thundercache en Debian para eso procedemos a ingresar los siguientes comandos por el terminal que ejecutara el script de instalación (se puede hacer tambien esto utilizando putty).

Es importante que durante la instalación del thunder poner la contraseña del Mysql: thunder31
32 bits

Código (bash) [Seleccionar]


wget http://www.joemg.host56.com/tc3x/thunder312-32.sh
chmod 777 thunder312-32.sh
./thunder312-32.sh

64 bits

Código (bash) [Seleccionar]


wget http://www.joemg.host56.com/tc3x/thunder312-64.sh
chmod 777 thunder312-64.sh
./thunder312-64.sh

3.- Redireccionamos y priorizamos el trafico de Thunder en Mikrotik con las siguientes reglas.

Código (mk) [Seleccionar]


/ip firewall filter
add action=accept chain=forward comment="Acepta thunder 3.1.x" disabled=no \
    src-address=192.168.10.0/30
/ip firewall nat
add action=dst-nat chain=dstnat comment="Redirect Thunder 3.1.x" disabled=no \
    dst-port=80 protocol=tcp src-address=!192.168.10.2 to-addresses=\
    192.168.10.2 to-ports=3128
/ip firewall mangle
add action=mark-connection chain=postrouting comment="THUNDER CACHE FULL(TC 3.\
    1.x) =======================================================================\
    ===============================" content="X-Cache: HIT from Thunder" \
    disabled=no new-connection-mark=thunder-connection passthrough=yes \
    protocol=tcp src-address=192.168.10.2
add action=mark-packet chain=postrouting connection-mark=thunder-connection \
    disabled=no new-packet-mark=thunder-packs passthrough=yes
add action=mark-connection chain=postrouting comment="(TC 3.1.x)=========\
    ==========================================================================\
    ==================================" content="X-Cache: HIT from proxy.routero-os.com" \
    disabled=no new-connection-mark=proxy-hits passthrough=yes src-address=192.168.10.2\
    protocol=tcp 
add action=mark-packet chain=postrouting connection-mark=proxy-hits disabled=\
    no new-packet-mark=proxy-squid passthrough=yes
/queue tree
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=0 \
    max-limit=4M name="T-cache_hits" packet-mark=proxy-squid parent=\
    global-out priority=4 queue=default
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=0 \
    max-limit=4M name=ThunderCache packet-mark=thunder-packs parent=\
    global-out priority=4 queue=default

4.- Entramos por el navegador web para ver la interface gráfica ThundeReport.
http://192.168.10.2/thunder/

Si nos sale como en la imagen quiere decir que la instalación fue un exito.

Para Instalar el ThunderCache 3.1.2 en Ubuntu Server se tiene que ingresar como root
Para eso activamos el usuario root

Código [Seleccionar]


sudo passwd root

Reiniciamos e ingresamos como root y se procede a ejecutar el script de instalación.

joemg6 · Octubre 29, 2012, 11:49:38 AM

Unos videos del proceso de instalación de ThunderCache 3.1.2 - Squid 3.x

32 bits

64 bits

dgonzaleznet · Octubre 29, 2012, 01:28:50 PM

Gracias Joemg voy a probar esta vez la versión de 64 bits a ver que tal me va, estaré comentando

ninohwifi · Octubre 29, 2012, 02:16:52 PM

esto de squid 3 es para instalaciones limpias verdad ??

JVProducciones · Octubre 29, 2012, 03:29:01 PM

Maestro joemg... en realidad eres un capo.... estoy muy agradecido a tu persona por el excelente trabajo q realizas... Saludos y bendiciones..... :-*

leandro1979 · Octubre 29, 2012, 03:35:58 PM

Buenas Tardes
Squid 3.1.x ya trae soporte nativo para tproxy puedes ayudarnos con la redireccion del squid.conf
o cual seria los cambios en thunder para poder utilizar este modo

saludos
leandro

joemg6 · Octubre 29, 2012, 04:55:17 PM

Cita de: ninohwifi en Octubre 29, 2012, 02:16:52 PM
esto de squid 3 es para instalaciones limpias verdad ??

Claro son para instalaciones limpias.

Cita de: leandro1979 en Octubre 29, 2012, 03:35:58 PM
Buenas Tardes
Squid 3.1.x ya trae soporte nativo para tproxy puedes ayudarnos con la redireccion del squid.conf
o cual seria los cambios en thunder para poder utilizar este modo

saludos
leandro

Claro, por eso mismo el avance con esta versión, para poder configurar con sus nuevas directivas, ya se estará abriendo el tema TProxy.

JVProducciones · Octubre 29, 2012, 06:25:30 PM

acabo de instalarlo en ubuntu server 12.04.1 32bits y no arrancó el thunder... solo el squid3, hacia falta la libreria "libmysqlclient.so.16" y lo descargue de aquí www.joemg.host56.com/lib y un restard thunder y ya salio activo..... sigo probando..... gracias amigo joemg

Charlie Brown · Octubre 29, 2012, 07:14:03 PM

Deseando que este se convierta en el mejor foro por sus aportes desinteresados . gracias ingeniero Joemg muchos buenos augurios .

dgonzaleznet · Octubre 30, 2012, 01:53:21 AM

Hice la instalación tal cual está en el manual y monté otro hdd para el cache y funciona correctamente pero no se si solo sea yo y ya probe con 2 pcs diferentes pero parece que solo me entrega uno o dos minutos de un video a velocidad del cache configurado en el queue tree pero luego de eso empieza a consumir bw, ya tengo puesta tambien la pcq que controla el thunder, tambien probé quitando eso y es lo mismo el primer minuto de video sopla la conexión pero luego se queda cargando lo normal, gracias

javierorrala · Octubre 30, 2012, 08:43:04 AM

Saludos, yo acabo de hacer la instalación limpia pero no me guarda archivo todos en el report salen con 0 de tamaño y no los guarda en las carpetas tampoco hay archivos, no esta con error y salen activos tanto thunder como squid, lo unico que le cambio fue el ip por 192.168.5.2 nada mas, le pasa esto a alguien mas?

parece hay un error en esta linea tambien :
add action=mark-connection chain=postrouting comment="(TC 3.1.x)=========\
==========================================================================\
==================================" content="X-Cache: HIT from proxy.routero-os.com" \
disabled=no new-connection-mark=proxy-hits passthrough=yes src-address=\
protocol=tcp 192.168.10.2

supongo es:
add action=mark-connection chain=postrouting comment="(TC 3.1.x)=========\
==========================================================================\
==================================" content="X-Cache: HIT from proxy.routero-os.com" \
disabled=no new-connection-mark=proxy-hits passthrough=yes src-address=192.168.10.2\
protocol=tcp

joemg6 · Octubre 30, 2012, 09:30:03 AM

Cita de: dgonzaleznet en Octubre 30, 2012, 01:53:21 AM
Hice la instalación tal cual está en el manual y monté otro hdd para el cache y funciona correctamente pero no se si solo sea yo y ya probe con 2 pcs diferentes pero parece que solo me entrega uno o dos minutos de un video a velocidad del cache configurado en el queue tree pero luego de eso empieza a consumir bw, ya tengo puesta tambien la pcq que controla el thunder, tambien probé quitando eso y es lo mismo el primer minuto de video sopla la conexión pero luego se queda cargando lo normal, gracias

Solo te esta entregando HIT de la primera parte del video?

joemg6 · Octubre 30, 2012, 09:30:15 AM

Cita de: javierorrala en Octubre 30, 2012, 08:43:04 AM
Saludos, yo acabo de hacer la instalación limpia pero no me guarda archivo todos en el report salen con 0 de tamaño y no los guarda en las carpetas tampoco hay archivos, no esta con error y salen activos tanto thunder como squid, lo unico que le cambio fue el ip por 192.168.5.2 nada mas, le pasa esto a alguien mas?

Al cambiar de Ip también cambiaste el IP de la redirección en el "/etc/squid3/squid.conf" o también desde el Thundereport.

Código [Seleccionar]


#----------------------------------------------------------------------
#Redireccionamiento Thunder - REGEx
#----------------------------------------------------------------------
acl thunder_lst url_regex -i "/etc/thunder/thunder.lst"
cache deny thunder_lst
cache_peer 192.168.10.2 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 192.168.10.2 allow thunder_lst
cache_peer_access 192.168.10.2 deny all
#----------------------------------------------------------------------

También tienes que cambiar los IPs de las reglas del Mikrotik, sobre las regla del mangle (TC 3.1.x) efectivamente había un error ya fue corregido buena obsevación.

dgonzaleznet · Octubre 30, 2012, 10:13:24 AM

Cita de: joemg6 en Octubre 30, 2012, 09:30:03 AM
Cita de: dgonzaleznet en Octubre 30, 2012, 01:53:21 AM
Hice la instalación tal cual está en el manual y monté otro hdd para el cache y funciona correctamente pero no se si solo sea yo y ya probe con 2 pcs diferentes pero parece que solo me entrega uno o dos minutos de un video a velocidad del cache configurado en el queue tree pero luego de eso empieza a consumir bw, ya tengo puesta tambien la pcq que controla el thunder, tambien probé quitando eso y es lo mismo el primer minuto de video sopla la conexión pero luego se queda cargando lo normal, gracias
Solo te esta entregando HIT de la primera parte del video?

Si Joemg solo los primeros 55 segundos de cada video aproximadamente estaba revisando los Headers de los videos y claro pertenece al youtube_partes y solo la primera parte me sale HIT las otras salen con MISS

luistec · Octubre 30, 2012, 02:56:15 PM

Estoy probando esta instalacion y sin problemas hasta el momento, todo ok.

dgonzaleznet · Octubre 30, 2012, 05:26:22 PM

Cita de: luistec en Octubre 30, 2012, 02:56:15 PM
Estoy probando esta instalacion y sin problemas hasta el momento, todo ok.

Version de 32 o 64 bits? aplicando el script para agregar disco? note que antes de aplicar el script me cacheaba completo y arrojaba completo el video

cabp68 · Octubre 30, 2012, 06:13:20 PM

PARA LA CONFIIGURACION DE DOS TARJETAS DE RED UNA COMO LAN Y LA OTRA COMO WAN. CUAL RERIA EL PROCEDIMIENTO AMIGOS

cabp68 · Octubre 30, 2012, 08:43:36 PM

amigos quiero la instalación de forma de un gateway una targeta de red lan y la otra wan y por que se tiene que poner el ip 192.168.10.1 si mi red esta en el segmento 192.168.1.1

JVProducciones · Octubre 30, 2012, 08:47:42 PM

también yo lo estoy probando en ubuntu server y va trabajando bien... quise agregar otro disco para el cache del thunder con el script de joemg pero no me funcionó... al final después de investigar en la internet logré montarlo y ahora si trabajando a full... :-*.pero ahora me hago una pregunta.... ¿como haría para q el cache del squid también se monte en ese disco adicional?... ya que el ubuntu lo levanté en un disco ID de 30 gigas y el squid lo llenará en cualquier momento ???

joemg6 · Octubre 30, 2012, 09:24:56 PM

Cita de: cabp68 en Octubre 30, 2012, 08:43:36 PM
amigos quiero la instalación de forma de un gateway una targeta de red lan y la otra wan y por que se tiene que poner el ip 192.168.10.1 si mi red esta en el segmento 192.168.1.1

Sería abrir un tema nuevo con la configuración gateway en este caso se tiene que utilizar iptables para hacer el nateo a las interfaces.
Sobre el ip 192.168.10.1 es el gateway del servidor Thunder en el Mikrotik, estos valores de ip pueden ser modificados si uno lo necesita, se recomienda hacer el cambio después de la instalación porque el script esta para que haga la instalación con el IP 192.168.10.2 esto para automatizar el proceso, si estas utilizando Mikrotik y tienes el segmento de red 192.168.1.1/24 de tus usuarios no habría necesidad de cambiar el IP del servidor ya este tiene que tener su propia interface y es redireccionado para las demás interfaces en NAT.