Cita de: javierorrala en Octubre 30, 2012, 08:43:04 AM
Saludos, yo acabo de hacer la instalación limpia pero no me guarda archivo todos en el report salen con 0 de tamaño y no los guarda en las carpetas tampoco hay archivos, no esta con error y salen activos tanto thunder como squid, lo unico que le cambio fue el ip por 192.168.5.2 nada mas, le pasa esto a alguien mas?

Al cambiar de Ip también cambiaste el IP de la redirección en el "/etc/squid3/squid.conf" o también desde el Thundereport.

#----------------------------------------------------------------------
#Redireccionamiento Thunder - REGEx
#----------------------------------------------------------------------
acl thunder_lst url_regex -i "/etc/thunder/thunder.lst"
cache deny thunder_lst
cache_peer 192.168.10.2 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 192.168.10.2 allow thunder_lst
cache_peer_access 192.168.10.2 deny all
#----------------------------------------------------------------------
También tienes que cambiar los IPs de las reglas del Mikrotik, sobre las regla del mangle (TC 3.1.x) efectivamente había un error ya fue corregido buena obsevación.

Cita de: dgonzaleznet en Octubre 30, 2012, 01:53:21 AM
Hice la instalación tal cual está en el manual y monté otro hdd para el cache y funciona correctamente pero no se si solo sea yo y ya probe con 2 pcs diferentes pero parece que solo me entrega uno o dos minutos de un video a velocidad del cache configurado en el queue tree pero luego de eso empieza a consumir bw, ya tengo puesta tambien la pcq que controla el thunder, tambien probé quitando eso y es lo mismo el primer minuto de video sopla la conexión pero luego se queda cargando lo normal, gracias

Solo te esta entregando HIT de la primera parte del video?

Cita de: ingjaab en Octubre 30, 2012, 02:28:31 AM

Cita de: joemg6 en Octubre 29, 2012, 05:18:57 PM

Cita de: leandro1979 en Octubre 29, 2012, 03:32:02 PM
como estas Buenas tardes
excelente el foro nuevo
una consulta yo utilice el script agregaba mas discos al thunder
después me di cuenta que lo que hacia era crear un espejo de discos
existe alguna forma de separar esos discos y dejar solo uno sin perder la información que en realidad me a costado
tenerla

saludos
leandro

Si usaste el script y tenias información en la carpeta /thunder/ en el disco de sistema, y ahora quieres poner esa información en el disco 2 del cache, lo que puedes hacer es retirar el disco duro 2, arrancar solo con el disco de sistema ahí estara la carpeta /thunder/ le cambias de nombre a la carpeta thunder y creas una nueva carpeta thunder vacio, luego devuelves el disco 2 y copias el contenido de la carpeta thunder que renombraste a la carpeta /thunder/ que esta montada en el disco 2.

Hola jomelg puede hacer un tuto para que un mortal lo puede entender saludo y te agradezco el enorme esfuerzo  para  para sacar tu proyecto

El ejemplo que puse es en el caso de haber montado un segundo disco duro para el caché (disco2) y teniendo información caché en el primer disco (disco1) ya que el script montará el disco2 en la carpeta /thunder/ y el contenido del disco1 no aparecerá, en el caso de querer recuperar la información del disco1 y pasarla al disco2 es proceso es sencillo tal vez no me deje entender bien,
1.- Quitamos el disco2 y arrancamos solo con el disco1
2.- Si nos fijamos en la carpeta /thunder/ ahí estará el contenido antiguo, cambiamos el nombre a la carpeta /thunder/ por ej. a /thunder2/ y creamos una carpeta vacia con el nombre /thunder/
3.- Devolvemos el disco2 y arrancamos el sistema.
4.- Si nos fijamos aparecerá la carpeta /thunder/ y /thunder2/, copiamos el contenido de la carpeta /thunder2/ al /thunder/

Luego se estará posteando el modo para agregar varios discos duros, porque en este modo solo permite agregar un disco duro independiente para caché.

Cita de: dgonzaleznet en Octubre 29, 2012, 07:53:50 PM
Joemg como se haría un plugin para los jueguitos del facebook?

Hay algunos juegos que squid hace caché, pero para verlo de mejor sería que abras un tema con respecto a plugins para los juegos de facebook y ahí lo vemos con más detalle, ahh también mencionar que juegos por que hay varios de acuerdo a eso ponemos las capturas.

Cita de: dgonzaleznet en Octubre 29, 2012, 07:48:17 PM
Joemg agregamos este PCQ y solo modificamos el Queue Tree de Thundercache o también se hace en el queue tree del t-cache hits?

Cambiamos el queue type en ambas reglas Thundercache y t-cache_hits, he adjuntado la imagen de t-cache-hits.

Cita de: leandro1979 en Octubre 29, 2012, 03:32:02 PM
como estas Buenas tardes
excelente el foro nuevo
una consulta yo utilice el script agregaba mas discos al thunder
después me di cuenta que lo que hacia era crear un espejo de discos
existe alguna forma de separar esos discos y dejar solo uno sin perder la información que en realidad me a costado
tenerla

saludos
leandro

Si usaste el script y tenias información en la carpeta /thunder/ en el disco de sistema, y ahora quieres poner esa información en el disco 2 del cache, lo que puedes hacer es retirar el disco duro 2, arrancar solo con el disco de sistema ahí estara la carpeta /thunder/ le cambias de nombre a la carpeta thunder y creas una nueva carpeta thunder vacio, luego devuelves el disco 2 y copias el contenido de la carpeta thunder que renombraste a la carpeta /thunder/ que esta montada en el disco 2.

Cita de: ninohwifi en Octubre 29, 2012, 02:16:52 PM
esto de squid 3 es para instalaciones limpias verdad ??

Claro son para instalaciones limpias.

Cita de: leandro1979 en Octubre 29, 2012, 03:35:58 PM
Buenas Tardes
Squid 3.1.x ya trae soporte nativo para tproxy puedes ayudarnos con la redireccion del squid.conf
o cual seria los cambios en thunder para poder utilizar este modo

saludos
leandro

Claro, por eso mismo el avance con esta versión, para poder configurar con sus nuevas directivas, ya se estará abriendo el tema TProxy.

Unos videos del proceso de instalación de ThunderCache 3.1.2 - Squid 3.x

32 bits


64 bits

Código fuente del juego Atlantica

pandonetworks.com.cpp

#include <iostream>
#include <cstring>
#include <vector>
#include "../utils.cpp"

// use this line to compile
// g++ -I. -fPIC -shared -g -o pandonetworks.com.so pandonetworks.com.cpp
// Regex
// http.*\.pandonetworks\.com.*(\.nzp|\.lst)

string get_filename(string url) {
vector<string> resultado;
if (url.find("?") != string::npos) {
stringexplode(url, "?", &resultado);
stringexplode(resultado.at(resultado.size()-2), "/", &resultado);
return resultado.at(resultado.size()-1);          
} else {
stringexplode(url, "/", &resultado);
return resultado.at(resultado.size()-1);
}
}

extern "C" resposta getmatch(const string url) {
   resposta r;

if ( (url.find(".pandonetworks.com/IgnitedAtlantica/") != string::npos)
) {

   r.file = get_filename(url);
if (!r.file.empty()) {
r.match = true;
r.domain = "atlantica";
} else {
r.match = false;
}
} else {
r.match = false;
}
return r;
}


Si hay más juegos que utilizan el servidor pandonetworks.com, se puede modificar para adjuntarlos viendo como ejemplo el plugin de softnix-rakion,wolfteam,gunbound.

Ahí unos videos en el que se muestra el proceso de instalación del ThunderCache 3.1.2.

Instalación 32 bits


Instalación 64 bits

Agregar Interface eth en Cacti
Despues de la instalación la interface eth no figura, se tiene que configurar manualmente para que aparesca y nos genere las gráficas de la interface de red para esto se tiene que seguir los siguientes pasos:

1.-Ingresar a la Consola en la parte superior izquierda, luego "Devices=>Thundercache"


2.-Luego en la parte inferior adiciomar "SNMP - Interface Statistics" luego grabar (save)


3.-Luego crearemos la nueva entrada para las graficas de eth, para eso nos vamos a "New Graphs"


4.- Luego marcamos como esta en la imagen y creamos.


5.- Esperamos aprox. 5 mins en la opción superior izquierda "graphs" para ver las graficas de la interface.

Si en nuestro servidor tenemos montado mas de un disco duro también podemos agregarlo para que se generen graficas para cada disco duro esto nos debe de aparecer en "New Graphs".

En la Instalación del Thunder como algo opcional viene integrado el Servidor de archivos Webshare ya si se quiere compartir archivos con usuarios de la red, este Servidor de archivos esta basado en php con el que se le puede crear usuarios con sus respectivos password, para ingresar a la pagina del administrador se tiene que poner en el navegador de internet
http://192.168.10.2/web/admin/
Nos pedirá usuario y contraseña que es "admin" en ambos, si se quiere cambiar la contraseña del administrador editar el archivo "/var/www/web/wspasswd/.htpasswd"
Al ingresar a las opciones de adminstrador es ahí donde están las opciónes del servidor de archivos donde podemos crear a los usuarios, la carpeta que comparte los archivos se encuentra en "/var/www/web/Documents" (copiar ahí el contenido a compartir con los usuarios) y para ingresar a ver la página de los archivos compartidos ingresar por el navegador web a la dirección
http://192.168.10.2/web/
El usuario y contraseña es "root"

Con el Squid podemos establecer límites al ancho de banda mediante una de sus directivas "delay pools". Para esto tenemos que asociarlo con una ACL (Lista de Conrol de accesso), una pequeña referencia a las caracteristicas de configuración.

delay_pools
Esta parámetro se utiliza para definir el numero total de delay pools

delay_class
Este parámetro toma dos argumentos el primero el identificador de la regla y en segundo lugar el tipo (clase) de la regla.
El primer argumento es un número entero para identificar la regla (número de delay pool).
El segundo argumento puede ser 1,2 ó 3 para indicar uno de estos tipos de reglas (número de demora de clase).
Clase 1. Este limita el uso del canal de manera global sin importar cómo lo usan los clientes internamente o cómo esta definida lógicamente la LAN.
Clase 2. Este es un Delay clase 1 con un 256 Delay Pools clase 1 subordinados a este.
Clase 3. Este es un Delay Pool clase 1 con 256 Delay Pools clase 2 subordinados a este.

delay_parameters
Fijará los parametros para un delay pool, los argumentos de este parámetro son parejas de valores velocidad/tamaño, donde velociad es un número entero que indica una velocidad en bytes por segundo (B/s), y tamaño indica el número de bytes de reserva que se transmiten antes de aplicar la velocidad de transferencia, es decir cada pareja especifica el número de bytes de margen que se permiten antes de se haga efectiva la restricción de velocidad.

Veremos un pequeño ejemplo utilizando la directiva delay pools.

acl lan src 192.168.1.0/24              # red lan
acl wireless src 192.168.2.0/24       # red inalambrica

delay_pools 2                               # se especifica el número de delay pools en este caso 2 delay pools

delay_class 1 1                             # el delay pool 1  es de clase 1
delay_class 2 1                             # el delay pool 2  es de clase 1

delay_access 1 allow lan                 # el delay pool 1  para la red lan
delay_access 2 allow wireless           # el delay pool 2  para la red wireless

#512000 bits =  64000 bytes
#256000 bits =  32000 bytes

#Asignamos el limite cada delay pool
#delay_parameters 1 -1/-1 -1/-1      # de este modo de parametro no tiene límite.
delay_parameters 1 64000/64000      # el delay pool 1  con 512 Kb
delay_parameters 2 32000/32000      # el delay pool 2  con 256 Kb


Se puede utilizar el acl por regex para tener un control más dinámico por ej.
acl lista url_regex -i "/etc/squid/lista.lst"

Le damos la bienvenida al Foro AlterServ.com, un lugar de encuentro donde podemos compartir información referente a servidores, redes, tecnología y mucho más, con lo cual aprenderemos y podamos difundir nuestro conocimiento.
Se recomienda leer las reglas del foro para así tener un mejor orden y poder ser de mejor ayuda.

Bienvenidos amigos.

En esta instalación se hace en base al squid 3.x (3.x de acuerdo a como los repositorios de gestor de paquetes se van actualizando a las versiones de squid3), esto para ir actualizando algunas directivas que se han quedado en el 2.7, y también para ir de acuerdo a las ultimas actualizaciones estables del squid.

Para instalar tenemos que seguir los siguientes pasos.

1.- Primero tenemos que instalar Debían, se puede descargar de los siguientes enlaces.

32 bits
http://cdimage.debian.org/debian-cd/6.0.6/i386/iso-cd/debian-6.0.6-i386-netinst.iso

64 bits
http://cdimage.debian.org/debian-cd/6.0.6/amd64/iso-cd/debian-6.0.6-amd64-netinst.iso

Luego procedemos a instalar el Debian como se muestra en el video, se debe de poner el IP 192.168.10.2, ya posteriormente a la instlación del thunder se puede cambiar el IP que uno quiera.



2.- Instalamos el Thundercache en Debian para eso procedemos a ingresar los siguientes comandos por el terminal que ejecutara el script de instalación (se puede hacer tambien esto utilizando putty).

Es importante que durante la instalación del thunder poner la contraseña del Mysql: thunder31
32 bits

wget http://www.joemg.host56.com/tc3x/thunder312-32.sh
chmod 777 thunder312-32.sh
./thunder312-32.sh

64 bits

wget http://www.joemg.host56.com/tc3x/thunder312-64.sh
chmod 777 thunder312-64.sh
./thunder312-64.sh

3.- Redireccionamos y priorizamos el trafico de Thunder en Mikrotik con las siguientes reglas.


/ip firewall filter
add action=accept chain=forward comment="Acepta thunder 3.1.x" disabled=no \
   src-address=192.168.10.0/30
/ip firewall nat
add action=dst-nat chain=dstnat comment="Redirect Thunder 3.1.x" disabled=no \
   dst-port=80 protocol=tcp src-address=!192.168.10.2 to-addresses=\
   192.168.10.2 to-ports=3128
/ip firewall mangle
add action=mark-connection chain=postrouting comment="THUNDER CACHE FULL(TC 3.\
   1.x) =======================================================================\
   ===============================" content="X-Cache: HIT from Thunder" \
   disabled=no new-connection-mark=thunder-connection passthrough=yes \
   protocol=tcp src-address=192.168.10.2
add action=mark-packet chain=postrouting connection-mark=thunder-connection \
   disabled=no new-packet-mark=thunder-packs passthrough=yes
add action=mark-connection chain=postrouting comment="(TC 3.1.x)=========\
   ==========================================================================\
   ==================================" content="X-Cache: HIT from proxy.routero-os.com" \
   disabled=no new-connection-mark=proxy-hits passthrough=yes src-address=192.168.10.2\
   protocol=tcp
add action=mark-packet chain=postrouting connection-mark=proxy-hits disabled=\
   no new-packet-mark=proxy-squid passthrough=yes
/queue tree
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=0 \
   max-limit=4M name="T-cache_hits" packet-mark=proxy-squid parent=\
   global-out priority=4 queue=default
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=0 \
   max-limit=4M name=ThunderCache packet-mark=thunder-packs parent=\
   global-out priority=4 queue=default

4.- Entramos por el navegador web para ver la interface gráfica ThundeReport.
http://192.168.10.2/thunder/

Si nos sale como en la imagen quiere decir que la instalación fue un exito.

Para Instalar el ThunderCache 3.1.2 en Ubuntu Server se tiene que ingresar como root
Para eso activamos el usuario root

sudo passwd root
Reiniciamos e ingresamos como root y se procede a ejecutar el script de instalación.

En el caso de capturar las cabeceras y las Url de los contenidos de antivirus, juegos, etc. estos no se pueden hacer por el navegador web, por lo que podemos hacer es ver el tráfico que pasa por el squid esto ejecutando el comando

tail -f /var/log/squid/access.log

En la imagen identificamos la Url y el contenido de juegos de Softnyx



También lo podemos hacer utilizando un software para que capture esta información, en este ejemplo lo haremos con el programa HTTP Debugger.

Captura de la Url del contenido y las cabeceras del juegos de Softnyx.


Así podemos identificar la url de los contenidos que no podamos ver con la aplicacion del navegador web.


#include <iostream>
#include <cstring>
#include <vector>
#include "../utils.cpp"
// use this line to compile
// g++ -I. -fPIC -shared -g -o softnix.com.so softnix.com.cpp
//regex
// http.*\.softnyx\.com.*\.xfs

string dominiotxt="softnyx";
string get_filename(string url) {
       vector<string> resultado;
       if (url.find("?") != string::npos) {
           stringexplode(url, "?", &resultado);
           stringexplode(resultado.at(resultado.size()-2), "/", &resultado);
           return resultado.at(resultado.size()-4) + "_" + resultado.at(resultado.size()-3) + "_" + resultado.at(resultado.size()-2) + "_" +resultado.at(resultado.size()-1);          
       } else {
           stringexplode(url, "/", &resultado);
           return resultado.at(resultado.size()-4) + "_" + resultado.at(resultado.size()-3) + "_" + resultado.at(resultado.size()-2) + "_" +resultado.at(resultado.size()-1); ;
       }
}

extern "C" resposta getmatch(const string url) {
   resposta r;  
if ( (url.find("/RLS/") != string::npos)
  ) {
dominiotxt="softnyx_rakion";
}
if ( (url.find("/wls/") != string::npos)
  ) {
dominiotxt="softnyx_wolf";
}
if ( (url.find("/GLS/") != string::npos)
  ) {
dominiotxt="softnyx_gunbound";
}
if ( (url.find(".softnyx.com") != string::npos)
  ) {
     
      r.file = get_filename(url);
     if (!r.file.empty()) {
        r.match = true;        
        r.domain = dominiotxt;
     } else {
        r.match = false;
     }
  } else {
     r.match = false;
  }
  return r;
}

Este es un tutorial para poder crear nuestros plugins de las páginas que deseemos que el thunder haga caché, voy a tratar de ser lo más detallado posible para que los que no tienen conocimientos en esto también lo puedan hacer, ya que una gran parte de los contenidos de las páginas solo requiere una edición de los códigos de fuente, solo requerirá que analicen sus headers y url del contenido.

Como ejemplo voy a tomar la página de movistar, se preguntarán por qué, porque vamos a hacer el plugin del servidor speedtest movistar peru (en caso de otros servidores solo modificar la url)

En Primer lugar tenemos que detectar la url del contenido, en este ejemplo utilizaremos la herramienta del Navegador Google Chrome que nos muestra las cabeceras de los contenidos esto lo podemos hacer presionando la tecla F12 (también se pueden utilizar otros modos para obtener las cabeceras, ya sea por utilidad de los navegadores, software o el mismo squid).


Como vemos en la imagen el dominio del servidor es "speedtest.movistar.c om" y la extención es "jpg" (en el caso de otro tipo de contenido se busca la extención por ej. flv,mp4 en algunos casos nos muestra flv?, mp4?).

Para editar plugin descargar el siguiente archivo donde contiene los archivos necesarios para compilar, tambien hay códigos de fuente de ejemplo (ya biene integrado en las nuevas instalaciones revisar en "/etc/thunder/")
http://www.joemg.host56.com/pl/pluginmaker.zip

Luego lo descomprimimos y lo movemos por ej. a la carpeta /etc/thunder/

wget http://www.joemg.host56.com/pl/pluginmaker.zip
unzip pluginmaker.zip
mv pluginmaker /etc/thunder/

Luego ingresamos a la carpeta pluginmaker y dentro de esta carpeta hay una carpeta plugins donde estan los códigos de fuente.

cd /etc/thunder/pluginmaker/plugins/

En este caso abrimos archivo movistar.com.cpp (puede ser con cualquier editor de texto) en este ej. Utilizáremos el editor que viene integrado en el WINSCP


Luego pasamos a compilar el código de fuente con los siguientes comandos (todo esto por terminal también se puede hacer con putty).

g++ -I. -fPIC -shared -g -o movistar.com.pe.so movistar.com.pe.cpp

Luego tenemos que agregar el regex correspondiente en el archivo /etc/thunder/thunder.lst (también lo podemos hacer desde ThundeReport) , en este caso declaramos la URL y las extenciones
http.*\.movistar\.com\.pe .*\.jpg

Luego de esto
- Copiamos el plugin a la carpeta /etc/thunder/plugins/ que es la que contiene todo los plugins del thunder.
- Luego damos permisos al plugin compilado
- Para verificar el funcionamiento del plugin reiniciamos el thunder y el squid
- Y por último verificamos si hace Hit el plugin (podemos ver si figura en el Thundereport)

Una captura de este proceso


En varios casos solo es necesario modificar este código de fuente, ahí paso a detallar las partes a modificar.
__________________________________________________________________________________________

#include <iostream>
#include <cstring>
#include <vector>
#include "../utils.cpp"

// use this line to compile
// g++ -I. -fPIC -shared -g -o movistar.com.pe.so movistar.com.pe.cpp
// regex
// http.*\.movistar\.com\.pe.*\.jpg

string get_filename(string url) {
       vector<string> resultado;
       if (url.find("?") != string::npos) {
           stringexplode(url, "?", &resultado);
           stringexplode(resultado.at(resultado.size()-2), "/", &resultado);
           return resultado.at(resultado.size()-1);          
       } else {
           stringexplode(url, "/", &resultado);
           return resultado.at(resultado.size()-1);
       }
}

extern "C" resposta getmatch(const string url) {
   resposta r;    

   if ( (url.find(".movistar.com.pe/") != string::npos) and (url.find(".jpg") != string::npos)
    {
       
       r.file = get_filename(url);
       if (!r.file.empty()) {
           r.match = true;
           r.domain = "speedtest";
       } else {
           r.match = false;
       }
   } else {
       r.match = false;
   }
   return r;
}
________________________________________________________________________________________

rojo = nombre de dominio
azul = extenciones
verde = nombre del plugin que se mostrara en el ThundeReport

Al editar también cambiar el nombre del código de fuente por el dominio que corresponda.

Hay casos que se necesita cambiar la programación para que haga Hit pero lo más común es el tipo que se detalló en el ejemplo.

Primero veamos una breve información sobre el tipo que trae por defecto el Mikrotik y el PCQ.

El queues type que trae por defecto el Mikrotik es el tipo PFIFO con el nombre de default, veamos un gráfico de como maneja PCQ a las colas de paquetes.


Ahora vemos como es el manejo de las colas con el PCQ


Porqué usar PCQ?, esto debido a que tiene un mejor manejo de las colas, para esto tendremos que adicionar el Type PCQ esto lo haremos en la opción Queues - Queue type


Luego cambiamos el queue type a PCQ de la regla del ThunderCache en el Queues tree


Y también en la regla T-cache_hits


De ese modo estaremos utilizando el tipo PCQ para la priorizacion del Thunder.

Si quieres pasar el contenido caché de un disco a otro tienes que copiar todo el contenido de la carpeta /thunder/ al nuevo disco, luego tienes que hacer un backup del mysql y restaurarlo en el nuevo disco.
Si queremos hacer el  backup de nuestro contenido cache, tiene que copiar el contenido de la carpeta "/thunder/" a otro disco duro, también tenemos que hacer el backup de la base de datos del Mysql esto lo hacemos del siguiente modo:

mysqldump -uroot -p --all-databases > /var/tmp/thunder.`date +%Y%m%d`.sql


Para restaurar el contenido cache solo se restaura la carpeta "/thunder/" al nuevo disco, también se tiene que restaurar la base de datos, esto se hace con el siguiente comando:

mysql -u root -p < /var/tmp/thunder.FECHA.sql