Cantidad de Conexiones Raptor

[jorge-ca]

Estimados, tengo una consulta.

El raptor hasta cuantas conexiones puede procesar??

Tengo una maquina: Intel(R) Core(TM) i7-4770 CPU @ 3.40GHz - 8 cores (64 bits) / 15.38 GiB RAM.

No cuantos usuarios, sino el número de conexiones.

Slds;

[firecold]

Estimados, tengo una consulta.

El raptor hasta cuantas conexiones puede procesar??

Tengo una maquina: Intel(R) Core(TM) i7-4770 CPU @ 3.40GHz - 8 cores (64 bits) / 15.38 GiB RAM.

No cuantos usuarios, sino el número de conexiones.

Slds;

Con un poquito mas de 250 clientes lo mas que han subido las conexiones es a 3000 y creeme casi no pasa, talvez poque son oficinas y no les permiten entrar a un monton de sitios y los clientes que si navegan y descargan bastante en promedio mantienen a lo mucho unas 100 a 150 conexiones, Saludos

[tuaven]

Con un poquito mas de 250 clientes lo mas que han subido las conexiones es a 3000 y creeme casi no pasa, talvez poque son oficinas y no les permiten entrar a un monton de sitios y los clientes que si navegan y descargan bastante en promedio mantienen a lo mucho unas 100 a 150 conexiones, Saludos

Hola Amigo pucha entonces mis clientes consumen bastante por que normalmente el raptor en las mañanas estan entre 170 y 250 conecciones por las tardes entre 350 y 600 y apartir de la noche entre 800 a 1200 conexiones y eso que aapenas tendre un aproximado de 25 a 30 usuarios y en el pantallaso que te mando aqui hay conectados 9 o algo estara mal? ya que me trabaja normal.  ???

[firecold]

Hola Amigo pucha entonces mis clientes consumen bastante por que normalmente el raptor en las mañanas estan entre 170 y 250 conecciones por las tardes entre 350 y 600 y apartir de la noche entre 800 a 1200 conexiones y eso que aapenas tendre un aproximado de 25 a 30 usuarios y en el pantallaso que te mando aqui hay conectados 9 o algo estara mal? ya que me trabaja normal.  ???

Como te digo en mi caso, la mayor parte de mis clientes son oficinas y les limitan youtube, facebook, twitter y un monton de paginas para no distraerlos, aunque te digo mis clientes que no tienes limitaciones se pasan de lanzas, pero igual para eso, ajajaja, Saludos

[jorge-ca]

No se que le puede estar pasando entonces a mi raptor porque las conexiones se suben a full después de unos 10 minutos de funcionar:

y suben y suben y mi Mikrotik se pone full inestable
Conexiones: 6643 e incrementando.......
Usuarios: 15

Si voy a Utilitarios -- "No d conexiones por usuarios"  Aparte de mis IP's locales de mis usuarios salen Ips públicas a full.

Con todo eso, tengo que parar el Redireccionamiento Al Caché.

Alguna idea de que puede estar pasando???

[firecold]

No se que le puede estar pasando entonces a mi raptor porque las conexiones se suben a full después de unos 10 minutos de funcionar:

y suben y suben y mi Mikrotik se pone full inestable
Conexiones: 6643 e incrementando.......
Usuarios: 15

Si voy a Utilitarios -- "No d conexiones por usuarios"  Aparte de mis IP's locales de mis usuarios salen Ips públicas a full.

Con todo eso, tengo que parar el Redireccionamiento Al Caché.

Alguna idea de que puede estar pasando???

Amigo no has revisado si alguien te esta haciendo algun ataque, ya que no es normal que las conexiones suban tanto, yo te recomendaria que cambies tu configuracion solo permitiendo las ips que tienes habilitadas y las demas las deniegues, para mitigar un poco el problemas, Saludos

[Sato]

Saludos a todos, jorge-ca lo que te comenta firecold tiene mucha logica y tu problema esta en los ip filtros de tu rb
aqui tienes unos filtros que tengo en mi rb, los 3 primeros los uso en un rb balanceador y los 2 siguientes en el rb administrador

Código (mk) [Seleccionar] Expandir

/ip firewall filter
add action=accept chain=input comment="default configuration" disabled=no protocol=icmp
add action=accept chain=input comment="default configuration" connection-state=established disabled=no
add action=accept chain=input comment="default configuration" connection-state=related disabled=no

add action=drop chain=forward comment="Bloqueo puerto 21,22,23 " disabled=no dst-port=21,22,23 in-interface=WAN protocol=tcp
add action=drop chain=forward comment="Bloqueo Externo Raptor" disabled=no dst-port=3128,8080 in-interface=WAN protocol=tcp

espero te puedan resolver el problema.

MODIFICADO:Por Firecold

[firecold]

Saludos a todos, jorge-ca lo que te comenta firecold tiene mucha logica y tu problema esta en los ip filtros de tu rb
aqui tienes unos filtros que tengo en mi rb, los 3 primeros los uso en un rb balanceador y los 2 siguientes en el rb administrador

Código (mk) [Seleccionar] Expandir

/ip firewall filter
add action=accept chain=input comment="default configuration" disabled=no protocol=icmp
add action=accept chain=input comment="default configuration" connection-state=established disabled=no
add action=accept chain=input comment="default configuration" connection-state=related disabled=no

add action=drop chain=forward comment="Bloqueo puerto 21,22,23 " disabled=no dst-port=21,22,23 in-interface=WAN protocol=tcp
add action=drop chain=forward comment="Bloqueo Externo Raptor" disabled=no dst-port=3128,8080 in-interface=WAN protocol=tcp

espero te puedan resolver el problema.

MODIFICADO:Por Firecold

Gracias amigo Sato, me podrias explicar que hace esto si no fuera mucha molestia, Saludos

[jorge-ca]

Gracias... ya lo voy a probar.

[Sato]

Saludos, firecold explicarte como tal no puedo ya que esas reglas me las sedio un amigo, al cual le comente que mi rb balanceador hacia muchas conecciones de ip publicas, y el me dijo que no tenia un filtro de conecciones, me dio las tres primeras reglas y el problema resuelto, siento mucho no averte dado un respuesta explicativa de las reglas, los que dominan mikrotik saben para que se ejecutan y los resultados.

[jorge-ca]

Bueno antes de poner las reglas que expuso SATO cambie las reglas de mangle que tenía en el mikrotik con las nuevas:
Cabe recalcar que tengo Mik V 5.25

Código (mk) [Seleccionar] Expandir

add action=mark-routing chain=prerouting comment=\
    "Raptor - Mangle ====================>" dst-port=80 in-interface=LAN \
    new-routing-mark=raptor_route passthrough=no protocol=tcp
add action=mark-connection chain=forward comment="== RAPTORCACHE ==" content=\
    "X-Cache: HIT from Raptor" new-connection-mark=raptor-connection
add action=mark-packet chain=forward connection-mark=raptor-connection \
    new-packet-mark=raptor-packs passthrough=no
add action=mark-connection chain=forward comment="==SQUID - TOS 12==" dscp=12 \
    new-connection-mark=squid-connection
add action=mark-packet chain=forward connection-mark=squid-connection \
    new-packet-mark=squid-packs

Con esto las conexiones se mantienen en 280 a 300 y en número de conexiones sólo me aparecen mis IPs privadas.
Aparentemente se estabilizó, voy a seguir monitoreando..

Gracias...

[luistec]

Gracias amigo Sato, me podrias explicar que hace esto si no fuera mucha molestia, Saludos

Las reglas de Firewall de Mikrotik son pareciadas a la de IPtables.
En la primera línea está aceptando a las conecciones que están entrando por el protocolo ICMP(ping), en la segunda y tercera regla esta aceptando a las conecciones que segun su estado de conección (NEW, ESTABLISHED, RELATED, INVALID)
http://www.iptables.info/en/connection-state.html
En la cuarta regla bloquea el paso a los puertos 21, 22, 23 provenientes del puerto WAN(internet)
En la quinta regla igual que la cuarta pero en este caso a los puertos 3128, 8080.
Estas dos ultimas reglas son como medida de protección de ataques que se puedan producir desde internet por esos puertos.

Saludos.

[firecold]

Las reglas de Firewall de Mikrotik son pareciadas a la de IPtables.
En la primera línea está aceptando a las conecciones que están entrando por el protocolo ICMP(ping), en la segunda y tercera regla esta aceptando a las conecciones que segun su estado de conección (NEW, ESTABLISHED, RELATED, INVALID)
http://www.iptables.info/en/connection-state.html
En la cuarta regla bloquea el paso a los puertos 21, 22, 23 provenientes del puerto WAN(internet)
En la quinta regla igual que la cuarta pero en este caso a los puertos 3128, 8080.
Estas dos ultimas reglas son como medida de protección de ataques que se puedan producir desde internet por esos puertos.

Saludos.

Fijate mi amigo que me habia dado cuenta de lo que comentas, pero no pense que fuera igual que iptables, creo que ahora me la pusistes mucho mas facil, gracias por explicarme, Saludos

[Sato]

Saludos jorge-ca

Bueno antes de poner las reglas que expuso SATO cambie las reglas de mangle que tenía en el mikrotik con las nuevas: Cabe recalcar que tengo Mik V 5.25

Código [Seleccionar] Expandir


add action=mark-routing chain=prerouting comment="Raptor - Mangle ====================>" dst-port=80 in-interface=LAN new-routing-mark=raptor_route passthrough=no protocol=tcp
add action=mark-connection chain=forward comment="== RAPTORCACHE ==" content="X-Cache: HIT from Raptor" new-connection-mark=raptor-connection
add action=mark-packet chain=forward connection-mark=raptor-connection new-packet-mark=raptor-packs passthrough=no
add action=mark-connection chain=forward comment="==SQUID - TOS 12==" dscp=12 new-connection-mark=squid-connection
add action=mark-packet chain=forward connection-mark=squid-connection new-packet-mark=squid-packs

Con esto las conexiones se mantienen en 280 a 300 y en número de conexiones sólo me aparecen mis IPs privadas.
Aparentemente se estabilizó, voy a seguir monitoreando..

Gracias...


me alegra que encontraras una solucion, y cuales reglas estabas usando, uso la v5.26 con las reglas de mangle en un rb750gl y el raptor se rie.

[Sato]

Saludos luistec

Las reglas de Firewall de Mikrotik son pareciadas a la de IPtables.
En la primera línea está aceptando a las conecciones que están entrando por el protocolo ICMP(ping), en la segunda y tercera regla esta aceptando a las conecciones que segun su estado de conección (NEW, ESTABLISHED, RELATED, INVALID)
http://www.iptables.info/en/connection-state.html
En la cuarta regla bloquea el paso a los puertos 21, 22, 23 provenientes del puerto WAN(internet)
En la quinta regla igual que la cuarta pero en este caso a los puertos 3128, 8080.
Estas dos ultimas reglas son como medida de protección de ataques que se puedan producir desde internet por esos puertos.

Saludos.

gracias por la explicacion de las reglas.

[firecold]

Saludos jorge-ca

Bueno antes de poner las reglas que expuso SATO cambie las reglas de mangle que tenía en el mikrotik con las nuevas: Cabe recalcar que tengo Mik V 5.25

Código [Seleccionar] Expandir


add action=mark-routing chain=prerouting comment="Raptor - Mangle ====================>" dst-port=80 in-interface=LAN new-routing-mark=raptor_route passthrough=no protocol=tcp
add action=mark-connection chain=forward comment="== RAPTORCACHE ==" content="X-Cache: HIT from Raptor" new-connection-mark=raptor-connection
add action=mark-packet chain=forward connection-mark=raptor-connection new-packet-mark=raptor-packs passthrough=no
add action=mark-connection chain=forward comment="==SQUID - TOS 12==" dscp=12 new-connection-mark=squid-connection
add action=mark-packet chain=forward connection-mark=squid-connection new-packet-mark=squid-packs

Con esto las conexiones se mantienen en 280 a 300 y en número de conexiones sólo me aparecen mis IPs privadas.
Aparentemente se estabilizó, voy a seguir monitoreando..

Gracias...


me alegra que encontraras una solucion, y cuales reglas estabas usando, uso la v5.26 con las reglas de mangle en un rb750gl y el raptor se rie.

Vio que estaba recibiendo un excedente de conexiones y mas ahora con Raptor las conexiones fueron optimizadas, es muy dificil que Raptor se atosigue de conexiones, lo bueno que todos aprendimos algo, Saludos

[ServiNet]

Que tal firecold, disculpa quiero comentarte que acabo de instalar el día de hoy el raptorcache y lo tengo funcionando en paralelo, me gustaría mucho que me asesoraras en la configuración adecuada del squid3en las siguientes 2 líneas marcadas en rojo.

cache_mem 1024 MB
cache_dir aufs /raptorcache/squid3/cache1 100000  16 256

Me gustaría saber si son correctos tomando en cuanta las características de mi servidor que son:

Debian GNU/Linux 7.8 (wheezy) / 17-04-2015 08:06 pm
Intel(R) Xeon(R) CPU L5520 @ 2.27GHz - 16 cores (64 bits) / 70.93 GiB RAM

[firecold]

Que tal firecold, disculpa quiero comentarte que acabo de instalar el día de hoy el raptorcache y lo tengo funcionando en paralelo, me gustaría mucho que me asesoraras en la configuración adecuada del squid3en las siguientes 2 líneas marcadas en rojo.

cache_mem 1024 MB
cache_dir aufs /raptorcache/squid3/cache1 100000  16 256

Me gustaría saber si son correctos tomando en cuanta las características de mi servidor que son:

Debian GNU/Linux 7.8 (wheezy) / 17-04-2015 08:06 pm
Intel(R) Xeon(R) CPU L5520 @ 2.27GHz - 16 cores (64 bits) / 70.93 GiB RAM

Amigo lo que no me comenta es cuanto tiene de Disco Duro para el Sistema, ya que en el se almacenara la cache de squid, pero lo recomiendo para mientras aumentar estos:

Código (bash) [Seleccionar] Expandir

maximum_object_size_in_memory 200 MB
minimum_object_size 3 KB
maximum_object_size 10 MB

Y sus refresh_patterns dejarlos de este modo, para optimizar lo cacheado:

Código (bash) [Seleccionar] Expandir

refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 14400 80% 43200 reload-into-ims ignore-no-store ignore-private ignore-auth refresh-ims
refresh_pattern -i .(swf|htm|html|shtm|shtml|nub)$ 14400 80% 43200 reload-into-ims ignore-no-store ignore-private ignore-auth refresh-ims
refresh_pattern -i .(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 14400 80% 43200 ignore-no-store ignore-private ignore-auth refresh-ims
refresh_pattern -i .(avi|iso|wav|mid|mp?|mpe?g?|mpeg|mov|3gp|wm?|flv|x-flv|axd)$ 14400 80% 43200 reload-into-ims ignore-no-store ignore-private ignore-auth refresh-ims
refresh_pattern -i .(qtm?|viv|au|ram?|snd|sit|hqx|arj|lzh|lha|txt|rtf|tex|latex|class|js|ico)$ 14400 80% 43200 reload-into-ims ignore-no-store ignore-private ignore-auth refresh-ims
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320

Y en TIMEOUTS de squid agregar estas lineas:

Código (bash) [Seleccionar] Expandir

# Limite de memoria Squid ('cache.log' y 'syslog')
high_memory_warning 2048 MB
# Cantidad de RAM para almacenamiento Squid
memory_pools_limit 1024 MB
memory_pools off

Lo que si quiero dejar claro es que su cache_dir como esta, esta bien, ya que hacer muy grande el cache de squid no es muy recomendable, ya que 100GB de cache es bastante y pienso que con esto es suficiente, aunque el cache_mem es recomendable aumentarlo como maximo el 25% de tu memoria ram total y te recomiendo que leas esto:

CPU

Squid es un proceso que se ejecuta en un solo hilo y no hace uso intensivo de CPU, en las únicas ocasiones en las que hace uso intensivo de CPU es cuando el proceso es inicializado, es en este momento cuando realiza diferentes cálculos para verificar el contenido del cache. Por lo anterior es posible instalar squid en sistemas con un solo CPU de velocidades modestas.

Squid no obtiene mucho beneficio de sistemas SMP ya que no se ejecuta en múltiples hilos Además del CPU que usa el proceso principal de squid, tome en consideración aquellos programas auxiliares que usa squid para operaciones de autenticación de usuarios y grupos (external helpers) y/o programas externos para filtrado de URLs (url redirectors). Estos programas requieren de recursos de CPU de forma independiente.

Es recomendable que invierta más en la optimización de en recursos como memoria RAM y disco duro ya que estos recursos suelen ser los cuellos de botella que evitan que squid ofrezca un servicio de proxy eficiente y óptimo.

Memoria

Cuando dimensione las capacidades de memoria RAM que usara el sistema que hará de proxy con squid, no solo considere la memoria que usa el proceso principal de squid, también considere el uso de memoria de otros programas que se ejecuten aparte del sistema operativo, como pueden ser servicios DNS, Web, bases de datos, etc. A continuación mencionaremos las partes en las que squid hace uso de memoria RAM.

Una de las principales funcionalidades del proxy squid es el uso de cache en memoria RAM, squid utiliza la memoria RAM para almacenar una tabla o indice con los objetos más usados, estos objetos son conocidos como objetos calientes o en transito, esto permite acelerar el tiempo de respuesta a las peticiones de los clientes ya que siempre es más rápido acceder a la memoria RAM que a disco duro como en el caso de cache a disco (más para objetos recurrentes), el uso predeterminado de cache en memoria RAM es de 8MB, para entornos con grandes volúmenes de peticiones se recomienda incrementar el valor y agregar más memoria RAM para acelerar el servicio.

Además de la memoria usada para el cache de objetos en memoria RAM, squid también almacena en memoria los resultados de consultas DNS, las ACLs y reglas de acceso. Squid además usará memoria RAM para los programas auxiliares o redirectores de URL, por ejemplo si usa programas externos para autenticar usuarios y grupos en bases de datos externas entonces también deberá de sumar el uso de memoria de estos procesos a la cuenta, y si usa filtros de URL como squidGuard también hará uso de memoria independientemente.

Disco duro y sistemas de archivos
Cuando evalué los requerimientos de disco duro para el proxy deberá de tomar en cuenta que entre más rápido sea el acceso a los objetos en el cache de disco, más rápidas serán las respuestas y mejor el servicio. El acceso al cache de disco debe ser rápido, y por lo tanto debemos almacenarlos en discos duros rápidos, veamos la información que requerimos saber en cuanto a las especificaciones técnicas que los discos duros deben cumplir para ofrecer un rendimiento eficiente en un servidor proxy cache. La velocidad de rotación de los discos duros SATA actuales son de 7200 RPM y en discos SAS de 15000 RPM, siempre se recomiendan los discos duros más rápidos, sin embargo los discos SATA son más accesibles en precio. Más importante que la velocidad de rotación es el tiempo promedio que toman las cabezas del disco en moverse de un track aleatorio a otro, esta medida es conocida como random seek time o random read time, y se mide en segundos. Entre más bajo sea el valor, mejor será el rendimiento del acceso al cache de disco.

Squid esta especialmente diseñado para ofrecer un mejor rendimiento cuando tiene múltiples caches esparcidos en diferentes sistemas de archivos, en diferentes discos duros ya que puede balancear el acceso al cache entre los diferentes discos. No se recomienda que use squid en sistemas con RAID con mirroring como RAID1 o RAID5. squid balanceará las lecturas y escrituras en los diferentes discos por lo que mejorará el rendimiento del cache.

Espero que lo tomes es cuenta, en especial lo de los Discos Duros, ya que es importante que ellos te respondan rapido, para que no se formen cuellos de botella, ya que estos se forman si el HDD no responde rapido, o no hay suficiente memoria Ram o Procesador, pero es su caso creo que esto no sera problema, Saludos

[ServiNet]

Que tal firecold.

Muchas gracias por las recomendaciones que me hiciste, en este momento las estoy aplicando a ver que tal funciona todo, y aprovechándote de tu gran ayuda también te quiero preguntar si es o no recomendable agregar las líneas del TOS que son las siguientes:

# ---------------------------------------------------------------------
# Qos_Flows
# ---------------------------------------------------------------------
qos_flows local-hit=0x30
qos_flows parent-hit=0x32
qos_flows disable-preserve-miss

Y también te comento que en la parte de cache_mem lo puse en 16384 MB, no se si este bien así o debo ponerlo en otra cantidad.

Respecto a mis discos duros tengo 2, 1 de 320 para el sistema y 1 de 4 TB para el raptorCache.

Saludos.

[firecold]

Que tal firecold.

Muchas gracias por las recomendaciones que me hiciste, en este momento las estoy aplicando a ver que tal funciona todo, y aprovechándote de tu gran ayuda también te quiero preguntar si es o no recomendable agregar las líneas del TOS que son las siguientes:

# ---------------------------------------------------------------------
# Qos_Flows
# ---------------------------------------------------------------------
qos_flows local-hit=0x30
qos_flows parent-hit=0x32
qos_flows disable-preserve-miss

Y también te comento que en la parte de cache_mem lo puse en 16384 MB, no se si este bien así o debo ponerlo en otra cantidad.

Respecto a mis discos duros tengo 2, 1 de 320 para el sistema y 1 de 4 TB para el raptorCache.

Saludos.

Amigo si usas Raptor en Modo Paralelo con MK, si es necesario, ya que asi identificas el cache que viene de squid y el que viene de raptor, y tu cache_mem esta bien asi, media vez no pase del 25% de tu ram total, Saludos