Proyecto DebianCache (Modificacion de RaptorCache)

Publicado por ferccs, Junio 05, 2015, 07:38:43 PM

Tema anterior - Siguiente tema

ferccs

Les presento mi version modificada de Raptorcache
Orientada Especialmente para usar con dos tarjetas de red
Una hacia internet y otra a la red interna
la he llamado DebianCache:





INFORMACION
   

¿Porque una version modificada de raptor sin raptor?



Antes que nada he de Aclarar que Raptor funciona excelentemente bien para lo que fue diseñado, no hay problema con eso, esto lo hice debido a mis necesidades y lo comparto por si le sirve a alguien.


Porque lo modifique:


1) No tengo router ni mikrotik! solo un pc con dos tarjetas de red y un ISP que trabaja asignando Ips aleatoriamente, por tanto no puedo trabajar con ip fija por ejemplo.

2) los principales contenidos que necesitamos realmente cachear, no se pueden cachear ni por Raptor ni Squid por ser paginas cifradas, facebook, twitter, google por ejemplo.

4) Squid por si solo cache todo lo que raptor pueda cachear, Principalmente porque raptor no cuenta con plugins que verdaderamenten hagan lo que no hace squid, cache de contenidos dinamicos... a exepcion de los plugins videos, que a mi punto de vista es solo util para redes muy grandes ya que la probabilidad de que en una red pequeña un cliente vea el mismo video es minima, por eso vemos disco con 100 gb de cache de video y solo 5% ahorro.

5) Como mencione antes, Los plugins de raptor referentes a otras web que no sea de videos son a mi punto de vista innecesarios. Squid hace cache de los mismo sin necesidad de Raptor ni plugins.

6) Raptor solo hace cache de los video de youtube QUE SE VEAN DESDE YOUTUBE.COM, si vemos un video de youtube insertado en otra web no le hara cache, imaginate que cantidad de videos se saltan el cache.

7) El webPanel ofrece informacion suficiente, no hay necesidad de cacti ocupando memoria y espacio, ademas configurarlo no es nada facil y viene un poco mal configurado.

8) Bind es un buen servidor DNS, pero en mi pais suelen tener problemas los dns y ademas los de google pueden tardar algo en respoder, con powerDNS se gana la misma o quizas mas velocidad que bind ademas que el cache no se pierde al reiniciar ni al recargar el proceso por tanto se soluciona el problema.

9) Otro problema muy peculiar en mi pais, es que despues de cierto tiempo se pierde la conexion a internet porque la puerta de enlace que asigna el ISP deja de funcionar, la solucion es Renovar la ip asi que me vi en la necesidad de copiar algunas cosas del Proyecto BrazilFW para solucionar ese detalle.



¿Que se incluye y que se a eliminado de la version de JOEMG?



1) Eliminado Raptor junto con sus bases de datos y diferentes scripts y asociaciones al webpanel
2) Squid.conf optimizado y con con reglas para limitar y bloquear
3) Servidor Bind sustituido por PowerDNS (Cache permanente en disco, no se borra al reiniciar como bind)
4) Scripts para monitorizar los procesos de PowerDNS y Squid y evitar que dejen de funcionar
5) Incluida Herramienta "PingerIP" tomada del addon de Brazilfw "WatchdogIp" y repotenciada para monitorizar la conexion a internet y la resolucion de nombres
           


  • Con esta herramienta se comprueba si se esta conectado a internet
    y si PowerDNS resuelve correctamente las peticiones DNS de tal manera que si
    falla la prueba se Renueva la concesion Ip que nos otroga nuestro ISP o se
    reinicia el servidor DNS cual sea el caso.


6) Eliminado Cacti
7) Incluido Servidor DHCP
8) Incluido Cache Manager para Squid
9) Corregido muchos errores del Webpanel y Modificado.
10) Eliminado Script que monitorea la memoria cache, permitiendo que Squid use toda la memoria y evite leer del disco Constantemente (El sistema por si solo se encargara de no quedarse sin memoria para los procesos)




¿Que funcionalidades ofrece esta Modificacion?



1) Instalacion limpia y organizada principalmente
2) Version configurada especialmente para los que no quieren depender de un Router (Mikrotik por ejemplo), solo conectar por una interfaz de red el internet y por la otra los clientes.
3) Script de monitore de servicios
4) Cache solo de imagenes de youtube.com
5) Manejo desde el webpanel de las siguientes configuraciones:
   

       
  • PowerDNS
  • Dominios y extensiones limitadas y bloqueadas por Squid
  • Borrado y Limpieza del cache de Squid
  • Reglas de Firewall
  • TCP/IP Configuracion
  • Servidor Dhcp
  • PingerIP
   


6) Estadisticas que se pueden visualizar desde el Webpanel:
   

       
  • Estado de PowerDNS
  • Estado de Squid
  • Usuarios y conexiones Activas a Squid
  • Conexiones Tcp Activas
  • Usuarios Activos
  • Numero de objetos en el cache de Squid
  • Estado de reglas NAT y MANGLE
  • Procesos activos
  • Estado de las interfaces de red
   


7) Registros que se pueden vizualizar desde el Webpanel:
   

       
  • Registro del proceso Squid
  • Registro de acceso a Squid
  • Registro del sistema
  • Registro de PingerIP (Cortes de internet y dns)
  • Registro de Procesos (Caidas de PowerDNS y Squid)
  • Registro del WebPanel




Algunas Capturas



















Proximamente el script de instalacion. Por ahora Falta pulir el QoS.

venezu

amigo me gusta tu proyecto y algo que me gustaria en incluir seria el control de ancho de banda y poder asignar la velocidad que uno desee a cada cliente para que asi sea equitativo el uso del servicio , asi seria un router proxy cache bien completo , y seria bueno autenticacion por clave o ip/mac
gracias y saludos

ferccs

Cita de: venezu en Junio 05, 2015, 08:10:10 PM
amigo me gusta tu proyecto y algo que me gustaria en incluir seria el control de ancho de banda y poder asignar la velocidad que uno desee a cada cliente para que asi sea equitativo el uso del servicio , asi seria un router proxy cache bien completo

Que bueno me alegra que te guste la idea  :-*, Eso es justamente lo que falta y en lo que estoy ahora, solo necesito algo mas de tiempo.

Cita de: venezu en Junio 05, 2015, 08:10:10 PM
seria bueno autenticacion por clave o ip/mac
gracias y saludos

Amarre IP/MAC se puede hacer por firewall, incluire algunas reglas de ejemplo para que usen a gusto como por ejemplo:

amarre ip mac
redirreccion de puertos
limite de conexiones

lo otro si es mas trabajoso pero no imposible.

venezu

estare pendiente como avanza el proyecto saludos

freedarwuin

Buen aporte me gustaria que compartieras algo asi optimizado pero para los que usamos mikrotik gracias
>Si te gusta dale LIKE<

Entre las redes cableadas y las que no, el Mikrotik, ThunderCache y Tp-Link no hay nada Oculto... Para todo lo demás solo hay que "Guglear".
Mikrotik, Raptor, Ubiquiti, Tplink.
Prestamos Soporte en cuanto a Redes se refiere a Empresas, Wisp y hogares!!!
www.mikronet.com.ve

tonyvzla

Cita de: freedarwuin en Junio 06, 2015, 09:43:55 AM
Buen aporte me gustaria que compartieras algo asi optimizado pero para los que usamos mikrotik gracias
Excelente aporte fercs esperando tus nuevas a ver que tal (alternativas)
Que mas fred Sabes de algun mk x86 mas nuevo que el 5.28  ???
En ayuda de los mas desprotegidos

Enrrike87


firecold

Cita de: ferccs en Junio 05, 2015, 09:15:24 PM
Que bueno me alegra que te guste la idea  :-*, Eso es justamente lo que falta y en lo que estoy ahora, solo necesito algo mas de tiempo.

Amarre IP/MAC se puede hacer por firewall, incluire algunas reglas de ejemplo para que usen a gusto como por ejemplo:

amarre ip mac
redirreccion de puertos
limite de conexiones

lo otro si es mas trabajoso pero no imposible.

Amigo la pregunta mas grande es si usted pidio autorizacion para usar el Webpanel y su posterior configuracion y modificacion con el autor de este, como tambien el cambio del Nombre, el cual infringe los derechos reservados con los cuales se encuentra el  Webpanel y Raptor:



Si usted desea agregar todas las funcionalidades que desee lo puede hacer, aqui en este foro apoyamos las modificaciones a su server, por eso en la seccion de GNU/Linux, hay variios temas sobre DHCP, BIND, entre otras sus preferencias no son discutidas aqui, Espero puedas enternder esto, por lo demas eliminare este tema en 2 dias, Saludos

ferccs

Cita de: firecold en Junio 07, 2015, 04:17:58 PM
Amigo la pregunta mas grande es si usted pidio autorizacion para usar el Webpanel y su posterior configuracion y modificacion con el autor de este, como tambien el cambio del Nombre, el cual infringe los derechos reservados con los cuales se encuentra el  Webpanel y Raptor:



Si usted desea agregar todas las funcionalidades que desee lo puede hacer, aqui en este foro apoyamos las modificaciones a su server, por eso en la seccion de GNU/Linux, hay variios temas sobre DHCP, BIND, entre otras sus preferencias no son discutidas aqui, Espero puedas enternder esto, por lo demas eliminare este tema en 2 dias, Saludos

PRIMERO. Hermano vamos a estar claros en que joemg lo que hizo fue lo mismo que estoy haciendo yo... modificar... luego le puso el pie de pagina ese que capturastes, para que no se, porque a la final el WebPanel no es un programa, son solo archivos que conforman una pagina web...

SEGUNDO. Ya es segunda vez que por ayudar, aportar o dar respuestas claras me "regañas", en cambio tu que hace firecolds? desde que estoy aqui solo te encargas de responder todos los temas, asi no tengas ni idea ni solucion NI TIEMPO.

Yo he sido muy cuidadoso en preguntar, y solo pregunto despues de leer y leer, probar y probar.

Te pedi ayuda con el plugin de ESPN con el de XVIDEOS (entre otras cosas) y aun estoy esperando,  si no tiene tiempo o no sabe no se haga el que sabe y va a ayudar.

La ultima pregunta que te hice fue sobre unas tareas que estaban en el cron y como siempre respondistes y adivina que? lo que me dijistes que significaban no era asi... solo pegastes una de dos y pude comprobar lo que sospechaba:

Solo te encargas de responder todos los temas, asi no tengas ni idea ni solucion NI TIEMPO

TERCERO. El amigo luistec si que es otro nivel... ayuda clara, respuestas claras, mis respetos.

FIN. Bueno firecolds Mi intencion era ayudar, compartir, pero bueno...como usted diga jefe... puedes borrar tambien todos los temas que he hecho? no solo este por favor, se me han quitado las ganas de compartir gracias a ti....

POSTFIN. Es mas que seguro que sabias que me traia estas modificaciones en manos, debistes decirmelo en un principio y no ahora.

firecold

Cita de: ferccs en Junio 07, 2015, 06:05:06 PM
PRIMERO. Hermano vamos a estar claros en que joemg lo que hizo fue lo mismo que estoy haciendo yo... modificar... luego le puso el pie de pagina ese que capturastes, para que no se, porque a la final el WebPanel no es un programa, son solo archivos que conforman una pagina web...

SEGUNDO. Ya es segunda vez que por ayudar, aportar o dar respuestas claras me "regañas", en cambio tu que hace firecolds? desde que estoy aqui solo te encargas de responder todos los temas, asi no tengas ni idea ni solucion NI TIEMPO.

Yo he sido muy cuidadoso en preguntar, y solo pregunto despues de leer y leer, probar y probar.

Te pedi ayuda con el plugin de ESPN con el de XVIDEOS (entre otras cosas) y aun estoy esperando,  si no tiene tiempo o no sabe no se haga el que sabe y va a ayudar.

La ultima pregunta que te hice fue sobre unas tareas que estaban en el cron y como siempre respondistes y adivina que? lo que me dijistes que significaban no era asi... solo pegastes una de dos y pude comprobar lo que sospechaba:

Solo te encargas de responder todos los temas, asi no tengas ni idea ni solucion NI TIEMPO

TERCERO. El amigo luistec si que es otro nivel... ayuda clara, respuestas claras, mis respetos.

FIN. Bueno firecolds Mi intencion era ayudar, compartir, pero bueno...como usted diga jefe... puedes borrar tambien todos los temas que he hecho? no solo este por favor, se me han quitado las ganas de compartir gracias a ti....

POSTFIN. Es mas que seguro que sabias que me traia estas modificaciones en manos, debistes decirmelo en un principio y no ahora.

Tres cosas muy importantes que te voy a mencionar:

PRIMERO: Joemg6 reescribio el codigo y lo hizo desde cero y siempre a reiterado que este no es un fork de Thunder, la idea es la misma, pero la creacion no es la misma, ni del mismo modo y según los derechos de autor, los cuales se respetan en este foro, copiar textualmente un codigo es penado por la ley, lo cual no hizo Joemg6, PERO EN SU CASO ESTA COPIANDO CODIGO SIN AUTORIZACION DEL TITULAR, LO CUAL ES INFRINGIR LOS DERECHOS DE AUTOR.

SEGUNDO: mi ayuda en este foro, es para ayudar a los demas, y una de las grandes ventajas es que mi persona a estado desde que comenzo este foro y si dices que mi persona no ayuda estas diciendo que yo no hago nada, te dare un ejemplo claro y es que la mayor parte de plugins de este foro son hechos por mi persona, le he dado soporte a muchas personas en este foro por teamviewer, las cuales pueden dar fe de ello, solucionando problemas de todo tipo y si bien he sido claro que desconozco Mikrotik, por lo de tus plugins te deje bien claro que el Plugin de Xvideos funcionaba a la perfecccion y que no le veia ningun problema despues de probarlo, con el de ESPN dijiestes que no cacheaba pero resulta que era diferentes dominios, como? podria cachear un dominio que no tenia plugin.

TERCERO: No me voy a comparar con Luistec, ya que el tiene todos mis respetos, si tu intencion es ayudar haslo como todos los demas, ya que en mi caso le he dado apoyo a muchas personas no solo aqui, si no en muchos sitios y si bien mi tiempo ha sido mermado por mis muchas acupaciones, no es asunto tuyo y si tanto te molesta, puedes ver o buscar cuantas veces e pedido ayuda en este foro y veras que muy pocas, al contrario he dado ayuda a quien la pide y siempre recalco que me tengan paciencia.

Por lo demas si tu lo sabes todo te dejo mi lugar, en este foro como en los que he participado siempre he dicho que no soy el mejor, pero espero que lo poco que se les pueda ayudar, no soy jefe de nadie y si quieres como dices compartir usa tus propios aportes y no te adueñes de propiedad ajena, Saludos

ferccs

Cita de: firecold en Junio 07, 2015, 08:52:43 PM

PRIMERO: Joemg6 reescribio el codigo y lo hizo desde cero y siempre a reiterado que este no es un fork de Thunder, la idea es la misma, pero la creacion no es la misma, ni del mismo modo y según los derechos de autor, los cuales se respetan en este foro, copiar textualmente un codigo es penado por la ley, lo cual no hizo Joemg6, PERO EN SU CASO ESTA COPIANDO CODIGO SIN AUTORIZACION DEL TITULAR, LO CUAL ES INFRINGIR LOS DERECHOS DE AUTOR.

Yo no hablo de raptor ni lo toque ni lo tengo instalado actualmente, yo modifique fue el webpanel (los php) el proceso que llaman raptor ni lo tengo instalado, mas nada lo demas es pura configuracion de paquetes se encuentran en los repositorios, no se de que hablas, y no veo donde estoy fuera de la ley...

creo que si me da la gana de modificar debian como yo quiera, creo, que es valido....si no te parece deberias de ofrecer tu distro y ya esta.

Cita de: firecold en Junio 07, 2015, 08:52:43 PM
SEGUNDO: mi ayuda en este foro, es para ayudar a los demas, y una de las grandes ventajas es que mi persona a estado desde que comenzo este foro y si dices que mi persona no ayuda estas diciendo que yo no hago nada, te dare un ejemplo claro y es que la mayor parte de plugins de este foro son hechos por mi persona, le he dado soporte a muchas personas en este foro por teamviewer, las cuales pueden dar fe de ello, solucionando problemas de todo tipo y si bien he sido claro que desconozco Mikrotik, por lo de tus plugins te deje bien claro que el Plugin de Xvideos funcionaba a la perfecccion y que no le veia ningun problema despues de probarlo, con el de ESPN dijiestes que no cacheaba pero resulta que era diferentes dominios, como? podria cachear un dominio que no tenia plugin.

Hablemos del presente no de tu historia.

Cita de: firecold en Junio 07, 2015, 08:52:43 PM
TERCERO:si tu intencion es ayudar haslo como todos los demas, ya que en mi caso le he dado apoyo a muchas personas no solo aqui, si no en muchos sitios y si bien mi tiempo ha sido mermado por mis muchas acupaciones, no es asunto tuyo y si tanto te molesta, puedes ver o buscar cuantas veces e pedido ayuda en este foro y veras que muy pocas, al contrario he dado ayuda a quien la pide y siempre recalco que me tengan paciencia.

Ayuda a medias jajaja porque no hay tiempo para ayudar pero si para un lote de respuestas perezosas

Cita de: firecold en Junio 07, 2015, 08:52:43 PM
Por lo demas si tu lo sabes todo te dejo mi lugar, en este foro como en los que he participado siempre he dicho que no soy el mejor, pero espero que lo poco que se les pueda ayudar, no soy jefe de nadie y si quieres como dices compartir usa tus propios aportes y no te adueñes de propiedad ajena, Saludos

No soy el mejor ni lo se todo pero lo que se, aprendo y modifico lo quiero compartir, donde esta el problema? quieres que ponga el nombre tuyo y el de joemg en mayúscula? si ese es el problema lo hago el credito no me importa lo importante es que funcione lo que hago y compartirlo...

firecold

Cita de: ferccs en Junio 07, 2015, 10:23:23 PM
Yo no hablo de raptor ni lo toque ni lo tengo instalado actualmente, yo modifique fue el webpanel (los php) el proceso que llaman raptor ni lo tengo instalado, mas nada lo demas es pura configuracion de paquetes se encuentran en los repositorios, no se de que hablas, y no veo donde estoy fuera de la ley...

creo que si me da la gana de modificar debian como yo quiera, creo, que es valido....si no te parece deberias de ofrecer tu distro y ya esta.

Amigo si conocieras si quiera de lo que estas hablando, cuando hablamos de DERECHOS DE AUTOR, la creacion de un programas, interfaz, imagen y videos, son propiedad de la persona que las creo y el Webpanel es creacion de Joemg6 y la modificacion sin la autorizacion del Titular es infringir la ley.

No estoy piediendo que pongas mi nombre en mingun momento que quede claro, ya que veo que modificas lo dicho a tu antojo, lo que vengo diciendo desde el principio es si has pedido autorizacion de modificar y cambiar Nombre a una idea que no es tuya, sino que pertenece a alguien mas.

Amigo creo que debes de bajar tus humos y debes de aprender a ayudar verdaderamente, veo que vienes de una comunidad como BrazilFW, del cual soy participe tambien, si quieres ayudar y compartir en este foro por mi sin problemas, yo soy un simple moderador, solo doy cumplimiento a las normas del foro, si no te gusta o complace como hago las cosas, pues excelente, la idea del foro no es ahuyentar a los nuevos usuarios si no fomentarlos, pero creo que has malinterpetado esto, mi idea no es regañar si no orientar, pero igual creo que eres mayorcito, por mi esta discusion queda terminada, no te voy a volver a dar mi opinion en nada, ya que veo que tienes la propia y no necesitas ayuda de nadie, te pido perdon se te ofendi, Espero que sigas adelante, Saludos

ferccs

listo capitán no a pasado nada, cero compartir modificaciones, me las reservo.  :-*


te dejo esto por aca... la hoja de stilos, el header y la pagina principal es lo unico que he visto que tienen el nombre de joemg porque hay otros archivos que tienen otros autores cosa q no entiendo..

Código (mysql) [Seleccionar]
***********************************************************************
* Copyright (C) 2014 Joel Maguiña García <joemg6@gmail.com>
*
* This program is free software: you can redistribute it and/or modify
* it under the terms of the GNU General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* (at your option) any later version.
*
* This program is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
* GNU General Public License for more details.
*
* You should have received a copy of the GNU General Public License
* along with this program.  If not, see <http://www.gnu.org/licenses/>.
*
* (C) Copyright 2014 RaptorPanelAdmin 1.1
**************************************************************************

ferccs

Bueno a los que le gustaba la idea asi hubiese quedado finalmente:


venezu

espermos a ver si se liman las asperezas y levanta con buen pie el proyecto  ???

ISPsuperspeed

Cita de: ferccs en Junio 08, 2015, 12:47:47 PM
Bueno a los que le gustaba la idea asi hubiese quedado finalmente:


amigo no se si serias tan amable de compartirnos tu proyecto... p probarlo. saludos

hackang

buenas noches, las defensa de ferccs es valida, me parece interesante sus modificaciones por tal motivo  mas importante que quiere compartirla con los usuarios del forros, no tanto como aquí en Venezuela, en la pagina de venta mas utilizada, que se benefician del trabajo y esfuerzo de otro, realizan pequeñas modificaciones y hacen creer que son diseñadores del sistemas.

por otra parte el señor firecool también es un excelente modelador, es difícil ayudar a las persona a comprender un sistema que no tienen idea de como funciona, por tal motivo gracias a ustedes que tienes mentalidad social y ganas de ayudar.

luistec

Cita de: ferccs en Junio 07, 2015, 11:03:40 PM
listo capitán no a pasado nada, cero compartir modificaciones, me las reservo.  :-*


te dejo esto por aca... la hoja de stilos, el header y la pagina principal es lo unico que he visto que tienen el nombre de joemg porque hay otros archivos que tienen otros autores cosa q no entiendo..

Código (mysql) [Seleccionar]
***********************************************************************
* Copyright (C) 2014 Joel Maguiña García <joemg6@gmail.com>
*
* This program is free software: you can redistribute it and/or modify
* it under the terms of the GNU General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* (at your option) any later version.
*
* This program is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
* GNU General Public License for more details.
*
* You should have received a copy of the GNU General Public License
* along with this program.  If not, see <http://www.gnu.org/licenses/>.
*
* (C) Copyright 2014 RaptorPanelAdmin 1.1
**************************************************************************

Entonces no revisaste bién, la mayoría ha sido escrito por Joemg, digo la mayoría porque hay algunas librerías que se incluyen esas si que siguen con el copyright de sus autores(ojo librerías).
El Webpanel es un sistema, un programa que tiene un autor, esta en un lenguaje de programación interpretado PHP, su popularidad hace que sea fácil de modificar, por algo está su licencia, ni hablemos del core de Raptor el hecho que sea gratuito no considera que sea libre, tiene un autor que también es Joemg, en un post hace refencia el mismo de eso, por algo quedó descontinuado el Thunder 3.1.2. En estas proximas actualizaciones de Raptor se ve más aún la diferencia. Así que, hay que fundamentar las cosas que se dicen, sino queda como especulación.

Saludos.

freedarwuin

>Si te gusta dale LIKE<

Entre las redes cableadas y las que no, el Mikrotik, ThunderCache y Tp-Link no hay nada Oculto... Para todo lo demás solo hay que "Guglear".
Mikrotik, Raptor, Ubiquiti, Tplink.
Prestamos Soporte en cuanto a Redes se refiere a Empresas, Wisp y hogares!!!
www.mikronet.com.ve

firecold

Cita de: freedarwuin en Junio 09, 2015, 09:29:55 PM
Que buen debate

jajajaja, pues claro en toda sociedad y en toda comunidad abierta es bueno el debate, muchas veces para dejar las cosas claras, creo que al final se salio de contexto, ya que se empezo, por lo del Webpanel y termino saliendo a luz mi manera o forma de moderar, ya que con Luistec hemos moderado este foro por casi tres años sin ningun problema, pero ni modo, como en cualquier otro foro o comunidad personas van y personas vienen, pero al final bien dicen que el que persevera alcanza, y amigo espero que este agarrado cuando salga la nueva actualizacion, de verdad viene excelente, jajajajja, Saludos