CART -> Classification and Regressión Tree
Una vez ejecutamos nuestro algoritmo árbol de decisión, el conjunto de datos de las variables independientes quedará dividido en segmentos.
Básicamente se fija en la entropia de los puntos para poder agruparlos, cada una de estas divisiones aporta una información realmente buena.
Podemos ver en verda la media de los segmentos y en la imagen de abajo el árbol de decisiones
Sirven tanto para regresiones lineales como no lineales. La idea es ajustar una calle, he intentar mantener cuántas más obvervaciones posibles del conjunto de datos dentro de la calle, limitando unos márgenes máximos.
La anchura del pasillo se controla mediante un hiper parámetro, épsilon. Cuánto mayor es ese valor, mayor es la anchura de la calle.
En la regresión lineal se intenta minimizar el error entre la predicción y los datos. En SVR el objetivo es que los errores no superen el umbral establecido.
Cuando necesitemos construir un modelo con variables ficticias (variables dummy), hay que omitir uno de los factores, uno de los niveles de la variable ficticia. Es decir, si tenemos 100 países como variables ficticias, solo colocaríamos como dummy 99 en el modelo de regresión.
Nos indica que tan probable es obtener un resultado con una hipótesis nula verdadera.
[[1]]
No, por dos razones:
Tenemos 5 métodos disponibles para obtener las variables importantes y que tendrán relevancia en el algoritmo de regresión lineal multiple.
Metemos todas las variables en el modelo, razones por las que hacer esto:
Con el nuevo modelo creado, las variables de ese tendrán una seria de p-valores y por tanto repetimos el paso 3, consideramos la variable predictora con p-valor más grande, si el p-valor es todavía mayor que el nivel de significación, se elimina y se reajusta el modelo otra vez.
Seguiremos sucesivamente añadiendo variables mientras el p-valor sean inferior al nivel de siginificación, en el caso que la variable que se acaba de añadir ya supere el SL, daremos por terminado el trabajo y conservaremos el modelo anterior como el correcto.
OJO! -> 10 columnas de datos = 1023 modelos
Un Shell Script no es más que un fichero con sentencias para el intérprete que se vaya a utilizar. Entre los intérpretes más utilizados se encuentran: Bash,Perl, Python y PHP para los entornos web.
En un script se pueden especificar argumentos en una línea de comando, es decir un nombre_de_script+un directorio o más un número o una letra. El script en bash accede a estos parámetros mediante las variables $0, $1, etc.:
Cada programa que se ejecuta en el shell cuando termina guarda su código de retorno en la variable $?. Este código es un valor numérico que determina si el programa ha terminado de forma correcta. El código de retorno de valor 0 para la correcta ejecucción, cualquier otra valor para la incorrecta ejecucción.ç
Algunos scripts con los principales operadores de bash. comprobar ficheros y directorios, condicionales, bucles, while, until, funciones, etc.:
*hace que el descriptor de archivo 6 sea una copia de stdout (descriptor archivo 1)
exec 6>&1
*abre el archivo "test.data" para escritura
exec 1>test.data
*genera algún contenido
echo "data:data:data"
*recupera stdout original, al hacer que sea una copia del descriptor de archivo 6
exec 1>&6
*Cierra el descriptor de archivo 6
exec 6>&-
# abre el archivo test.data para lectura
exec 6<test.data
# lee hasta el final del archivo
while read -u 6 dta
do
echo "$dta"
done
# cierra el archivo test.data
exec 6<&-
VAR=$(find . -name "*h")
!= cadenas de texto no iguales
${cadena:posicion:longitud}
Por ejemplo en la cadena string=abcABC123ABCabc:
echo ${string:0} : abcABC123ABCabc
echo ${string:0:1} : a (primer caracter)
echo ${string:7} : 23ABCabc
echo ${string:7:3} : 23A (3 caracteres desde posición 7)
echo ${string:7:-3} : 23ABCabc (desde posición 7 hasta el final)
echo ${string: -4} : Cabc (atención al espacio antes del menos)
echo ${string: -4:2} : Ca (atención al espacio antes del menos)
sed ‘s/.$//’ # asume que todas las lineas terminan con CR/LF sed ‘s/\x0D$//’ # funciona con ssed, gsed 3.02.80 o superior
sed 's/^[ \t]*//;s/[ \t]*$//'
sed -e :a -e 's/^.\{1,78\}$/ &/;ta' # set at 78 plus 1 space
sed -n '52p' # metodo 1 sed '52!d' # metodo 2
sed '52q;d' # metodo 3, eficiente para ficheros grander
sed -e :a -e 's/<[^>]*>//g;/</N;//ba'
sed -n '$='
sed '1!G;h;$!d' # metodo 1 sed -n '1!G;h;$p' # metodo 2
sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//'
sed '$!N;s/\n/ /'
sed 10q
sed -e :a -e '$q;N;11,$D;ba'
sed -n '/regexp/p' # metodo 1 sed '/regexp/!d' # metodo 2
sed '$!N; /^\(.*\)\n\1$/!P; D'
Referencias:
http://sed.sourceforge.net/sed1line.txt http://sed.sourceforge.net/sedfaq.html https://www.gnu.org/software/sed/manual/sed.html
Apache Hadoop es un framework de software que soporta aplicaciones distribuidas. Permite a las aplicaciones trabajar con miles de nodos y petabytes de dtos.
El Hadoop Distributed File System (HDFS) es un sistema de archivos distribuido, escalable y portátil escrito en Java para el framework Hadoop. Cada nodo en una instancia Hadoop típicamente tiene un único nodo de datos; un clúster de datos forma el clúster HDFS.
Spark es un sistema de computación en clúster de propósito general. Puede implementar y ejecutar aplicaciones paralelas en clústeres que van desde un solo nodo hasta miles de nodos distribuidos. Spark fue diseñado originalmente para ejecutar aplicaciones Scala, pero también es compatible con Java, Python y R
Este cluster de Spark correrá bajo el protocolo Yarn de HADOOP. Los trabajos de Spark pueden ejecutarse en YARN en dos modos: modo de clúster y modo de cliente. Comprender la diferencia entre los dos modos es importante para elegir una configuración de asignación de memoria adecuada y para enviar trabajos como se espera.
Los trabajos de Spark constan de dos partes:
Modo Clúster Todo se ejecuta dentro del clúster. Puede iniciar un trabajo desde cualquier equipo y el trabajo continuará ejecutándose incluso si se cierra el equipo desde donde se lanzo el trabajo. En este modo el controlador Spark se encapsula dentro del YARN Application Master.
Modo Cliente El controlador se ejecuta en el equipo cliente, si el equipo cliente se apaga el trabajo falla. El modo cliente es adecuado para trabajos interactivos pero para trabajos de larga ejecución, el modo el clúster es más apropiado.
Funcionamiento Las aplicaciones Spark se ejecutan como conjuntos independientes de procesos en un clúster, coordinados por el objeto SparkContext (Progama controlador).
Siendo más específico, SparkContext para ejecutarse en el clúster puede conectarse a varios tipos de administradores de clúster (el propio Spark , Mesos o Yarn, siendo este último el de nuestra instalación), que asigna recursos entre las aplicaciones. Una vez conectado, Spark adquiere ejecutores en nodos de clúster, que son procesos que ejecutan cálculos y almacenan datos para su aplicación. A continuación, envía su código de aplicación (definido por los archivos JAR o Python pasados a SparkContext) a los ejecutores. Finalmente, SparkContext envía tareas a los ejecutores para ejecutar.
Para la instalación de Hadoop hemos seguido el siguiente tutorial: https://www.linode.com/docs/databases/hadoop/how-to-install-and-set-up-hadoop-cluster/
Equipos para la instalación TEST Spark -> 45.79.207.240 (Maestro y Esclavo) cool-ad14 -> 172.104.214.142 (Esclavo)
Paso 1 Creación de /etc/hosts. Debemos añadir a cada /etc/hosts todos las máquinas que participan en el clúster
45.79.207.240 spark
172.104.214.142 node-ad14
Paso 2 Creación del usuario hadoop y clave pública. Debemos crear un usuario con el nombre hadoop en cada máquina.
User: hadoop
Pass: passwd
Solo nos faltará crear una clave pública en el maestro y compartilo con el propio maestro y los esclavos.
Máquina Spark / Usuario hadoop
ssk-keygen -b 4096
ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@spark
ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@node-ad14
Paso 3 En el Master. Dentro de la carpeta /home/hadoop con el usuario hadoop nos descargamos el fichero.tar.gz que contiene hadoop.
https://hadoop.apache.org/
https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
Descomprimimos / tar -xvzf hadoop-3.1.2.tar.gz
Cambio de nombre / mv hadoop-3.2.1 hadoop
Paso 4 Variables de entorno. En el fichero /home/hadoop/.profile añadimos la siguiente línea. Si el fichero no existe hemos de crearlo:
PATH=/home/hadoop/hadoop/bin:/home/hadoop/hadoop/sbin:$PATH
Paso 5 Configuración de JAVA. Si no tenemos java instalado debemos instalarlo
yum install jdk-1.8.0-devel
Una vez instalado debemos conocer la ubicación de la carpeta jre, para saberlo utilizamos el siguiente comando:
update-alternatives --display java
Una vez obtenemos la ruta de java, hacemos un export de la variable JAVA_HOME en hadoop-env.sh
/home/hadoop/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
Paso 6 Archivos de configuración. Establecemos el master. /home/hadoop/hadoop/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://node-master:9000</value>
</property>
</configuration>
Establecemos los path para hdfs. /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/nameNode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/dataNode</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
La última propiedad dfs.replication, indica cuántas veces se replican los datos en el clúster. Por ejemplo podríamos configurar con 2 para que todos los datos se duplicasen en ambos nodos, NO INGRESAR UN VALOR MÁS ALTO QUE EL NÚMERO DE NODOS ESCLAVOS.
Establecemos Yarn como el framework por defecto para las operaciones de Mapreduce. /home/hadoop/hadoop/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
Configuración Yarn ~/hadoop/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.acl.enable</name>
<value>0</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node-master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
Configuración de esclavos. En la documentación que hemos leído se utiliza un fichero llamado slaves, pero actualmente se está utilizando un fichero que se llama workers.
Dentro del fichero /home/hadoop/hadoop/etc/hadoop/workers
localhost
node-ad14
Configuración de la asignación memoria. La asignación de memoria puede ser complicada en nodos de RAM baja porque los valores predeterminados no son adecuados para nodos con menos de 8GB de RAM. Vamos a destacar como funciona la asignación de memoria para los trabajos de MapReduce y veremos una configuración para nodos de 2GB de RAM.
Propiedades de la asignación de memoria. Un operación con Yarn tiene dos tipos de procesos:
Ambos tipos de procesos se ejecutan en los nodos esclavos. Cada nodo esclavo ejecuta un demonio NodeManager que es responsable de la creación del contenedor en el nodo. Todo el clúster es administrado por un ResourceManager que programa la asignación de contenedores en todos los nodos esclavos, según los requisitos de capacidad y el cargo actual.
Tenemos cuatro tipos de asignación deben configurarse para el clúster funcione correctamente.
Cuánta memoria se puede asignar para los contenedores YARN en un solo nodo. Este límite debe ser más alto que todos los demás, de lo contrario la asignación de contenedores será rechazada y las aplicaciones fallan. Sin embargo no debe ser la cantidad total de RAM en el Nodo.
yarn.nodemanager.resource.memory-mb
Cuánta memoria puede consumir un contenedor y la asignación de memoria mínima permitida. Un contenedor nunca será más grande que el máximo, o la asignación fallará y siempre se asignará como un múltiplo de la cantidad mínima de RAM.
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-mb
Cuánta memoria se le asignará al AplicationMaster. Este es un valor constante que debe ser inferior al de tamaño máximo del contenedor.
yarn.app.mapreduce.am.resource.mb
Cuańta memoria se le asignará a cada mapa.
mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
Ejemplo de configuración de 2GB de RAM por NODO.
yarn.nodemanager.resource.memory-mb 1536
yarn.scheduler.maximum-allocation-mb 1536
yarn.scheduler.minimum-allocation-mb 128
yarn.app.mapreduce.am.resource.mb 512
mapreduce.map.memory.mb 256
mapreduce.reduce.memory.mb 256
~/hadoop/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1536</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>1536</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>128</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
~/hadoop/etc/hadoop/mapred-site.xml
<property>
<name>yarn.app.mapreduce.am.resource.mb</name>
<value>512</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>256</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>256</value>
</property>
Paso 7
Replicación de los binarios de hadoop y los archivos de configuración. Pasamos los binarios y las configuración que hicimos anteriormente en el maestro hacia los esclavos asignados.
Paso 8 Formatear HDFS. HDFS necesita ser formateado como cualquier clásico sistema de ficheros. En no nodo maestro ejecutar el siguiente comando:
/home/hadoop/hadoop/bin/hdfs namenode -format
Una vez termina hadoop está listo para iniciarse.
Paso 9 y último Antes de levantar Hadoop vamos a securizar los puertos de escucha controlando las conexiones desde el iptables tanto del nodo-maestro como de los nodos-esclavos.
Lista de puertos a controlar en el< nodo maestro
9000 - 9684 -9866 - 9867 - 9868 - 9870
8040 - 8042 - 8088 - 8030 - 8031 - 8033
40773 - 36550 - 27017
Preparamos el firewall y levantamos.
Esta sección explicará cómo iniciar HDFS en NameNode y DataNodes, y controlará que todo funcione correctamente e interactúe con los datos HDFS.
Inicio y parada de HDFS En el nodo maestro lanzamos con el usuario hadoop:
/home/hadoop/hadoop/sbin/start-dfs.sh
Una vez finalizado la ejecución comprobamos los procesos java con el comando jps, tanto en el nodo maestro como en los esclavos, nos tiene que aparecer algo así:
NODO MAESTRO
21922 Jps
21603 NameNode
21787 SecondaryNameNode
NODO ESCLAVO
19728 DataNode
19819 Jps
Si queremos ver un reporte de los nodos conectados y del clúster utilizamos el comando
/home/hadoop/hadoop/bin/hdfs dfsadmin -report
Para parar el funcionamiento de hadoop:
/home/hadoop/hadoop/sbin/stop-dfs.sh
Inicio y parada de Yarn En el nodo maestro lanzamos con el usuario hadoop:
/home/hadoop/hadoop/sbin/start-yarn.sh
Para comprobar que los nodos están trabajando con yarn
/home/hadoop/hadoop/bin/yarn node -list
Plataforma web de yarn http://spark:8080
Para la instalació de Apache Spark, simplemente necesitamos realizar la descarga de los ficheros de binarios y descomprimirlos, y clonar el repositorio para el conector con Cassandra.
Nos descargamos el tar de ficheros binarios de Apache Spark del siguiente enlace: http://apache.rediris.es/spark/spark-<version>/spark-<version>-bin-hadoop2.7.tgz P.e:
Ya solo debemos descomprimir el archivo en /usr/local (o en otra ruta si fuera mas pertinente):
Hacemos un clone del repositorio de git del conector de Cassandra:
Para la comunicación con el administrador de recursos YARN, Spark debe conocer la configuración de Hadoop. Esto se hace a través de la variable de entorno HADOOP_CONF_DIR
Editamos /home/hadoop/.profile
export HADOOP_CONF_DIR=/home/hadoop/hadoop/etc/hadoop
export SPARK_HOME=/usr/local/spark
export LD_LIBRARY_PATH=/home/hadoop/hadoop/lib/native:$LD_LIBRARY_PATH
Reiniciamos la sesión.
Renombramos el archivo spark-defaults.conf.template ha spark-defaults.conf Este archivo se encuentra en la ubicación de Spark, normalmente en:
/usr/local/spark
ASIGNACIÓN DE MEMORIA EN SPARK Como le hemos pasado la ruta de la configuración de Hadoop, Spark cogerá la configuración de memoria para contenedores y a se la aplicará, aún así hemos de configurar algunas asignaciones de memoria en spark y otras cosas, hago un breve resumen más abajo con las variables necesarias.
Editamos spark-defaults.conf, le añadimos la siguiente líneas al final del archivo:
spark.master yarn
spark.driver.memory 512m
spark.yarn.am.memory 512m
spark.executor.memory 896m
spark.eventLog.enabled false
spark.eventLog.dir hdfs://spark:9000/spark-logs
spark.history.provider org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory hdfs://spark:9000/spark-logs
spark.history.fs.update.interval 10s
spark.history.ui.port 18080
Archivo:Conceptointerelacion.png
Interrelaciones en las que intervienen 3 entidades 
En las entidades débiles el vínculo es doble. La entidad débil necesita la clave primaria de la entidad superior para poder crear una clave primaria funcional. 
Características.
Puede ser TOTAL o PARCIAL: En la total la entidad superior a de pertenecer a alguna de las entidades subclasse.
Disjunta o Solapada. La disjunta pertenece a un grupo o a otro, pero no los dos a la vez.
Virus: se trata de un programa que se copia automáticamente para alterar el funcionamiento normal del sistema, sin el permiso ni el conocimiento del usuario. Ellos mismos se replican y se ejecutan.
Gusanos o worms: Se duplican como los virus pero no modifican los archivos. Se limitan a hacer copias de ellos mismos lo más rápido posible sin tocar ningún fichero. Pueden llegar a ocupar la memoria y ralentizar el ordenador. Además, también pueden colapsar por la saturación de las redes en las que se han infiltrado.
Caballos de Troya: no se consideran Virus, porque no infectan otros ficheros para reproducirse ni tampoco hacen copias de ellos mismos para propagarse ellos mismos, como hacen los gusanos. El objetivo principal que tienen es introducir e instalar otros programas en el ordenador, para que se puede controlar remotamente desde otros equipos. Es decir, llegan al ordenador como si fueran programas inofensivos, pero cuando se ejecutan instalan un segundo programa, el caballo de Troya.
Bombas lógicas: estrictamente, tampoco se consideran virus, ya que no se reproducen ni siquiera son programas independientes, sino que son segmentos camuflados dentro de otros programas.
Su objetivo es destruir los datos de un ordenador o causar otros tipos de daño que pueden llegar a ser muy destructivos.
Similitudes
Todos ellos se consideran software malintencionado y por lo tanto se tratan de programas que se instalan en nuestro ordenador , sin nuestro consentimiento ni el conocimiento, con la intención perjudicarlo o obtener un beneficio.
Métodos del software malintencionado para introducirse en los equipos:
Métodos para evitar el software malintencionado.
La instalación de un S.O. O de los programas posteriores se ha de realizar en un sistema limpio. (discos duros en blanco, CMOS de fábrica)
También podemos aplicar una serie de consejos para que en caso de infección podamos recuperar el control rápidamente.
La función del software espía es recompilar información que irá a parar a los servidores de especifícados. Después algunos proveedores te ofrecerán sus productos mediante correo electrónicos. Este proceso produce un retraso en la velocidad del sistema, ya que utiliza una gran cantidad de recursos. También puede provocar bloqueos y perdidas de conexión a Internet.
Tipos de espías:
Vamos a intentar predecir y crear un modelo lineal, regresión lineal simple. Buscará todas las rectas posibles y nos dirá cuál es la recta que más se acerca la distancia de la propia recta a los puntos de referencia.
Es la línea de tendencia que más se ajusta a los datos ofrecidos.
LLamamos análisis de regresión al precio estadístico de estimar las relaciones que existen entre variables.
Se centra en estudiar las relaciones entre una variable dependiente de una o varias variables independientes.
Lo que hará nuestro algoritmo de regresión lineal es sumar todas las diferencias, las rectas entre yî y ŷî, las elevará al cuadrado porque algunas serán positivas y otras negativas. De todas las rectas se que con aquella que minimiza los cuadrados de las diferencias entre el dato real y la predicción.
En RomSolutions basamos nuestra estrategia de marketing online en posicionamiento SEO (Search Engine Optimization). Con las diferentes experiencias que hemos obtenido a lo largo de los años, hemos observado la obsesión que hay por saber que hace la competencia y como lo hace, pero pocos son los que comienzan preguntando que pueden mejorar en sus propias páginas.
Tenemos que comprender que posicionar una web de forma orgánica, de forma natural es lo mejor para nuestra empresa y nuestro futuro en el índice de Google. El SEO es tu mejor herramienta para:
Mostrarte a los usuarios que realmente están interesados en tu negocio.
Subir escalones en las páginas de google hasta aparecer en la primera página.
Ordenar nuestras ideas sobre la web y sus metadatos. Obtener un concepto más claro de lo que Google espera de nosotros como web.
Reglas básicas posicionamiento SEO
Una palabra clave principal (keyword), y otra palabra clave secundaria, máximo dos palabras secundarias. Muy importante no exceder este límite si queremos que Google nos tome en serio.
La palabra clave aparece en nuestra URL. Ya sea por dominios ccTLD o gcTLD.
La palabra clave debe ser incluida en los encabezados de los artículos y las páginas.
En caso de ser un artículo, el primer párrafo debe incluir la palabra clave.
Deben ser artículos y textos propios. Los copiados no indexan.
Generar Tráfico, ya sea hacia otras web o procedente desde otros dominios.
SiteMap.
Geolocalización web
Utilización de Cache web.
SSL -> https
Web responsive
Y sobretodo, antes, después y siempre analítica y más analítica, todo esta sujeto a cambios.
