Categoría: RedHat

HackIt! 2013 . Level 6. Expresiones regulares y sed

«Se te dan bien las expresiones regulares, ¿no? ;)» Así empieza el enunciado del level 6. Un level (IMHO) jodido al que mis compañeros Joserra y Beñat estuvieron, durante unas cuantas horas, dándole vueltas, mientras el resto nos devanábamos los sesos con el level de la calculadora polaca inversa (RPN)…

Nos pasan el siguiente churro:

#!/bin/sed -rnuf
s/.*/Password:/;p;n;s/[^a-zA-Z0-9]/_/g;s/./ /g;s/[0-9] /0/g;s/[a-p] /1/g;s/[q-z] /2/g;s/[A-P] /3/g;s/[Q-Z] /4/g;y/abcdefghijklmnopqrstuvwxyz/0123456789abcdef0123456789/;y/ABCDEFGHIJKLMNOPQRSTUVWXYZ/0123456789abcdef0123456789/;s/_/50/g;s/(.)(.) /21/g;x;s/$/-----/g;s/-/---/g;s/-/----/g;s/-/---/g;x;:x;y/072b346d18a9f5ce/143c527e9ab0d6f8/;ta;:a;s/[^0x]/x/g;y/fedcba987654321/edcba9876543210/;ta;s/(x*)0(x*)0/12020/g;s/x{16}//g;s/x{15}0/f/g;s/x{14}0/e/g;s/x{13}0/d/g;s/x{12}0/c/g;s/x{11}0/b/g;s/x{10}0/a/g;s/x{9}0/9/g;s/x{8}0/8/g;s/x{7}0/7/g;s/x{6}0/6/g;s/x{5}0/5/g;s/x{4}0/4/g;s/x{3}0/3/g;s/x{2}0/2/g;s/x{1}0/1/g;s/^(0)(.{3})(.*)/132/;s/^(1)(.{8})(.*)/132/;s/^(2)(.{7})(.*)/132/;s/^(4)(.{2})(.*)/132/;s/^(6)(.{10})(.*)/132/;s/^(8)(.{9})(.*)/132/;s/^(a)(.{11})(.*)/132/;s/^(c)(.{5})(.*)/132/;s/^(e)(.{16})(.*)/132/;s/(...)(.*)/21/;tz;:z;x;s/-//;x;tx;s/^017c43a81ddb8b638fb3a32c51f4$/Win!/;Tf;p;q;:f;s/.*/You Fail It!/;p;q

Precioso, ¿eh?. Bien, antes de llegar a este nivel creía que controlaba algo del editor de flujos de texto sed («sed – stream editor for filtering and transforming text»), pero cuando ví este script me dí cuenta que aún me faltaban «algunos» conocimientos al respecto. En fin, vayamos por partes.

Sed nos permite manipular texto desde la línea de comandos con scripts concisos y la ayuda de expresiones regulares (mmmh… no me meteré a explicar qué son las expresiones regulares, hay libros completos para ello, bastante tengo con sed 🙂

Por ejemplo, para pasar de «esto es una prueba» a «esto una prueba es», podríamos ejecutar lo siguiente:

echo "esto es una prueba" | sed -re 's/(.*) es(.*)/12 es/'

-r = expresiones regulares extendidas
-e = editar en línea (en lugar de meter el script sed en un fichero)

La primera línea del script que nos pasan es:

#!/bin/sed -rnuf

El shebang y la ruta al ejecutable de sed, con los parámetros -rnuf.

-n = quiet (que no escriba automáticamente el resultado de ejecutar cada línea del script sed, como hace por defecto. Si dentro del script se quisiera imprimir, habría que ejecutar el comando ‘p’ de sed)
-u = unbuffered (no tengo clara esta opción… se supone que ésto hace que sed lea cantidades mínimas de la entrada estándar y escriba por salida estándar los resultados ‘más frecuentemente’, sin almacenar resultados en buffers, pero no sé exactamente cómo afecta al script)
-f = el script viene a continuación, en este mismo fichero

Lo primero que hay que hacer es formatear y comentar el script, para ver qué demonios hace. Por ejemplo, las primeras líneas:

s/.*/Password:/; # lee la primera línea que le pasemos y la sustituye por 'Password:'
p; # escribe el resultado de la sustitución (es decir, escribe 'Password:')
n; # salta a la siguiente línea de entrada estándar

¿Te animas a seguir descifrando el script? Una vez que lo hagas, comenzarás a entender qué es lo que se supone que hay que hacer…

Openshift: computación gratuita en la nube de RedHat

OpenShift Express es una plataforma (PaaS) gratuita para el despliegue de aplicaciones en la nube proporcionada por RedHat. En ella podremos desplegar aplicaciones Java, Perl, PHP, Python y Ruby.  Además, permite la instalación (también gratuita) de un servidor de bases de datos como MySQL, Postgres o MongoDB.  El procedimiento es bastante simple: al abrir una cuenta, OpenShift te generará una URL única para tu aplicación y un repositorio git asociado.  Tus desarrollos se guardarán en git de tal forma que al hacer git push , automáticamente, aparte de subir tus cambios al repositorio remoto, estarás dando una orden de despliegue de la aplicación (internamente lo hace a través de hooks o ejecución de scripts ante eventos como un git push)

Dejo esbozados aquí los pasos necesarios para crear una cuenta, desplegar tu propia BBDD MySQL y subir un pequeño script PHP que hace uso de dicha base de datos:

1) Darte de alta en OpenShift Express (existe otra modalidad de pago, llamada Openshift Flex, para usuarios con necesidades más avanzadas)

2) Entrar en el panel de control de Express

3) Crear un namespace (la URL de tus aplicaciones siempre serán del tipo  nombreaplicacion-namespace.rhcloud.com). En la imagen superior he creado un namespace = babelium

4) Crear una aplicación de tipo Java, PHP, Python, Ruby o Perl. En mi ejemplo el nombre de la aplicación es «demo» (tras mucho estrujarme los sesos 😉 y se trata de una aplicación PHP.

Como puede verse en la imagen, tras el paso 4 se creará un repo git en la dirección ssh://xxxxxx@demo-babelium.rhcloud.com/~/git/demo.git/

5) Opcional: para poder acceder por ssh a nuestra instancia (sí! tenemos acceso ssh gratuito!) subimos la parte pública de nuestra clave RSA ( normalmente la tendrás situada en  ~/.ssh/rsa_id.pub )

6) Clonamos el repo git del paso 4

$ cd /opt
$ git clone ssh://xxxxxx@demo-babelium.rhcloud.com/~/git/demo.git
$ ls -al demo
-rw-r--r--  1 juanan juanan      0 2012-01-25 17:43 deplist.txt
drwxr-xr-x  8 juanan juanan   4096 2012-01-25 17:43 .git
drwxr-xr-x  2 juanan juanan   4096 2012-01-25 17:43 libs
drwxr-xr-x  2 juanan juanan   4096 2012-01-25 17:43 misc
drwxr-xr-x  4 juanan juanan   4096 2012-01-25 17:43 .openshift
drwxr-xr-x  2 juanan juanan   4096 2012-01-25 17:43 php
-rw-r--r--  1 juanan juanan   1315 2012-01-25 17:43 README

Bien… ¿me sigues? Ok, los pasos que he comentado hasta ahora (crear namespace, nombre de aplicación, asociar la aplicación a un entorno PHP, etc. se puede hacer desde la línea de comandos. Para ello, debes instalar las utilidades rhc (RedHat Cloud) que son scripts en Ruby (gemas) para control remoto de las aplicaciones en Openshift. Desde Ubuntu basta con que hagas:

sudo gem install rhc
PATH=$PATH:/usr/lib/ruby/gems/1.9.2/gems/rhc-0.84.15/bin/

Ojo con el path, igual en tu máquina las gemas rhc no se instalan exactamente en la misma ruta, ¡échale un vistazo antes!

¿Por dónde íbamos? Ah! sí, por el paso 7 🙂

7) Bien, vamos a instalar soporte MySQL en nuestro entorno. Para ello, ahora sí desde la línea de comandos, porque el panel de control por ahora no ofrece la opción de hacerlo vía point&click:

/opt/demo$ rhc-ctl-app -a "demo" -e add-mysql-5.1 -l usuario@dominio.com
RESULT: Mysql 5.1 database added.  
Please make note of these credentials:    
Root User: xxxxxxxx  
Root Password: xxxxxxxxxxx   
Database Name: demo 
Connection URL: mysql://127.1.48.1:3306/ 
You can manage your new Mysql database by also embedding phpmyadmin-3.4.

Olé! MySQL 5.1 instalado por la patilla… y ¿qué es eso de que incruste phpmyadmin? No me digas que también lo tengo por el mismo precio! Pues así es amigos… 🙂 De hecho, tengo varios cartuchos (cartridges le llaman en RHC) disponibles:

$ rhc-ctl-app -a "demo" -L
List of supported embedded cartridges:
 
Obtaining list of cartridges (please excuse the delay)...
postgresql-8.4, metrics-0.1, mysql-5.1, jenkins-client-1.4, 10gen-mms-agent-0.1, phpmyadmin-3.4, rockmongo-1.1, mongodb-2.0

Olé y olé… jenkins… mmmmmhhh… eso lo dejo para otro día 🙂 Por ahora vamos a instalar phpmyadmin.

$ rhc-ctl-app -a "demo" -e add-phpmyadmin-3.4 -l usuario@dominio.com

Acabamos de enganchar a nuestra aplicación demo un phpmyadmin-3.4 . Para los que se acuerden de artículos anteriores de DiarioLinux, esa sintaxis le sonará al entorno juju de Ubuntu. El login y pass será el mismo que te han dado para MySQL. La URL de acceso también la tendrás al ejecutar el comando anterior.

Nota: teniendo phpMyAdmin, crear las tablas en la BBDD es trivial. Pero existen otras formas de hacerlo (sin usar phpMyAdmin). Una de ellas en entrar por ssh a tu instancia y crear las tablas desde la línea de comandos mysql, pero otra forma más elegante es usar un hook de git. En concreto, en tu repo tendrás un directorio .openshift, y dentro del mismo un subdirectorio llamado action_hooks. Lo que hay ahí son scripts que se ejecutan en distintos momentos tras hacer un git push. El script deploy es el más adecuado para generar tus tablas y poblar con tuplas las mismas. Edita ese script (/opt/demo/.openshift/action_hooks) así (gracias a schabell.org por enseñarnos a hacerlo):

#!/bin/bash
# This deploy hook gets executed after dependencies are resolved and the
# build hook has been run but before the application has been started back
# up again.  This script gets executed directly, so it could be python, php,
# ruby, etc.
set -e
 
if [ -z $OPENSHIFT_DB_HOST ]
then
    echo 1>&2
    echo "Could not find mysql database.  Please run:" 1>&2
    echo "rhc-ctl-app -a $OPENSHIFT_APP_NAME -e add-mysql-5.1" 1>&2
    echo "then make a sample commit (add whitespace somewhere) and re-push" 1>&2
    echo 1>&2
    exit 5
fi
 
# check for database.
if ! /usr/bin/mysql -u "$OPENSHIFT_DB_USERNAME" --password="$OPENSHIFT_DB_PASSWORD" -h "$OPENSHIFT_DB_HOST" -e "show tables;" $OPENSHIFT_APP_NAME > /dev/null
then
    echo 1>&2
    echo "Could not find mysql database. " 1>&2
    echo "Creating database for application named: $OPENSHIFT_APP_NAME." 1 >&2
    /usr/bin/mysqladmin -u "$OPENSHIFT_DB_USERNAME" --password="$OPENSHIFT_DB_PASSWORD" -h "$OPENSHIFT_DB_HOST" create "$OPENSHIFT_APP_NAME"
fi
 
# Confirm database exists, if not create it
if ! /usr/bin/mysql -u "$OPENSHIFT_DB_USERNAME" --password="$OPENSHIFT_DB_PASSWORD" -h "$OPENSHIFT_DB_HOST" -e "select * from guesses;;" "$OPENSHIFT_APP_NAME" > /dev/null
then
    echo
    echo "Schema not found!  Importing schema from .openshift/action_hooks/baby.sql"
    echo
    /usr/bin/mysql -u "$OPENSHIFT_DB_USERNAME" --password="$OPENSHIFT_DB_PASSWORD" -h "$OPENSHIFT_DB_HOST" "$OPENSHIFT_APP_NAME" < "$OPENSHIFT_REPO_DIR/.openshift/action_hooks/baby.sql"
    echo
    echo "done."
else
    echo "Database found, skipping import."
fi

Como ves existen algunas variables de entorno predefinidas: $OPENSHIFT_DB_HOST (dirección del host que alberga tu MySQL), $OPENSHIFT_DB_NAME (nombre de la base de datos de tu aplicación), etc. Como digo son variables predefinidas, ya tienen el valor correcto asignado sin que tú hagas nada. El script bash anterior, lo que hace es comprobar que tienes mysql instalado en OpenShift (y en caso de no tenerlo lo instala), que tienes la BD instalada (si no, la crea también) y que la has cargado con tuplas (y si no, la carga, leyendo del dump baby.sql situado en el mismo directorio que el script). El dump baby.sql lo tienes que crear previamente, claro, con instrucciones SQL de creación de tablas e inserción de tuplas. Por ejemplo:

USE babygame;

DROP TABLE IF EXISTS guesses;
CREATE TABLE guesses
(
	timestamp timestamp,
	name varchar(50) NOT NULL,
	email varchar(50) NOT NULL,
	birthdate timestamp,
	birthsex varchar(4) NOT NULL,
	babyname varchar(100),
	PRIMARY KEY (timestamp, name)
);

Tus scripts en PHP serán como siempre han sido, no hay ningún cambio salvo las variables de entorno predefinidas que en un entorno php «normal» no existen y en Openshift sí. Por tanto, en la carpeta /opt/demo/php podrías crear un script php para conectar con tu BBDD:

define( "DB_SERVER",    $_ENV['OPENSHIFT_DB_HOST'] );
define( "DB_USER",      $_ENV['OPENSHIFT_DB_USERNAME'] );	
define( "DB_PASSWORD",  $_ENV['OPENSHIFT_DB_PASSWORD'] );	
define( "DB_DATABASE",  "demo" );	
$connect = mysql_connect( DB_SERVER, DB_USER, DB_PASSWORD );
@mysql_select_db( DB_DATABASE, $connect ) or die( "Unable to select database");
// etc...

Ahora, desde la línea de comandos lanzas un «git push» y verás como el servidor despliega tu aplicación, ejecuta el script de creación de tablas y tuplas mysql (creándolas en caso necesario) y te deja la URL lista para ser usada: http://demo-babelium.rhcloud.com/

Espero que no os guste demasiado este post, no vaya a ser que OpenShift se sature 😉
[Nota: ha sido un post largo y con aplicación práctica inmediata, para compensar el mes largo sin actualizaciones 😉 ]