Iker Perez de Albeniz » python

Usar/Crear Filtros para las plantillas de django/Google App Engine

Iker — Thu, 11 Mar 2010 11:17:03 +0000

Una de los temas mas interesante en Google App Engine es la posibilidad de usar plantillas. En la página de GAE existen ejemplos sencillos de cómo utilizar plantillas.El problema empieza cuando dentro de esas plantillas quieres hacer tratamiento de los datos para mostrar los datos correctamente. En esta articulo intentaremos explicar como usar esos filtros y como crear propios.

Como habéis podido ver en el ejemplo de la pagina de GAE, la forma de mostrar un valor en la plantilla es usando la sintaxis {{ variable }}. En la mayoría de los casos dichas variables serán de tipo string o integer por lo que su visualización no tendrá mayor problema. Pero por ejemplo en el caso de variables tipo datetime u otro tipo de objeto propio, el sistema de plantillas no es capaz de mostrar el contenido de dichas variables, ya que solo es capaz de mostrar valores tipo string o integer.

Para los tipos de datos mas comunes existen ya filtros por defecto como es el caso de los valores datetime. La forma de aplicar un filtro es la siguiente:

{{variable|filtro}}

Y en algunos casos:

{{variable|filtro:argumento}}

En el caso de los valores datetime que hemos comentado antes, para mostrar un valor de fecha deberemos usar el filtro date de la siguiente manera:

{{mydatevar|date:"j"}}

Esto seria equivalente a ejecutar una función date(mydatevar,”j”) y lo que estoy haciendo es mostrar el día del mes (código %j) similar a como se hace en otros lenguajes de programación.

Aquí podéis encontrar un listado con los principales filtros predeterminados en django

El problema es cuando estas funciones no son suficientes para hacer lo que nosotros queremos, o queremos tratar tipos de objetos poco comunes o propios.

Por ejemplo imaginemos que queremos tenemos un libro de visitas donde los usuarios puede escribir entradas, e indican su dirección de correo. Pero no queremos que esa dirección de correo sea visible para que no pueda ser rastreada por spammers, por lo que optamos por mostrar solo los 5 primeros caracteres de el nombre de usuario de la cuenta de correo mas tres puntos suspensivos (algo parecido a lo que se hace en las listas de distribución). Es decir para estoesunaprueba@gmail.com nos generara una dirección del tipo estoe…@gmail.com.

Por tanto nuestra función en python seria algo así como:

def securemail (mail):

        return mail.split(‘@’)[0][:5]+”…@”+ mail.split(‘@’)[1]

Es decir, dividimos la dirección en usuario y dominio con la función split y el carácter @, y generamos una nueva dirección con los primeros 5 caracteres de el usuario mas tres puntos suspensivos la arroba y el dominio.

Para poder usar esta función en nuestras plantillas haremos lo siguiente. Crearemos un script customfilters.py donde guardaremos todas nuestros filtros. Dicho script tendrá la siguiente forma

from google.appengine.ext import webapp

from datetime import datetime

register = webapp.template.create_template_register()

def securemail (mail):

        return mail.split(‘@’)[0][:5]+”…@”+ mail.split(‘@’)[1]

register.filter(securemail)

Para importar los filtros en nuestra aplicación añadiremos la siguiente sentencia justo después de los imports.

webapp.template.register_template_library(‘customfilters’)

De esta forma podremos usar nuestro filtro de la siguiente manera:

{{mail|securemail}}

Imaginemos que damos la opción al usuario que la función securemail muestre su cuenta de dos modos, uno, el por defecto que es el funcionamiento explicado anteriormente, y otro, que hace que solo se muestre el usuario sin el dominio. Por tanto deberemos definir un parámetro en la función para poder elegir el tipo de ofuscación. La función en este caso nos quedaría así:

def securemail (mail,default=true):

        if default:

                return mail.split(‘@’)[0][:5]+”…@”+ mail.split(‘@’)[1]

        else:

                return mail.split(‘@’)[0]

Por tanto si la variable mail tomara el valor estoesunaprueba@gmail.com este seria el resultado para las diferentes expresiones:

{{mail|securemail}} #estoe…@gmail.com

{{mail|securemail:true}} #estoe…@gmail.com

{{mail|securemail:false}} #estoesunaprueba

De esta forma podemos controlar y procesar la información a mostrar en nuestra plantilla cuando esta se trata de un objeto no string (o integer).

Consulta tu PageRank de Google con Python

Iker — Fri, 05 Mar 2010 07:17:49 +0000

A todos los que os interese el SEO seguramente habréis consultado alguna vez el PageRank de vuestra pagina. La forma mas sencilla de obtenerlo es instalando la ToolBar de Google en vuestro navegador. Pero seguramente si queréis realizar un seguimiento de vuestra pagina a lo largo del tiempo necesitareis automatizar un proceso que consulte el PageRank. La API de acceso al PageRank de google no es abierta, pero googleando un poco (o con Wireshark) es posible obtener el modo de consultar este dato. Parece que Google no le interesa que consultemos este dato, por lo que modifica la API bastante a menudo. En este artículo, te muestro una implementación en Python de un cliente para consultar el PageRank de una pagina, usando la API mas actual.

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# GPL (C) 2010 Iker Perez de Albeniz
# ported in Python from the Php code by HM2K (http://www.hm2k.com/projects/pagerank)
# http://www.ikeralbeniz.net/2010/03/05/contulta-tu-pagerank-de-google-con-python/
import sys

import urllib

from urllib import urlencode

from pprint import pprint
def strToNum(Str, Check, Magic):

        Int32Unit = 4294967296

        length = len(Str);

        for i in range(0,length):

            Check *= Magic;

            if (Check >= Int32Unit):

                Check = (Check – Int32Unit * int(Check/Int32Unit))

                if Check < -2147483648:

                    Check = Check + Int32Unit

            Check += ord(Str[i])

        return Check

def hashURL(string):

        check1 = strToNum(string, 0×1505, 0×21)

        check2 = strToNum(string, 0, 0×1003F)

        check1 >>= 2

        check1 = ((check1 >> 4) & 0×3FFFFC0 ) | (check1 & 0×3F)

        check1 = ((check1 >> 4) & 0×3FFC00 ) | (check1 & 0×3FF)

        check1 = ((check1 >> 4) & 0×3C000 ) | (check1 & 0×3FFF)

        T1 = ((((check1 & 0×3C0) << 4) | (check1 & 0×3C)) <<2 ) | (check2 & 0xF0F )

        T2 = ((((check1 & 0xFFFFC000) << 4) | (check1 & 0×3C00)) << 0xA) | (check2 & 0xF0F0000 )

        return (T1 | T2);

def checkHash(hashnum):

        checkByte = 0;

        flag = 0;

        HashStr = ‘%s’ % hashnum

        length = len(HashStr)

        for i in range(0,length):

            Re = int(HashStr[(length – 1)-i])

            if (1 == (flag % 2)):

                Re += Re

                Re = int((Re / 10) + (Re % 10))
            checkByte += int(Re)

            flag = flag + 1
        checkByte %= 10

        if (0 != checkByte):

            checkByte = 10 – checkByte

            if (1 == (flag % 2) ):

                if (1 == (checkByte % 2)):

                    checkByte += 9

                checkByte >>= 1

        return ‘7%s%s’ %(checkByte,HashStr)
def getCh(url):

    return checkHash(hashURL(url))
def main():

    response = "Error: No URL defined.\nUsage: googrng.py  [[proxyuser:proxypass@]proxyhost:poxyport]"

    if len(sys.argv) > 1:

        myurl = sys.argv[1]

        url = "http://toolbarqueries.google.es/search?features=Rank&sourceid=navclient-ff&client=navclient-auto-ff&googleip=O;208.117.235.17;97&iqrn=8VdB&querytime=4P&orig=0X557&swwk=-1&ch=%s&q=info:%s" %(getCh(myurl),urllib.quote_plus(myurl))

        if len(sys.argv) > 2:

                proxies = {‘http’: ‘http://’+sys.argv[1]}

                f = urllib.urlopen(url, proxies=proxies)

        else:

                f = urllib.urlopen(url)

        response = f.read()

        f.close()

    print response
if __name__ == "__main__":

    main()

Sencillo Mirror de imágenes para tu Blog usando Google App Engine

Iker — Mon, 25 Jan 2010 16:59:53 +0000

Muchos de los Hostings que usamos para albergar nuestras webs tienen una limitación de ancho de banda mensual. Por tanto es bastante interesante disponer de un sistema de almacenamiento de imágenes que nos permita disponer de dichos archivos sin consumir ancho de banda de nuestro posting. En este artículo voy a explicar como realizar una pequeña aplicación para tener nuestro mirror de imágenes.

En este articulo no voy a dar por echo que el lector conoce y se maneja en el entorno Google App Engine por tanto me centrare en explicar el código utilizado.

main.py

import cgi
import os
from google.appengine.api import users
from google.appengine.ext import webapp
from google.appengine.ext.webapp.util import run_wsgi_app
import google.appengine.ext.webapp.util
from google.appengine.ext import db
from google.appengine.ext.webapp import template

class Mirror(db.Model):
name = db.TextProperty()
mime = db.TextProperty()
picture = db.BlobProperty(default=None)

class GetImage(webapp.RequestHandler):
def get(self,name):
  image = getImageFile(name)
  if (movie and movie.picture):
   self.response.headers['Content-Type'] = image.mime
   self.response.out.write(image.picture)
  else:
   self.response.out.write(“\r\n”)
   self.response.out.write(“\r\n\t\r\n”)
   self.response.out.write(“\t\t404 Not Found\r\n”)
   self.response.out.write(“\t\r\n\t\r\n”)
   self.response.out.write(“\t\t

Not Found

\r\n”)
self.response.out.write(“\t\t

The requested URL /%s was not found on this server.

\r\n”%name)
self.response.out.write(“\t\r\n\r\n”)

def getImageFile(name):
images = Mirror.all()
for image in images:
if image.name == name:
return image
return None

class MainHandler(webapp.RequestHandler):

def get(self):
  images = Mirror.all()
  template_values = {
   ’error’: “”,
   ’images’: images,
  }
  path = os.path.join(os.path.dirname(__file__), ‘form.html’)
  self.response.out.write(template.render(path, template_values))

def post(self):
  newimage = Mirror()
  imagedata = self.request.get(“image”)
  newimage.picture = db.Blob(imagedata)
  newimage.name = self.request.POST[u'image'].filename
  newimage.mime = self.request.POST[u'image'].type
  newimage.put()
  self.redirect(“/”)

def main():
application = webapp.WSGIApplication([('/', MainHandler),(r'/(.*)', GetImage)],debug=True)
run_wsgi_app(application)

if __name__ == ‘__main__’:
main()

Comos sabéis la aplicación que subimos a los servidores de Google corren en una SandBox donde no es posible escribir en disco, por tanto usaremos el sistema de almacenamiento de GAE para almacenar las imágenes. Por tanto primero de todo deberemos definir un modelo de datos.

class Mirror(db.Model):
name = db.TextProperty()
mime = db.TextProperty()
picture = db.BlobProperty(default=None)

En este caso definimos la estructura Mirror con sus propiedades name (nombre de la imagen), mime (mime de la imagen) y picture (la imagen en bruto).

Comos sabéis el sistema de paths de GAE es gestionado a través de SGIApplication por tanto para poder acceder a las imágenes almacenadas deberemos definir una política de paths. En este caso he definido la siguiente:

application = webapp.WSGIApplication([('/', MainHandler),(r'/(.*)', GetImage)],debug=True)
run_wsgi_app(application)

Es decir en caso de acceder a / se nos mostrara la pagina principal a través de la clase MainHandler y en caso de que se nos muestre / se nos mostrara el archivos a través de la classe GetImage.

La Clase MainHandler

class MainHandler(webapp.RequestHandler):

def get(self):
images = Mirror.all()
template_values = {
’error’: “”,
’images’: images,
}
path = os.path.join(os.path.dirname(__file__), ‘form.html’)
self.response.out.write(template.render(path, template_values))

def post(self):
newimage = Mirror()
imagedata = self.request.get(“image”)
newimage.picture = db.Blob(imagedata)
newimage.name = self.request.POST[u'image'].filename
newimage.mime = self.request.POST[u'image'].type
newimage.put()
self.redirect(“/”)

La clase MainHandler en caso de se accedida mediante GET mostrara el formulario HTML (form.html) y un listado de imágenes almacenadas, para hacer mas legible el código he optado por usar la funcionalidad de platillas que ofrece GAE.

El formulario envía su mismo path la imagen utilizando el método POST por tanto en el tetrodo POST de la clase MainHandler donde se almacenara la imagen enviada.

La Clase GetImage

class GetImage(webapp.RequestHandler):
def get(self,name):
image = getImageFile(name)
if (movie and movie.picture):
  self.response.headers['Content-Type'] = image.mime
  self.response.out.write(image.picture)
else:
  self.response.out.write(“\r\n”)
  self.response.out.write(“\r\n\t\r\n”)
  self.response.out.write(“\t\t404 Not Found\r\n”)
  self.response.out.write(“\t\r\n\t\r\n”)
  self.response.out.write(“\t\t

Not Found

\r\n”)
self.response.out.write(“\t\t

The requested URL /%s was not found on this server.

\r\n”%name)
self.response.out.write(“\t\r\n\r\n”)

La clase getImage recoge en el parámetro nombre de la función get el resultado de la expresión regular definida en el path r’(.*)’. Por tanto en este caso name será el nombre del archivo. Mediante la función getImageFile recorremos la base de datos y buscamos el archivo solicitado.

def getImageFile(name):
images = Mirror.all()
for image in images:
if image.name == name:
return image
return None

Si existe el archivo este es mostrado modificando la cabecera Content-Type con el mime del archivo para que el navegador lo muestre correctamente. En caso contrario se muestra un mensaje de error.

form.html

Upload File

Select File to Upload

Index of Files



 Name



{% for image in images %}

 {{image.name}}

{% endfor %}

Se trata de un ejemplo sencillo, no hay validación de imágenes duplicadas. Además seria posible enviar un código de control a través de la petición POST para evitar que nos suban imágenes de terceros o incluso usar el sistema de loging de Google.

GeoLocalizacion a través de la IP

Iker — Wed, 18 Nov 2009 10:04:00 +0000

Hoy en una lista de distribución alguien ha hecho una consulta sobre GeoLocalizacion a través de la IP. La verdad es que he hecho muchas pruebas con diferentes entornos de programación utilizando las librerías que proporciona MaxMind. Por eso en este artículo voy a explicar como implementar un sistema de GeoLocalicacion basado en IP usando PHP y Python.

PHP

Empezaremos por PHP ya que quizá sea la opción mas útil y mas fácil de implementar. En esta ruta podéis descargaros las librerías necesarias y algunos ejemplos:

http://geolite.maxmind.com/download/geoip/api/php/

Por tanto para empezar con el ejemplo nos bajaremos los siguientes archivos:
http://geolite.maxmind.com/download/geoip/api/php/geoipcity.inc
http://geolite.maxmind.com/download/geoip/api/php/geoipregionvars.php
http://geolite.maxmind.com/download/geoip/api/php/geoip.inc

También deberemos bajarnos la base de datos donde se encuentran todas las relaciones entre IP y su localización.

http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz

Por tanto copiamos los archivos .inc en nuestra ruta de pruebas /var/www/prueba y extraemos en GeoLiteCity.dat en la misma ruta. Finalmente creamos un GeoipTest.php con el siguiente código:

include(“geoipcity.inc”);
include(“geoipregionvars.php”);

$ip = $_SERVER['REMOTE_ADDR'];

$gi = geoip_open(“./GeoLiteCity.dat”,GEOIP_STANDARD);
$record = geoip_record_by_addr($gi,$ip);

echo “
”.$record->city;
echo “
”.$record->country_code;
echo “
”.$GEOIP_REGION_NAME[$record->country_code][$record->region];
echo “
”.latitude($record->latitude);
echo “
”.longitude($record->longitude);

Python

La mejor manera de instalar las librerías para python si estáis en un entorno Debian es usar apt-get:

En este caso la instalación guarda los diferentes archivos (librerías y base de datos) en sus rutas por defecto, por tanto nos abstraeremos de esa información (el caso de querer definir una ruta o usar una base de datos determinada usar la definición de GeoIP.Open comentada en el ejemplo).

apt-get install python-geoip

Para usar las librerías usaremos el siguiente ejemplo GeoipTest.py

Import GeoIP

ip =
gi = GeoIP.new(GeoIP.GEOIP_MEMORY_CACHE)
# gi = GeoIP.open(“/usr/local/share/GeoIP/GeoIPCity.dat”,GeoIP.GEOIP_STANDARD)
gir = gi.record_by_addr(ip)

if gir != None:
  print gir['city']
  print gir['country_code']
  print gir['region_name']
  print gir['latitude']
  print gir['longitude']

Con este código obtendríamos la misma información que en el caso anterior (con PHP).