nodejs twitter-node

twitter streaming api

Como muchos sabran, hace un tiempo el steaming api de twitter solo funciona con https.

Para nodejs existe el modulo twitter-node, que permitia consumir este streaming, pero dejo de funcionar por el tema del https.

Aca adjunto el index.js de ese modulo (el codigo js que lo hace funcionar) fixeado para que trabajo con https.

Como fix extra, también deje habilitado el debug (propiedad que existía pero no hacia nada).

//Fixed by Cesar Casas (lortmorris@gmail.com)
var https         = require('https'),
    query        = require('querystring'),
    Parser       = require('./parser'),
    EventEmitter = require('events').EventEmitter,
    Buffer       = require('buffer').Buffer;

// process.mixin is gone, a function for replacement
function extend(a, b) {
  Object.keys(b).forEach(function (key) {
    a[key] = b[key];
  });
  return a;
}

// Creates a streaming connection with twitter, and pushes any incoming
// statuses to a tweet event.
//
// options - optional Object that specifies custom configuration values.
//
// Valid option keys:
//
// port      - Integer of proxy port
// host      - String or ip address of the proxy server.  Defaults to 'stream.twitter.com'.
// path      - String of the base path for the request.
// action    - String part of the URL that specifies what to query for.
// track     - Array of keywords to filter.  See track()
// following - Array of userIDs to filter.  See follow()
// locations - Array of lat/long tuples.  See location()
// params    - Extra HTTP params Object to send with the request.
// user      - String Twitter login name or email.
// password  - String Twitter password.
//
// Returns TwitterNode instance.
var TwitterNode = exports.TwitterNode = function(options) {
  EventEmitter.call(this);
  if(!options) options = {};
  var self           = this;
  this.port          = options.port      || 80;
  this.host          = options.host      || 'stream.twitter.com';
  this.path          = options.path      || '/1/statuses/';
  this.action        = options.action    || 'filter';
  this.trackKeywords = options.track     || [];
  this.following     = options.follow    || [];
  this.locations     = options.locations || [];
  this.params        = options.params    || {};
  this.user          = options.user;
  this.password      = options.password;
  this.headers       = { "User-Agent": 'Twitter-Node' };
  this.debug         = options.debug || false;
  this.parser        = new Parser();
  this.parser.addListener('object', processJSONObject(this));
  this.parser.addListener('error', function (error) {
    self.emit('error', new Error('TwitterNode parser error: ' + error.message));
  });
  if (options.headers) {
    extend(this.headers, options.headers);
  }
}

TwitterNode.prototype = Object.create(EventEmitter.prototype);

// Track the following keyword.  If called multiple times, all words are sent
// as a comma-separated parameter to Twitter.
//
// See: http://apiwiki.twitter.com/Streaming-API-Documentation#track
//
// word - String word to track.
//
// Returns nothing.
TwitterNode.prototype.track = function track(word) {
  this.trackKeywords.push(word);
  return this;
};

// Follow the given twitter user (specified by their userID, not screen name)
// If called multiple times, all userIDs are sent as a comma-separated
// parameter to Twitter.
//
// See: http://apiwiki.twitter.com/Streaming-API-Documentation#follow
//
// userID - Integer userID to track.
//
// Returns nothing.
TwitterNode.prototype.follow = function follow(userId) {
  this.following.push(userId);
  return this;
};

// Match tweets in the given bounding box.
//
// See: http://apiwiki.twitter.com/Streaming-API-Documentation#locations
//
// Example: location(-122.75, 36.8, -121.75, 37.8) // SF
//
// lng1, lat1 - southwest corner of the bounding box.
// lng2, lat2 - northeast corner.
//
// Returns nothing.
TwitterNode.prototype.location = function location(lng1, lat1, lng2, lat2) {
  this.locations.push(lng1, lat1, lng2, lat2)
  return this;
};

TwitterNode.prototype.stream = function stream() {
  if (this._clientResponse && this._clientResponse.connection) {
    this._clientResponse.socket.end();
  }

  if (this.action === 'filter' && this.buildParams() === '') return;

	var headers = extend({}, this.headers),
      twit    = this,
      request;

  headers['Host'] = this.host;

  if (this.user) {
    headers['Authorization'] = basicAuth(this.user, this.password);
  }

var options = {
  host: this.host,
  port: this.port,
  path: this.requestUrl(),
  method: 'GET',
  headers : headers
};

if(this.debug) console.log(options);

var req = https.request(options, function(res) {

if(this.debug)  console.log("statusCode: ", res.statusCode);
if(this.debug)  console.log("headers: ", res.headers);

  res.on('data', function(d) {
    twit._receive(d);
    if(this.debug) process.stdout.write(d);
  });

  res.on('response', function(d) {
	    twit._clientResponse = d;
	    if(this.debug) process.stdout.write(d);
	  });

  res.on('end', function() {
      twit.emit('end', this);
      twit.emit('close', this);
    });

});

req.end();

req.on('error', function(e) {
  console.error(e);
});

  return this;
};

// UTILITY METHODS

// Passes the received data to the streaming JSON parser.
//
// chunk - String data received from the HTTP stream.
//
// Returns nothing.
TwitterNode.prototype._receive = function(chunk) {
  this.parser.receive(chunk);
  return this;
};

// Builds the URL for the streaming request.
//
// Returns a String absolute URL.
TwitterNode.prototype.requestUrl = function() {
  var url =  this.path + this.action + ".json" + this.buildParams();
	console.log('make url: ', url);

	return url;
};

// Builds the GET params for the streaming request.
//
// Returns URI encoded string: "?track=LOST"
TwitterNode.prototype.buildParams = function() {
  var options = {};
  extend(options, this.params);
  if (this.trackKeywords.length > 0) options.track = this.trackKeywords.join(",");
  if (this.following.length > 0)     options.follow = this.following.join(",");
  if (this.locations.length > 0)     options.locations = this.locations.join(",");
  if (options.track || options.follow || options.locations) {
    return "?" + query.stringify(options);
  }
  return "";
};

// Base64 encodes the given username and password.
//
// user - String Twitter screen name or email.
// pass - String password.
//
// Returns a Basic Auth header fit for HTTP.
var basicAuth = function basicAuth(user, pass) {
  return "Basic " + new Buffer(user + ":" + pass).toString('base64');
};

// Creates a callback for the object Event of the JSON Parser.
//
// twit - an instance of this TwitterNode.
//
// Returns a function to be passed to the addListener call on the parser.
var processJSONObject = function processJSONObject(twit) {
  return function(tweet) {
    if (tweet.limit) {
      twit.emit('limit', tweet.limit);
    } else if (tweet['delete']) {
      twit.emit('delete', tweet['delete']);
    } else {
      twit.emit('tweet', tweet);
    }
  };
};

Actualizar android en tablets chinas, un lindo desafío

Actualmente es facil encontrar tablets chinas de poca capacidad, pero a precios muy economicos.

Un gran ejemplo son las tablets WonderMedia, que por 100 dolares intentan resolver todo a base de hardware muy… limitado.

Normalmente suelen tener micros entre 400 y 1G, memoria de 256 o 512, webcam de 0,3 o 1M, pantallas de 7,8 y 10.1′, y la parte mas divertida, un android viejo y choto para poder funcionar en esas configuraciones de hardware tan malas.

Por suerte el precio lo compensa todo, van desde los 500 pesos argentinos (unos 120 dolares) hasta unos 2.000 pesos argentinos (unos 470 dolares).

Compre una de 750 pesos para mi hijo, una wondermedia de 256 de ram, micro de 800, y un horrible android 2.2 sacado de una pelicula de miedo.

Obviamente, lo primero que queria era cambiar ese android que ni market traia, así que comence a investigar como hacia tiempo no lo hacia.

Buscando y buscando, encontre un gran sitio web, http://techknow.freeforums.org/tablets-f7.html , el templo de las tablets podriamos decir.

Les dejo unos tips básicos.

Como se actualiza android en una tablet?

El proceso es medianamente facil gracias a un package que esta disponible en techknow.freeforums.org.

Hay que ejecutar una aplicacion (disponible para windows y linux), quemar una imagen en la microsd externa de la tablet (no traen por defecto, asi que busquemos una), insertar la microsd, prender la tablet y automaticamente reconoce que hay un SO a instalar.

Basicamente lo que vamos a instalar es un android 100% compilado y optimizado para la tablet puntual que tengamos, por eso al ejecutar el instalador de la imagen en la microsd, tenemos que seleccionar correctamente que version queremos.

Algunos tips son:

• Formatear la microSD
• Obviamente insertemos la microsd cuando la tablet esta apagada
• El proceso suele durar unos 10 minutos, asi que no desesperar
• Cuando reiniciamos por primera vez, veremos el logo de android, despues un loading con la leyenda “oberoid” y si todo sale bien finalmente el desktop de android. Si pasan mas de 5 minutos y sigue en “loading” es que no funciono.
• Normlamente, no funciona porque hemos seleccionado mal la distro a instalar. Las versiones de android vienen compiladas y optimizadas para cada marca/modelo/color de led , asi que tenemos que elegir la correcta.
• Si todo funciono, pero no funciona el touch o la resolucion no esta bien es que hemos elegido mal la opcion de distro.

Como saber que tablet tengo?

Normalmente estas tablets “chinas” no tienen ni marca ni modelo, ya que son ensambladas por empresas que pocos tienen que ver con los fabricantes, pero existe una forma de saber “que tablet tenemos”.

Las caracteristicas son:

• Size de pantalla (7,8, 10, 10.1 pulgadas)
• Color del led de encendido (Verde o azul)
• Color de la webcam
• Color del jack de audio

Como saber que tablet tengo

Tabien les adjunto una version del software que a mi personalmente me funciono para una eken con micro wm8650.

Descargar WM8650 Universal Uberoid v9.1

El arte de la intrusion

El Arte de la Intrusion es uno de los dos libros publicados hasta el momento por Kevin Mitnick.

Para los que no sepan quien es Kevin Mitnick, les dare una breve introducción.

Kevin Mitnick es un hacker famoso de USA, quizas le mas famoso y respetado de todo el mundo.

A los 16 arranco su carrera delictiva como hacker, experto en redes, con conocimiento en electrónica, genio de la telefonía, Kevin eran tan peligroso que fue restringido de poder usar un teléfono o computadora.

Estuvo en prisión varias veces, fue acusado de robos millonarios en concepto de información (tanto por robar con su computadora como en persona), y se le conocen muchos “trucos” que han dejado pasmado a mas de un gran “hacker”.

El libro básicamente trata sobre relatos de hackers en todo el mundo, sobre todo el proceso de hacking a un dispositivo/sistema, cuales fueron los problemas encontrados, como los lograron resolver, como se llevo el hacking, cuales fueron las consecuencias, etc.

En teoria el mismo Kevin fue el que entrevisto a los que aportaron las historias, haciendo el mismo las pregunas tecnicas, y chequeando una y otra vez todos los puntos de la historia para saber si son verdaderas.

Les recomiendo leer el libro a cualquier persona, no es necesario ser un experto programador para entenderlo, solo hay que tomarse el tiempo de ser cuidadoso con las palabras que no sepamos y buscarlas en google.

Sin dudas, es una gran oportunidad, se lee medianamente facil, y esta muy recomendado por la comunidad.

Por cierto, esta en castellano.

El arte de la intrusion (Descargar)

PD: Kevin, estoy divulgando la palabra, no haciendo piratería.

nodejs

Los que programan en NodeJS seguramente habrán notado lo dificil que es seguir el flujo del programa cuando tenemos varias llamadas a funciones que realizan operaciones asincronicas.
Los casos mas comunes que se suelen dar son donde tenemos que realizar 2 o mas operaciones asincrónicas en serie o en paralelo y debemos determinar cuando se han finalizado de procesar.
Para ello hay varias librerías que nos ayudan a escribir código mas legible y ahorrarnos un poco de indentación, pero la verdad es que, en mi opinión, la mayoría son demasiado complejas y tienen demasiados “features” para resolver problemas sencillos.
Basandome en algunas de estas librerías y algunos conceptos que leí por ahí, desarrollé unas utilidades simples.

1) forEachAsync: Permite realizar una operación asincrónica en cada iteración y continuar a la siguiente al finalizarla.

Array.prototype.forEachAsync = function(iterator, then) {
	var self = this;
	var loop = function(i) {
		if (i < self.length) {
			iterator(self[i], function() {
				loop(i+1);
			});
		}
		else {
			then();
		}
	};
	loop(0);
};

[1,2,3,4,5].forEachAsync(function(item, next) {
	console.log('item ' + item);
	setTimeout(function() {
		next(); // avanzamos al siguiente item, alias ‘continue’
	}, 500);
}, function() {
	console.log('end');
});

Array.prototype.forEachAsyncParallel = function(iterator, max, then) {
	var self = this;
	var count = 0, index = 0;
	var loop = function() {
		if (index == self.length && count == 0) then();
		else if (index < self.length) {
			count++;
			iterator(self[index++], function() {
				count--;
				loop();
			});
		}
	};
	if (self.length == 0) then();
	for (var i = 0, len = Math.min(max, self.length); i < len && index < self.length; i++) loop();
};

[1,2,3,4,5].forEachAsyncParallel(function(item, next) {
	console.log('item ' + item);
	setTimeout(function() {
		next();
	}, 500);
}, 2, function() {
	console.log('end');
});

function searchApi(url, callback) {
	// async op...
}
function readFile(path, callback) {
	// async op...
}

// creamos funciones especializadas
function curriedSearchApi(url) {
	return future(searchApi, arguments, 1);
}
function curriedReadFile(path) {
	return future(readFile, arguments, 1);
}

// iniciamos las operaciones...
var apiSearch = curriedSearchApi('http://google.com?q=lalala');
var fileReader = curriedReadFile('/etc/passwd');

// mas adelante...
apiSearch(function(err, result) {
	fileReader(function(err, result) {
		// terminaron ambas operaciones, hacemos algo con ambos resultados
	});
});

function future(fn, args, i) {
	var done, err, result;
	var cb = function(e, r) {
		done = true;
		err = e,
		result = r;
	};
	args = Array.prototype.slice.call(args);
	args[i || 1] = function(e, r) {
		cb(e, r);
	};
	fn.apply(this, args);
	return function(_) {
		if (done) _(err, result);
		else cb = _;
	};
}

gimp - editor de imagenes portable

Muchos programadores nos vemos en la necesidad de maquetar mas de una vez, es por ello que voy a intentar de dar soluciones a problemas simples que me fueron surgiendo en materia de maquetado, cortar imagenes, etc.

Todo lo resuelvo con gimp, tanto si estoy en linux como en windows, ya que me estoy familiarizando con gimp y al ser portable me parece mas sano que aprender a usar photoshop.

Una de las tareas mas comunes es la necesidad de escalar una imagen, por ejemplo, un background de una botonera o algo parecido.

El tema de escalar es que no queda bien si mantenemos las propociones, y si no las mantenemos se nos rompe todo.

Para esta tarea, gimp cuenta con un plugin que es simplemente fantastico, se llama Liquid Rescale, y pueden bajarlo desde aca.\

Tenemos versiones para Linux, Windows y Mac.

Para usarlo, simplemente vamos a Layer (en ingles, en spanish es “capa”), y hacemos click en Liquid Rescale.

Se nos abre una ventana parecida a esta

Liquid Rescale - Escalar imagenes en gimp

Tenemos varias opciones, pero las de la izquierda son las que casi siempre usaremos.

Buscando un rato en Google me topé con LightVC. Es un framework muy básico y livianito que solamente implementa las vistas y los controladores de lo que sería un patrón MVC. Precisamente está pensado para sitios que, o bien no necesitan interactuar con una DB (como en mi caso) o que quieren integrarse fácilmente con un ORM.

Usarlo es muy sencillo. Simplemente nos bajamos del sitio web el esqueleto de una aplicación que zippeado pesa sólo 24 KB, lo descomprimimos, apuntamos nuestro virtual host a la carpeta webroot de nuestro proyecto y ya tenemos un ejemplo andando.

Luego tenemos dos archivos de configuración: config/application.php con algunas constantes e includes básicos y config/routes.php donde definimos un array para el ruteo de los requests. Les muestro el ejemplo que viene al desargar el framework que es bastante claro:

 parseInfo
$regexRoutes = array(

	// Map nothing to the home page.
	'#^$#' => array(
		'controller' => 'page',
		'action' => 'view',
		'action_params' => array(
			'page_name' => 'home',
		),
	),

	// Allow direct access to all pages via a "/page/page_name" URL.
	'#^page/(.*)$#' => array(
		'controller' => 'page',
		'action' => 'view',
		'action_params' => array(
			'page_name' => 1,
		),
	),

	// Map controler/action/params
	'#^([^/]+)/([^/]+)/?(.*)$#' => array(
		'controller' => 1,
		'action' => 2,
		'additional_params' => 3,
	),

	// Map controllers to a default action (not needed if you use the
	// Lvc_Config static setters for default controller name, action
	// name, and action params.)
	'#^([^/]+)/?$#' => array(
		'controller' => 1,
		'action' => 'index',
	),

);
?>

Luego tenemos una carpeta views y una carpeta controllers donde podremos poner nuestras vistas y controladores respectivamente. El esqueleto de la aplicación ya viene con ejemplos de todo esto, lo cual hace muy sencillo comprender cómo funcionan las cosas y dejar nuestra aplicación funcionando en forma muy rápida.

Así que ya saben, la próxima vez que tengan que hacer un sitio muy básico y quieran utilizar un framework muy sencillo que les ahorre trabajo en algunas tareas básicas, peguenle una mirada a LightVC.

Timezone, consejos y trucos para php, mysql y nodejs

Demian Rodriguez nos da unos consejos para minimizar estos problemas.

1) Establecer como timezone default “UTC” tanto en el server como en la base de datos.
Ej en Debian:

#dpkg-reconfigure tzdata
#restart mysql

2) Para el caso de MySQL, las columnas de tipo DATE, DATETIME o TIME no almacenan info sobre el timezone, uno es responsable de saber en que formato esta la fecha para despues mostrarla correctamente al usuario. Para esto es recomendable guardar todas las fechas en UTC.

3) Al mostrar una fecha al usuario se debe convertir al timezone adecuado. Como?

PHP:

// mostrar
$fechaDeMysql = "2011-06-01 08:30:20";
$date = new DateTime($fechaDeMysql, new DateTimeZone("UTC"));
$date->setTimeZone(date_default_timezone_get());
$date->format(...);

// guardar
$fechaQueVieneDeNoseDonde = 'Mon, 15 Aug 2005 15:52:01 +0300'; // ya tiene timezone
$date = new DateTime($fechaQueVieneDeNoseDonde);
$date->setTimeZone(new DateTimeZone("UTC"));
// guardarla en mysql...

NodeJS:
Si aca no mostramos nada al usuario es re facil, no hay que hacer nada
El proceso usa el tz del SO. Pero tambien lo podemos forzar seteando la variable de entorno al principio del script:

process.env.TZ = 'UTC';

Como obtener una fecha de la db y mostrarla al usuario en el TZ correcto? No se, es una incógnita como sabe JS en que TZ está la fecha que saque de la db. Lo pregunté aca: https://github.com/felixge/node-mysql/pull/55

// guardar
/**
 * metodo re copado para formatear fechas 
 * return formatted date as yyyy-mm-dd H:i:s using UTC
 */
Date.prototype.formatUTC = function() {
	function pad(n) {
		return n < 10 ? '0' + n : n
	}
	var d = this;
	return d.getUTCFullYear()+'-'
	  + pad(d.getUTCMonth()+1)+'-'
	  + pad(d.getUTCDate())+' '
	  + pad(d.getUTCHours())+':'
	  + pad(d.getUTCMinutes())+':'
	  + pad(d.getUTCSeconds());
};

var fechaParaInsertar = new Date('Mon, 15 Aug 2005 15:52:01 +0300').formatUTC();

youtube censura a pedido de los gobiernos

Simpre pensamos que youtube bloquea todos aquellos videos con contenido sexual, terrorista o cualquier cosa que infrinja sus terminos y condiciones (entre la mas importante de las razones esta el derecho de autor). Pues bien, no solo son esas las razones aparentemente, sino que ahora le esta “dando caso” a los gobiernos que presionan para que, por ejemplo, no se puedan ver videos con protestas sociales masivas (normalmente se usan para hacer campanias virales).

Es dificil creer que en un mundo virtual, donde todo es libre, donde el universo creado es practicamente infinito…. exista la sensura (en especial en un servicio masivo, donde todos colaboran y comparten).

No es noticia que las grandes empresas invierten millones de dolares en herramientas que les permitan bloquear contenido, detectarlo lo antes posible y sobre todo, empaquetar esas dos acciones y venderlas extraoficialmente como servicios.

La censura en todos sus aspecto es algo que no deberia existir, es un instrumento de un aparato que intenta simplemente decirnos como pensar y actuar,  ejemplo de ello es el gobierno de gan Bretana, que pidio a youtube eliminar los terminos de busqueda y censurar los videos de la ultima protesta popular en contra del recorte de presupuesto.

Podriamos ser mas fatalistas y pensar que mientras grandes empresas tengan el control total de nuestra informacion (google y facebook mas que nada) no podremos evitar la venta de informacion, la censura, etc. pero no creo que el total de la responsabilidad sea de la corporaciones, como usuario de internet tenemos un cierto grado de responsabilidad en todo el asunto.

Protesta contra el papa

ant video downloader espia nuestra informacion de navegacion

Simon Newton, un programador, ha descubierto que la extension Ant Video Download recolecta informacion de las paginas visitadas y las envie a su autor.

Se pude detectar como dicha extension hacia request hacia el dominio rcp.ant.com.Podemos pensar que la empresa Ant esta “robando” informacion sin permiso a fines de lograr estadisticas (que como todos sabemos son muy valiosas en el mercado), o quizas estan llendo mas lejos aun.Ant es una empresa que posee como principal producto un buscador web, asi que no nos extrania que este robando informacion de navegacion para poder ofrecer una mejor calidad de resultados (y ser mas competitiva en el mercado de los buscadores).
Sea cual sea el fin, esta claro que el mundo de las extensiones se esta volviendo tan amplio que es dificil saber en quien confiar y en quien no, como asi tambien es hora de demandar un poco mas de control en addons.mozilla.org.
En teoria la extension ya no esta disponible, sin embargo al hacer la busqueda hace unos minutos la he encontrado en su mas reciente version lista para instalar.
Hay que tener mas cuidado que las extensiones que se instalan!.

Descargar La biblia de JavaScript en formato PDF

La biblia de JavaScript Gold Edition para bajar en PDF.

Este libro pasado a PDF es sin duda una de las mas importantes referencias de javascript.

A toda aquella persona que quiera perfeccionarse en javascript o quiera aprender de cero el lenguaje que dominara la tecnologia en los proximos anios, les recomiendo intentar darle una lectura al libro.

En el libro se cubren basicamente la totalidad de los aspectos mas importante del lenguaje JavaScript, desde los conceptos mas simples (incluso conceptos basicos de programacion) hasta lo mas avanzado, dejando al lector un conocimiento realmente importante, con el cual se sentira libre de desarrollar cualquier aplicacion, tanto web como desktop.

Recomiendo tambien la lectura no solo para los que desean aprender javascript para el lado del cliente, sino tambien para aquellos que inician en la novedosa y poderosa tecnologia NodeJS.

biblia de javascript gold edition download