Así que después de tener errores una y otra vez y de comprobar que mi aplicación aún funcionaba desde otros servidores, y que mi proveedor de hospedaje no me estaba bloqueando (después de lidiar con ellos durante 3 días ya que se me ocurrió la brillante idea de hospedar el blog con una cuenta sin acceso directo al shell) me decidí a contactarlos directamente y preguntar que pasaba:

Saludos cordiales,

Desde hace tiempo que disfruto de su sitio web y sus noticias, sin embargo noté que su sitio web no ofrece el formato RSS (el cual permite suscripción a sus titulares cada vez que hay actualización) y por ello escribí un programa el cual muestra el contenido del mismo en ese formato:

http://kodegeek.com/2009/03/rss-de-globovision-est-roto-ii-java-al.shtml

Sin embargo desde el día de ayer dicho programa está siendo bloqueado en su sitio web y me pregunto si es posible que el acceso a la página pueda ser re-establecido o si alguien puede trabajar conmigo para verificar que es lo que está mal.

Muchas gracias de antemano.

José Vicente Núñez Zuleta, Kodegeek.com

Desgraciadamente nunca obtuve respuesta. Así, ¿que puede hacerse en estos casos?

La solución técnica es fácil saltarse este tipo de restricciones (usando ‘proxies‘ con http y re-escribiendo el ‘user agent’ del código cada vez que me conecto), así que ni corto ni perezoso le agregué esa funcionalidad a mi programa:

/usr/java/jdk1.5.0_01/bin/java -DproxySet=true -DproxyHost=XXX.ZZZ.YYY -DproxyPort=8080 -DUser-Agent “Kodegeek1.0/Es Hora de que escriban un RSS” -classpath /home/kodeg2/jars/RSS-1.0.jar:/home/kodeg2/jars/jdom.jar:/home/kodeg2/jars/rome-0.9.jar:. com.kodegeek.blog.rss.GlobovisionHtml2Rss /home/kodeg2/public_html/rss/globovision.rss

Además de ponerle esta nueva línea de código:

URLConnection connection = globovisionURL.openConnection();
connection.setRequestProperty(“User-Agent”, System.getProperty(“User-Agent”, USER_AGENT));
reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));

Probé todo esto en 10 minutos. Básicamente ahora me conecto desde diferentes direcciones IP simulando diferentes navegadores. No es perfecto y aún puede ser bloqueado, sin embargo estos cambios van a requerir que ellos hagan más cambios, lo cual me lleva al siguiente punto:

¿No es más fácil programar un RSS en Globovisión para luego dárselo a sus usuarios que bloquear mi programa (a estas alturas sólo puedo asumir eso)?

Sin embargo no vale la pena el esfuerzo, al menos de mi parte. Es decir, si en vez de mejorar el producto lo que quieren hacer es alienar a sus usuarios entonces simplemente se leen las noticias en otro sitio y listo, sin más complicaciones (el Universal.com ofrece noticias de Venezuela con RSS desde hace años. Bueno, ellos fueron los pioneros en Venezuela así que no soprende mucho).

Así que a mis queridos lectores por ahora no pienso seguir ofreciendo el RSS de Globovision. Si piensan que mi programa es útil entonces envienles un correo electronico, pidiéndoles que desbloqueen a KodeGeek o mejor aún que implementen un RSS (¿habrán escuchado de web 2.0?)

En fin, los dejo con algunas memorias las cuales me recordaron lo divertido que fué trabajar en esto. Yo por ahora tengo otras ideas las cuales les quiero mostrar en el blog, ninguna de ellas asociadas a los riesgos de web scrapping

Buscar en otros sitios:

Blogalaxia:java, globovision, html to rss, censura, noticias, kodegeek
Technorati:java, globovision, html to rss, censura, noticias, kodegeek
To2blogs:java, globovision, html to rss, censura, noticias, kodegeek
Del.icio.us:java, globovision, html to rss, censura, noticias, kodegeek