KodeGeek

Si, después de tanto tiempo Globovisión se decidió hacerle un cariñito a su website poniendole RSS; No todo es perfecto, por ejemplo el enlace de los Blogs muestra el siguiente error:

Notice: Uninitialized string offset: 0 in /web_app/www/globo_core2/blogs.inc.php on line 20

Pero bueno, al menos ya no toca escribir nuestros propios parsers para bajar las noticias. Supongo que en algún momento corregiran los errores en su sitio web

Buscar en otros sitios:

Blogalaxia:html to rss, globovision, java, kodegeek
Technorati:html to rss, globovision, java, kodegeek
To2blogs:html to rss, globovision, java, kodegeek
Del.icio.us:html to rss, globovision, java, kodegeek

java, kodegeek globovision, html to rss, java, kodegeek

Bueno,

Así que después de tener errores una y otra vez y de comprobar que mi aplicación aún funcionaba desde otros servidores, y que mi proveedor de hospedaje no me estaba bloqueando (después de lidiar con ellos durante 3 días ya que se me ocurrió la brillante idea de hospedar el blog con una cuenta sin acceso directo al shell) me decidí a contactarlos directamente y preguntar que pasaba:

Saludos cordiales,

Desde hace tiempo que disfruto de su sitio web y sus noticias, sin embargo noté que su sitio web no ofrece el formato RSS (el cual permite suscripción a sus titulares cada vez que hay actualización) y por ello escribí un programa el cual muestra el contenido del mismo en ese formato:

http://kodegeek.com/2009/03/rss-de-globovision-est-roto-ii-java-al.shtml

Sin embargo desde el día de ayer dicho programa está siendo bloqueado en su sitio web y me pregunto si es posible que el acceso a la página pueda ser re-establecido o si alguien puede trabajar conmigo para verificar que es lo que está mal.

Muchas gracias de antemano.

José Vicente Núñez Zuleta, Kodegeek.com

Desgraciadamente nunca obtuve respuesta. Así, ¿que puede hacerse en estos casos?

La solución técnica es fácil saltarse este tipo de restricciones (usando ‘proxies‘ con http y re-escribiendo el ‘user agent’ del código cada vez que me conecto), así que ni corto ni perezoso le agregué esa funcionalidad a mi programa:

/usr/java/jdk1.5.0_01/bin/java -DproxySet=true -DproxyHost=XXX.ZZZ.YYY -DproxyPort=8080 -DUser-Agent “Kodegeek1.0/Es Hora de que escriban un RSS” -classpath /home/kodeg2/jars/RSS-1.0.jar:/home/kodeg2/jars/jdom.jar:/home/kodeg2/jars/rome-0.9.jar:. com.kodegeek.blog.rss.GlobovisionHtml2Rss /home/kodeg2/public_html/rss/globovision.rss

Además de ponerle esta nueva línea de código:

URLConnection connection = globovisionURL.openConnection();
connection.setRequestProperty(“User-Agent”, System.getProperty(“User-Agent”, USER_AGENT));
reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));

Probé todo esto en 10 minutos. Básicamente ahora me conecto desde diferentes direcciones IP simulando diferentes navegadores. No es perfecto y aún puede ser bloqueado, sin embargo estos cambios van a requerir que ellos hagan más cambios, lo cual me lleva al siguiente punto:

¿No es más fácil programar un RSS en Globovisión para luego dárselo a sus usuarios que bloquear mi programa (a estas alturas sólo puedo asumir eso)?

Sin embargo no vale la pena el esfuerzo, al menos de mi parte. Es decir, si en vez de mejorar el producto lo que quieren hacer es alienar a sus usuarios entonces simplemente se leen las noticias en otro sitio y listo, sin más complicaciones (el Universal.com ofrece noticias de Venezuela con RSS desde hace años. Bueno, ellos fueron los pioneros en Venezuela así que no soprende mucho).

Así que a mis queridos lectores por ahora no pienso seguir ofreciendo el RSS de Globovision. Si piensan que mi programa es útil entonces envienles un correo electronico, pidiéndoles que desbloqueen a KodeGeek o mejor aún que implementen un RSS (¿habrán escuchado de web 2.0?)

En fin, los dejo con algunas memorias las cuales me recordaron lo divertido que fué trabajar en esto. Yo por ahora tengo otras ideas las cuales les quiero mostrar en el blog, ninguna de ellas asociadas a los riesgos de web scrapping

Buscar en otros sitios:

Blogalaxia:java, globovision, html to rss, censura, noticias, kodegeek
Technorati:java, globovision, html to rss, censura, noticias, kodegeek
To2blogs:java, globovision, html to rss, censura, noticias, kodegeek
Del.icio.us:java, globovision, html to rss, censura, noticias, kodegeek

java, kodegeek censura, globovision, html to rss, java, kodegeek, noticias

No estoy seguro porqué pero no tengo tiempo hoy para acomodarlo:

May 30, 2008 3:10:03 AM com.kodegeek.blog.rss.GlobovisionHtml2Rss mainSEVERE: Cannot recover from this exceptionjava.lang.Exception: Unexpected problem  at com.kodegeek.blog.rss.GlobovisionHtml2Rss.fetch(GlobovisionHtml2Rss.java:98)  at com.kodegeek.blog.rss.GlobovisionHtml2Rss.main(GlobovisionHtml2Rss.java:62)Caused by: java.net.ConnectException: Connection refused  at java.net.PlainSocketImpl.socketConnect(Native Method)  at java.net.PlainSocketImpl.doConnect(PlainSocketImpl.java:333)  at java.net.PlainSocketImpl.connectToAddress(PlainSocketImpl.java:195)  at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:182)  at java.net.Socket.connect(Socket.java:507)  at java.net.Socket.connect(Socket.java:457)  at sun.net.NetworkClient.doConnect(NetworkClient.java:157)  at sun.net.www.http.HttpClient.openServer(HttpClient.java:365)  at sun.net.www.http.HttpClient.openServer(HttpClient.java:477)  at sun.net.www.http.HttpClient.(HttpClient.java:214)  at sun.net.www.http.HttpClient.New(HttpClient.java:287)  at sun.net.www.http.HttpClient.New(HttpClient.java:299)  at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:784)  at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:736)  at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:661)  at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:905)  at java.net.URL.openStream(URL.java:1007)  at com.kodegeek.blog.rss.GlobovisionHtml2Rss.fetch(GlobovisionHtml2Rss.java:88)

Asi que a quienes están suscritos el servicio, paciencia, ya veré porqué no está feliz

Blogalaxia:html to rss, globovision
Technorati:html to rss, globovision
To2blogs:html to rss, globovision
Del.icio.us:html to rss, globovision

Buscar en otros sitios:

Sin categoría globovision, html to rss

Bueno, he estado MUY ocupado debido a lo movido que ha estado el mercado de opciones estas últimas 3 semanas (incluyendo la caida estrepitosa de Bearn Sterns). Sin embargo hoy corregí un par de errores en el archivo de Ant y al fin monté la primera versión en Java del convertido de HTML a RSS de Globovisión (en un articulo anterior les mostraba el código y porqué me decidí a escribirlo).

La versión de Perl quedará en la historia

Buscar en otros sitios:

Blogalaxia:globovision, html to rss, java, rome
Technorati:globovision, html to rss, java, rome
To2blogs:globovision, html to rss, java, rome
Del.icio.us:globovision, html to rss, java, rome

java globovision, html to rss, java, rome

Siguiendo con la fiebre de los Mashups hechos con Yahoo Pipes, llegué al punto en que decidí escribir un convertidor de HTML a RSS para Globovision. Como recordaran, Globovision no ofrece un feed RSS de sus noticias nacionales, lo cual es una verdadera lastima.

Asi que con un poco de imaginación decidí escribir este programa en Perl:

 #!/usr/bin/perl use strict; use LWP::UserAgent; use HTML::Parser; use XML::RSS; my $rss = XML::RSS->new( version => '0.9' ); my $rssFile = "$ENV{HOME}/globovision.rss"; $rss->channel(  title        => "Globovision.com Venezuelan News",  link         => "http://globovision.com/",  description  => "Globovision.com news -Brough to you by http://KodeGeek.com"); # Be carefull with this one as nested elements can be ignored and # HTML normally is not well formed! my @ignore_tags = (  "head",  "h1",  "strong",  "form"    ); my $baseUrl = "http://globovision.com/"; # We are only interested on the news from the first page,as more news come up it will push older news my $newsUrl = "$baseUrl" . "history.php?cha=1&pag=1"; use constant DEFAULT_TIMEOUT  => 180; my $agent = LWP::UserAgent->new({   agent => 'GlobovisionHtml2Rss.pl/kodegeek 0.1',   timeout => DEFAULT_TIMEOUT      }); my $response = $agent->get($newsUrl); if (! $response->is_success) {  die  sprintf "[ERROR]: Unable to retrieve the HTMLfrom '%s', Status: '%s'", $newsUrl, $response->status_line; } my $parser = HTML::Parser->new(                         api_version => 3,    start_h => [ \&start_a, "tagname, attr" ],    text_h => [ \&get_headline, "dtext" ]    ); $parser->ignore_tags(@ignore_tags); my $headlineFlag=0; my $currUrl=undef; $parser->parse($response->decoded_content()); $rss->save($rssFile); # ****** Functions used on the script ******* # Get the headline sub get_headline {  my $headline = $_[0];  if ($headlineFlag) {   $rss->add_item( title => $headline, link => $currUrl);   $headlineFlag = 0;   $currUrl=undef;  } } # Identify news items sub start_a {  my $tagname = $_[0];  my %attr = %{$_[1]};  if ( ($tagname eq "a") && ($attr{href} =~ /^news.php?.nid=\d+/) ) {   my $url = $baseUrl . "/" . $attr{href};   $url =~ s/&/&/g;   $currUrl = $url;   $headlineFlag=1;  } } __END__ =head1 NAME GlobovisionHtml2Rss.pl - Script to convert Globovision.com Venezuelalocal news from HTML to RSS. =head1 DESCRIPTION I use a combination of Yahoo Pipes and Google Reader to keep meupdated about news of any kind. However, some websites like Globovision.com still don't have a proper RSS feed, so one dayI decided to create my own mashup :). =head1 AUTHOR Jose Vicente Nunez Zuleta (josevnz@kodegeek.com) =head1 BLOG KodeGeek - http://kodegeek.com =head1 LICENSE GPL cut

Lo más fastidioso de este ejercicio fué instalar EXPAT (para el procesamiento del XML del feed RSS) y el módulo parta crear el archivo RSS (me da un fastidio enorme aprender como es el formato resultante).

Mi proveedor de hosting gustosamente instaló el módulo XML::RSS. Después de probarlo un poco aquí les dejo las noticias de Globovisión para que la disfruten (planeo actualizar el lector de noticias cada 10 minutos para no matar a mi servidor).

Blogalaxia.com:globovision, rss, html to rss, perl, open source
Technorati.com:globovision, rss, html to rss, perl, open source

Sin categoría globovision, html to rss, open source, perl, rss