RSS de Globovision está roto II: Java al rescate

Bueno, varias horas después y sin respuesta de Lunar Pages, me decidí a reescribir el programa usando Java. Lo primero que intenté fue tratar de procesar la página de noticias de Globovision.com, pero quienes hicieron el código del sitio Web simplemente no saben de programación HTML, y el daño es demasiado para el ya sensible JTidy:

line 15 column 1 - Warning: unexpected </head> in <link>
line 20 column 165 - Warning: unexpected </a> in <img>
line 20 column 169 - Warning: unexpected </td> in <img>
line 23 column 97 - Warning: unexpected </td> in <img>
line 24 column 5 - Warning: unexpected </tr> in <img>
line 26 column 93 - Warning: unexpected </a> in <img>
line 26 column 97 - Warning: unexpected </td> in <img>
This document has errors that must be fixed before
using HTML Tidy to generate a tidied up version.

Asi que, ¿como procesar un documento que está así de roto en Java?

Bueno, el sitio de Java tiene mucha documentación y una de las cosas interesantes que muestran es como usar el parser que tiene Swing pero afuera de sus componentes gráficos. Esto resolvió perfectamente como obtener e iterar un documento roto, ahora sólo quedaba resolver el problema de escribir el RSS lo más fácil posible.

Después de buscar un poco me decidí a usar la librería Rome. No es pesada, lo único fastidioso es que requiere JDOM. Bueno, antes tuve que pedir que instalarn Expat para Perl, asi que mejor no me quejo :)

El código como siempre está en Source Forge, en el sitio de KodeGeek. Se los pongo aquí por comodidad:

 package com.kodegeek.blog.rss;

 import java.io.BufferedReader;
 import java.io.FileWriter;
 import java.io.InputStreamReader;
 import java.io.Reader;
 import java.io.Writer;
 import java.net.URL;
 import java.util.ArrayList;
 import java.util.Date;
 import java.util.List;
 import java.util.logging.Level;
 import java.util.logging.Logger;

 import javax.swing.text.AttributeSet;
 import javax.swing.text.MutableAttributeSet;
 import javax.swing.text.html.HTML;
 import javax.swing.text.html.HTML.Tag;
 import javax.swing.text.html.HTMLEditorKit.ParserCallback;
 import javax.swing.text.html.parser.ParserDelegator;

 import com.sun.syndication.feed.synd.SyndEntry;
 import com.sun.syndication.feed.synd.SyndEntryImpl;
 import com.sun.syndication.feed.synd.SyndFeed;
 import com.sun.syndication.feed.synd.SyndFeedImpl;
 import com.sun.syndication.io.SyndFeedOutput;


 /**
  * Program that converts the main summary news from Globovision.com
to RSS format.
  * @author josevnz at kodeeek.com
  * 
License: GPL
  * I use a combination of Yahoo Pipes and Google Reader to keep me
updated about news of any kind. However, some websites like
  * Globovision.com still don't have a proper RSS feed,
so one day I
decided to create my own mashup :).
  * It worked for a while until my Blog hosting provider
decided to
remove the XML::RSS Perl module I asked to install for me.
Because of that,
  * this Java version was born.
  */
 public final class GlobovisionHtml2Rss {

  public static final String
GLOBOVISION_URL = "http://globovision.com";
  public static final String NEWS_URL =
GLOBOVISION_URL + "/history.php?cha=1&pag=1";

  private static Logger log;
  private static final long DEFAULT_WAIT = 1000L*60L*5L;

  // Do not alow instances of this class to be created
  private GlobovisionHtml2Rss() {
   // Empty
  }

  static {

   log = Logger.getLogger(GlobovisionHtml2Rss.class.getName());
  }

  /**
   * @param args
   */
  public static void main(String[] args) throws Exception {

   try {
    fetch(NEWS_URL, args[0]);
   } catch (Exception exp) {
    log.log(Level.SEVERE, "Cannot recover from this
exception", exp);
   }
  }

  /**
   * Try to fetch the URL and convert it to a Document
   * @param url
   * @param outfile
   * @return
   * @throws Exception
   */
  private static void fetch(String url, String outfile) 
throws Exception {
   Reader reader = null;
   Writer writer = null;
   SyndFeed feed;
   List <SyndEntry>news = new ArrayList<SyndEntry>();
   try {
    feed = new SyndFeedImpl();
    feed.setAuthor("Jose Nunez, josevnz at kodegeek.com");
    feed.setDescription("Globovision.com news - Brough to
you by http://KodeGeek.com");
    feed.setFeedType("rss_1.0");
    feed.setLink("http://www.kodegeek.com/rss/globovision.rss");
    feed.setTitle("Globovision.com Venezuelan News");
    URL globovisionURL = new URL(url);
    reader = new BufferedReader(
new InputStreamReader(globovisionURL.openStream()));
    ParserDelegator parser = new ParserDelegator();
    parser.parse(reader, new GlobovisionHtml2Rss().
new GlobovisionParser(news), false);
    if (news.size() > 0) {
     feed.setEntries(news);
     writer = new FileWriter(outfile);
     SyndFeedOutput feedOut = new SyndFeedOutput();
     feedOut.output(feed, writer);
    }
   } catch (Exception exp) {
    throw new Exception("Unexpected problem", exp);
   } finally {

    if (reader != null) {
     reader.close();
    }

    if (writer != null) {
     writer.close();
    }
    news.clear();
   }
  }

  /**
   * Helper class used to parse Globovision news website
   * @author josevnz
   */
  class GlobovisionParser extends ParserCallback {

   private boolean getHeadline = false;
   private AttributeSet attribute;
   private List <SyndEntry>entries;

   public GlobovisionParser(List <SyndEntry>entries) {
    this.entries = entries;
   }

   /**
    * Globovision HTML is so broken than we will ignore the errors
silently.
    * Increase the logger verbosity to see the errors
    */
   public void handleError(String errorMsg, int pos) {
    log.log(Level.FINE, String.format("%s, %d", errorMsg, pos));
   }

   /**
    * Looking for:  tag = "a" and  attr{href} =~ /news.php?nid=\d+/
    * @param t Tag
    * @param a Attribute set
    * @param pos position
    */
   public void handleStartTag(Tag t, MutableAttributeSet a, int pos) {
    if (
      (t == Tag.A) &&
      (a.getAttribute(HTML.Attribute.HREF) != null)
&&
      (a.getAttribute(HTML.Attribute.HREF).
toString().matches("news\\.php\\?nid=\\d+"))
    ) {
      attribute = a.copyAttributes();
      log.log(Level.FINE,
String.format("Tag: %s, attributes: %s", t, a));
      getHeadline = true;
    }

   }

   /**
    * Get the headline and also write the RSS entry
    * @param data Text next to the headline
    * @param pos position
    */
   public void handleText(char[] data, int pos) {
    if (getHeadline) {
     SyndEntry entry = new SyndEntryImpl();
     entry.setLink(String.format("%s/%s",
GLOBOVISION_URL, attribute.getAttribute(HTML.Attribute.HREF).toString()));
     entry.setPublishedDate(new Date());
     entry.setTitle(new String(data));
     entries.add(entry);
     getHeadline = false;
     attribute = null;
    }
   }



  }

 }

Debo admitir que el proceso para volver a crear el RSS de Globovision desde Java fué más complejo y requirió más código que el de Perl (aunque terminé mi nueva versión antes que Lunar Pages reemplazara el modulo perdido, unas cuantas horas después) . Pero por otro lado, aprendí más trucos con este y al menos ya no tengo que preocuparme por pedirles que instalen módulos no estandares.

Nota a los subscriptores del la fuente de Globovision en RSS: La versión vieja ya funciona de nuevo. Pienso montar la nueva dentro de poco con nuevas mejoras. Una de ellas es que este tipo de error no afectará el programa (aunque no doy ningún tipo de garantias por soporte gratis :)).

To Lunar Pages: Response to this issue was kind of slow, thanks for fixing the issue on my account anyways.

Buscar en otros sitios:

Blogalaxia:java, perl, XML::RSS, HTMLEditorKit, Lunar Pages
Technorati:java, perl, XML::RSS, HTMLEditorKit, Lunar Pages
To2blogs:java, perl, XML::RSS, HTMLEditorKit, Lunar Pages
Del.icio.us:java, perl, XML::RSS, HTMLEditorKit, Lunar Pages