Fact-DB importiert

Ich habe gerade in 2-3 stündiger Kleinarbeit meine Fact-DB mal in eine sqlite-Datenbank gepackt. Die ursprüngliche Textdatei war auf mehr Arten kaputt als man es für Möglich halten sollte.

Da ich nie ein bestimmtes Format festgelegt hatte und nur einfach immer weiter Zeilen in eine Textdatei geworfen hab, bestand sie aus den verschiedensten Textformaten. Mal waren die Sonderzeichen in UTF8, mal in einem ISO-Format, zu gewissen Teilen waren die Umlaute durch mehrmaliges konvertieren derartig kaputt dass plötzlich alle durch die gleiche Bitfolge repräsentiert wurden (das kann man nichtmal mit dem besten Script wirklich automatisch beheben, allerhöchstens durch Vergleichen mit einem Wörterbuch aber such da mal Sachen wie "pöse").
Zeilenumbrüche waren natürlich auch in den verschiedensten Formaten gemischt, kein Wunder, Sacred-Chao lief mal unter Windows, mal unter Linux und manchmal wurden Sachen von Hand nachbearbeitet. Weit über 2400 Zeilen an Text zu überarbeiten macht wirklich keinen Spaß. Dies gilt doppelt wenn nichtsichtbare Zeichen verändert werden müssen.

Ziel der ganzen Aktion ist natürlich auch die Datenbank um andere Angaben zu erweitern (Zeitpunkt des Facts, Channel, ID) und das ganze System von meinem mies programmierten PHP-Bot auf eine vernünftige Platform zu schieben. Von Snookie stammte z.B. der Hinweis auf das Twisted-Framework für Python mit dem sich das ziemlich leicht realisieren lässt. Beispielcode liegt aus der selben Quelle auch schon fast funktionsfähig vor.

Die nächsten Schritte sind dann also den Bot um sinnvolle Abfragefunktionen zu erweitern bzw. letzte Zeichencode-Probleme zu beheben, danach eine Ausgabe als RSS/Atom-Dateien auf meinen Webspace zu werfen wenn ein fact eingestellt wird.
Wenn dann noch mein Server endlich läuft kann ich mich auch irgendwann an zusätzliche Funktionen machen. Z.B. wäre ein Jabber-Interface für den Bot auch eine schöne Sache.

"Es gibt viel zu tun! Lassen wir es sein!"