Python Developer

URL mit regulären Ausdrücken überprüfen

2008-11-19T05:59:00.004+01:00

Das kann man immer wieder gut gebrauchen: Die Überprüfung ob eine Zeichenkette eine korrekte URL ist.
def is_valid_url(url): """Check des String url""" validUrl = """ ^(http|https)://[a-z0-9]+([-.]{1}[a-z0-9]+)*.[a-z]{2,5}(([0-9]{1,5})?/?.*)$""" if re.match(validUrl, url): return True else: return False

Um eine völlige Sicherheit zu erreichen, müsste man die TLD in einem zweiten Schritt gegen eine Datenbank mit gültigen TLD laufen lassen.

(Gibt es für die Problemstellung nicht auch eine "eingebaute" Lösung?)

Python Websniffer

2008-06-15T16:14:00.000+02:00

Der Grundstein für den Python Websniffer ist gelegt. Python bringt viele Module schon mit, sodass man igentlich nur die passenden finden muss und schon geht es mit ein paar Zeilen Code ab. Die Funktionalitäten sollen im Beta-Release den Umfang von http://web-sniffer.net/ haben. Darüber hinaus möchte ich noch ein paar zusätzliche Features einbauen, v.a. wenn es um Redirects geht. Wenn man beispielsweise im nachfolgenden Code den Wert der Variablen domain von "www.rentaseo.de" auf "rentaseo.de" setzt, erhält man ganz korrekt einen Status 301 (Moved Permanently). Exceptions gehören auch noch aufgefangen etc ...

import httplib import string import os opera = {"User-Agent":"Opera/9.20 (Windows NT 6.0; U; en)", "Accept-Charset":"ISO-8859-1,UTF-8;q=0.7,*;q=0.7", "Cache-Control":"no", "Accept-Language":"de,en;q=0.7,en-us;q=0.3", "Referer":"http://python-dev.blogspot.com"} domain = 'www.rentaseo.de' path = '/' method = 'GET' params = None profile = opera conn = httplib.HTTPConnection(domain) conn.request(method, path, params, profile) stat = conn.getresponse() headers = stat.getheaders() version = stat.version status = stat.status reason = stat.reason data = stat.read() conn.close() file_name = domain.replace(".", "-") file_object = open(file_name, "w") file_object.write(data) file_object.close() print "\n" print "WEBSNIFFER 0.1" print "+++++++++++++++++" print "\n" print "Header (Client)" print "-----------------" for key, value in profile.iteritems(): print "%s \t %s" % (key, value) print "-----------------" print "\n" print "Header (Server)" print "-----------------" print "HTTP \t %s" % (version) print "Status \t %s (%s)" % (status, reason) for key, value in headers: print "%s \t %s" % (key, value) print "-----------------" print "\n" print "Quelltext" print "-----------------" print "Quelltext geschrieben in File:" print file_name print "-----------------" print "\n"

Was macht nun dieses kleine Script bereits? Eigentlich alles was der Websniffer auch kann, lediglich die Profile müssen noch implementiert werden. Die Formatierung des HTML wäre auch noch wünschenswert.

WEBSNIFFER 0.1 +++++++++++++++++ Header (Client) ----------------- Accept-Charset ISO-8859-1,UTF-8;q=0.7,*;q=0.7 Cache-Control no Accept-Language de,en;q=0.7,en-us;q=0.3 Referer http://python-dev.blogspot.com User-Agent Opera/9.20 (Windows NT 6.0; U; en) ----------------- Header (Server) ----------------- HTTP 11 Status 200 (OK) x-powered-by PHP/4.4.0 transfer-encoding chunked set-cookie PHPSESSID=4b33b42bdee7cb22983ee4ffcf02be04; path=/ expires Thu, 19 Nov 1981 08:52:00 GMT server Apache/2.0.54 (Linux/SUSE) pragma no-cache cache-control no-store, no-cache, must-revalidate, post-check=0, pre-check=0 date Mon, 16 Jun 2008 10:25:04 GMT content-type text/html; charset=UTF-8 x-pingback http://www.rentaseo.de/xmlrpc.php ----------------- Quelltext ----------------- Quelltext geschrieben in File: www-rentaseo-de -----------------

Das Beispiel zeigt die Ausgabe bei der Abfrage nach www.rentaseo.de.

Mediawiki/Wikipedia Parser

2008-06-11T10:36:00.000+02:00

Ich habe gerade keine Zeit, mit das Modul genauer anzusehen - für den ein oder anderen mag es aber brennend interessant sein: Auf Pediapress findet sich Python Code, mit dem Wikipedia (und alle Media Wikis) geparst, die Inhalte geholt, verarbeitet, als PDF ausgegeben ... werden können. Es stehen sogar Tools bereit, um Wikipedia Bücher zu produzieren.

Der Link dazu und viel Spass beim experimentieren.

Page Rank (PR) Abfrage mit Python

2008-06-10T12:30:00.000+02:00

Page Rank Abfragen sind für SEOs und viele Webmaster die Lieblingsbeschäftigung. Thomas Lotze hat die berühmt berüchtigte WWW::Google::PageRank Library auf Python übertragen.

Download http://svn.thomas-lotze.de/public/googlepagerank/trunk.tar.gz

Leider ist das Python Modul nicht dokumentiert. Das Tool ist auch für die Kommando-Zeile gedacht. Allerdings bringt uns ein Blick auf das Starter-Script weiter ...

#!/usr/bin/env python # # Copyright (c) 2007 Thomas Lotze # See also LICENSE.txt """Fetches page ranks for the given URLs from Google and prints them out. Google page ranks range from 1 (unimportant) to 10 (important). An empty page rank means Google has not yet assigned a rank to the URL. "IO" instead of a page rank means there was an error contacting Google. "RE" means Google's response could not be understood. """ import sys import urllib import tl.googlepagerank.interface as gpri for target in sys.argv[1:]: try: rank = gpri.read_rank(urllib.urlopen(gpri.query_url(target)).read()) except IOError: rank = "IO" except ValueError: rank = "RE" else: if not int(rank): rank = "" print "%2s %s" % (rank, target)

Daraus lässt sich wunderbar eine Klasse entwickeln, die anstatt einfach das Ergebnis auszugeben, eine Funktion enthält, die das Ergebnis in Dictionary ablegt.

IP auf Land mappen ... selbstgemacht

2008-06-09T08:26:00.000+02:00

Wer nicht die MaxMind Datenbank nutzen möchte und wem die Zuordnung einer IP zum Land genügt, der kann sich natürlich selbst eine entsprechende Datenbank aus den Zonen-DNS bauen. Es gibt dazu ein Python Script, das allerdings Fehler bei sechs TLD (GG, RS, JE, ME, IM, AX) ausgibt. Da ich erst einmal nachsehen musste, wo die Aland Insel (AX) liegt ... Aber ich werde noch einen Blick auf das Script werfen. Dramatisch kann der Fehler nicht sein, denn alle anderen Zuordnungen scheinen fehlerfrei zu funktionieren.

Download ip2cc-0.4.tar.gz

Wer sich auf Fehlersuche begeben möchte: Die DB bei CPan könnte hilfreich sein.

Blog-Systeme in Python

2008-06-07T18:10:00.000+02:00

Die gängisten Blogsysteme für eigene Intsallationen sind Wordpress, Serendipity, Textpattern und Movable Type. Bis auf letzteres, das hauptsächlich in Perl entwickelt wurde, nutzen alle die Skriptsprache PHP. Das ist mit Sicherheit der Verbreitung geschuldet.

Natürlich gibt es auch auf Python basierende Blog-Software. Was hier sofort auffällt: Beinahe alle Lösungen sind Teil eines größeren Frameworks. Damit zielen diese auch nicht primär für den einzelnen Blogger ab, sondern mehr auf individuelle Konfigurationen.

Hier eine kurze und sicherlich unvollständliche Liste mit Blog-Software:

Blogmaker baut auf das Framework Django
CBlog von Christopher Arndt (TurboGears Framework)
Turboblog benötigt ebenfalls TurboGears
gibe ein Blog-System mit Plugins
Quills ist eine Blog-Software für das hochgelobte Plone CMS
PyBloxsom läuft auch als CGI
...

Apache Log-File-Filter Loghetti

2008-06-05T06:43:00.000+02:00

Es kann wirklich ein interessantes Projekt werden, der Log-File-Filter Loghetti. Momentan ist es ein Kommandozeilen-Tool, soll sich aber zu einem Framework entwickeln.

Was kann es? Was tut es? Wo gibt es ...?

Robots.txt Parser

2008-06-03T13:41:00.000+02:00

Parser für Robots.txt-Dateien werden immer wieder gebraucht, sei es zum Bau eines eigenen Webcrawlers oder zur Überprüfung, ob eine Unterseite von Webcrawlern erreicht werden kann. Python bringt dafür eine eigene Klasse mit. Im Grunde ist diese sehr gut in der Dokumentation beschrieben und ich gebe hier nur das Beispiel wieder, damit ich diese nicht selber vergesse.

>>> import robotparser >>> rp = robotparser.RobotFileParser() >>> rp.set_url("http://forum.spiegel.de/robots.txt") >>> rp.read() >>> rp.can_fetch('*', "http://forum.spiegel.de/forumdisplay.php?f=5") False

Das Script gibt im konkreter Beispiel "False" zurück, denn das Forum ist gänzlich für Suchmaschinen gesperrt.

Der Code ist eigentlich selbsterklärend. Die Funktion rp.set_url nimmt als Parameter die URL zur Robots.txt auf.

Zwei Paramenter nimmt can_fetch auf: Der erste bezieht sich auf den Crawler, der zweite auf die abzufragende URL. Das Sternchen * ist der Platzhalter für alle Crawler. Der Rückgabewert ist "True", falls der angegebene Crawler die betreffende Seite lesen darf, "False" wenn nicht.

Hier noch ein Beispiel, das vielleicht besser passt.

>>> import robotparser >>> rp = robotparser.RobotFileParser() >>> rp.set_url("http://www.spiegel.de/robots.txt") >>> rp.read() >>> rp.can_fetch("Slurp", "http://www.spiegel.de/flash/0,5532,17440,00.html") True >>> rp.can_fetch("WebReaper","http://www.spiegel.de/flash/0,5532,17440,00.html") False

Slurp (Yahoo!) darf natürlich die Hauptdomain (mit Ausnahmen) durchsuchen, der Webreaper ist ausgesperrt.

IP / Host einem Land oder Stadt zuweisen

2008-06-02T11:57:00.000+02:00

Beim Stöbern nach neuen Python-Modulen zum Geo-Targeting auf eine interessante Lösung gestoßen, die ich in einer ruhigen Minute (oh, ja ;) ) ausprobieren möchte. Für einen SEO kann es höchst interessant sein, in welchem Land sich ein Server befindet. (Nicht nur Google betreibt Geo-Targeting bis zum Exzess.)

Die Firma MaxMind stellt verschiedene Datenbanken in unterschiedlichen Lizenz-Modellen zur Verfügung, eine unter der Open Source Lizenz GPL. Das Interface unterstützt natürlich Python.

Live Ausprobieren:

IP / Hostname einem Land zuordnen

Es geht auch noch detailierter

In der kostenpflichtigen Version können sogar Netzwerke größerer Organistionen aufgelöst werden. Mir reicht jedoch wahrscheinlich die Aktualität und Umfang der Open Source Variante.

Rent a SEO Ranking Check

2008-06-02T10:22:00.000+02:00

Zur Zeit portiere ich meine SEO Tools von Tcl nach Python stelle diese der Community unter einer Open Source Lizenz zur Verfügung. Den Anfang macht mein Ranking Check Tool, das entweder die Positionen verschiedener Domains unter einem Suchbegriff oder die Positionen einer Domain unter verschiedenen Suchbegriffen anzeigt bei Google zeigt.

Gehostet wird das Projekt beim OS Inkubator Berlios. Die Projektwebsite dürfte in wenigen Stunden unter http://rentaseo-rc.berlios.de/ freigegeben werden. Bitte gebt mir einen Tag, bis ich mich bei Berlios zurechtfinde und die Umgebung eingerichtet habe, damit ich den Code hochladen kann.

Domain / IP Abfragen

2008-06-02T00:46:00.000+02:00

Eleganter in einen Online Service zu integrieren als die Einbindung von nslookup bei der Abfrage der IP Adresse ist das Ergebnis unter Nutzung des Low Level Interface sockets. Aber auch das ist unter Python keine Hexerei und mit wenigen Zeilen Code zu erledigen:

>>> import socket >>> data = socket.gethostbyname("rentaseo.de") >>> print data

Das Ergebnis lautet im konkreten Fall wie erwartet "85.214.39.237".

Python und nslookup + whois

2008-06-02T00:15:00.000+02:00

Wir kennen alle die recht gerne genutzten Dienste nslookup und whois. Unix / Linux Nutzer verwenden dies beiden Werkzeuge direkt in der Shell, weniger erfahrene Webmaster besuchen gerne entsprechende Online Angebote. Dabei ist nichts dabei, via Python einen solchen Service bereit zu stellen.

Python bietet mehrere Lösungsansätze. Da ich davon ausgehe, dass ein solcher Service auf einem Unix / Linux Server laufen wird, kann man einfach die beiden Kommandozeilen Werkzeuge direkt ansprechen. Die Grundstruktur dafür ist wirklich simpel:

Zuerst der Beispielcode für eine Whois-Abfrage ...

>>> import os >>> data = os.popen("whois rentaseo.de").read() >>> print data

... das im konkreten Fall zu folgender Ausgabe (Auszug) führt:

... Domain: rentaseo.de Domain-Ace: rentaseo.de Nserver: server1-ns1.udagdns.net Nserver: server1-ns2.udagdns.net Nserver: server1-ns3.udagdns.net Status: connect Changed: 2006-11-29T22:27:49+01:00 [Holder] Type: PERSON Name: Matthias Suess Address: Brunnleite 2 Pcode: 92421 City: Schwandorf Country: DE Changed: 2006-11-29T22:27:48+01:00 ...

Wenn man sich die Arbeit macht, die Augabe der einzelnen Whois Server zu analysieren kann man deren Response auch noch durch einen Parser schicken und die Ergebnisausgabe noch richtig schön gestalten.

Eben so einfach gestaltet sich die Abfrage nach der IP Adresse einer Domain ...

>>> import os >>> data = os.popen("nslookup rentaseo.de").read() >>> print data

... das folgendes Ergebnis liefert:

Server: 193.254.160.1 Address: 193.254.160.1#53 Non-authoritative answer: Name: rentaseo.de Address: 85.214.39.237

Die Domain rentaseo.de ist unter der IP 85.214.39.237 ansprechbar.

What´s that Site running ...

2008-06-01T23:47:00.000+02:00

What´s that Site running? Die Antwort auf diese Frage hat Netcraft groß gemcht. Dabei reichen ein paar Zeilen in Phython aus und schon weiss man, welcher Server hinter einer Site werkelt:

>>> import urllib2 >>> info = urllib2.urlopen("http://www.rentaseo.de") >>> print info.info()

Diese konkrete Anfrage liefert folgende Infos:

Date: Sun, 01 Jun 2008 22:18:58 GMT Server: Apache/2.0.54 (Linux/SUSE) X-Powered-By: PHP/4.4.0 Set-Cookie: PHPSESSID=d05d22804f9f9a347b494a0cf1ad3594; path=/ Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache X-Pingback: http://www.rentaseo.de/xmlrpc.php Content-Type: text/html; charset=UTF-8 Connection: close

Python Download

2008-06-01T09:01:00.000+02:00

Die Open Source Sprache Python wird von der sehr aktiven Entwickler-Community für beinahe jede erdenkliche Plattform zur Verfügung gestellt. Zudem existieren verschiedene (aber untereinander kompatible) Distributionen.

Natürlich ist die offizielle Website python.org die erste Anlaufstelle, um die aktuellste Version herunter zu laden. Unter Umständen sind jedoch alternative Distributionen besser geeignet:

Jede mir bekannte Linux-Distribution bringt bereits eine abgestimmte Version mit. Gleiches gilt für die *BSD-Systeme. Hier rate ich diese zu nutzen.

Windows-User sind eventuell mit der ebenfalls kostenfreien ActiveState Variante besser bedient. Ich selber arbeite unter OS X ebenfalls damit, obwohl für das Apple Betriebssystem sich auch die Darwin Ports anbieten würden.