{"id":61,"date":"2009-07-01T23:55:15","date_gmt":"2009-07-01T21:55:15","guid":{"rendered":"https:\/\/d-mueller.de\/blog\/?p=61"},"modified":"2016-01-12T00:09:54","modified_gmt":"2016-01-11T23:09:54","slug":"utf-8-fur-php-programmierer-und-webanwendungen","status":"publish","type":"post","link":"https:\/\/d-mueller.de\/blog\/utf-8-fur-php-programmierer-und-webanwendungen\/","title":{"rendered":"UTF-8 f\u00fcr PHP-Programmierer und Webanwendungen"},"content":{"rendered":"

Keine Lust mehr auf \u00c3\u00a4\u00c3\u00b6\u251c\u0434\u251c\u2562\u00c3\u00bc\u00c3\u0178\ufffd\u0413\u00a4\u0413\u00b6as\u0413\u00b6d\u0413\u00a4? – Zeichen, die jedem geplagten Webentwickler ein Begriff sind. Hier erwartet euch eine Kurzabhandlung, wie ihr Schritt f\u00fcr Schritt den Kampf gegen das Zeichensatz-Wirrwarr gewinnt – und zwar an allen Fronten, also Dateien und Datenbank.<\/p>\n

Einleitung<\/h3>\n

Das Allheilmittel f\u00fcr fast alle Anwendungsf\u00e4lle im Internet lautet\u00a0UTF-8<\/a><\/strong> und beschreibt einen\u00a0Unicode-Zeichensatz<\/a>, der alle f\u00fcr uns relevanten Zeichen (unter anderem nat\u00fcrlich auch \u00c4,\u00d6,\u00dc und \u00df) beinhaltet. Nur der Komplett-Wechsel ist oft und gerade bei gr\u00f6\u00dferen, bereits begonnenen oder gar abgeschlossenen Webprojekten nicht ganz einfach, liegen doch oft tausende Dateien, eine bereits bef\u00fcllte Datenbank etc.pp. vor. Entities wie\u00a0&ouml;<\/em> (\u00f6),\u00a0&szlig;<\/em> (\u00df) helfen auch nicht wirklich weiter.\u00a0Gehen wir’s an: Die Komplettumstellung auf UTF-8.<\/strong><\/p>\n

Was wir brauchen<\/h3>\n
    \n
  1. Notepad++<\/a> – Ein Texteditor, der Zeichens\u00e4tze beherrscht und konvertieren kann<\/li>\n
  2. Ansi2Uni<\/a> – Ein Programm zur Zeichensatz-Massenkonvertierung<\/li>\n
  3. Zugriff auf phpMyAdmin<\/li>\n<\/ol>\n

    1) Zum Verst\u00e4ndnis: Der Byte-Order-Mark<\/h3>\n

    \"PHP<\/a>

    PHP Header<\/p><\/div>
    \nPHP-Entwickler m\u00fcssen oft\u00a0    Header<\/a> setzen, um dem Server vor dem interpretieren der Datei Informationen \u00fcber die Datei zu geben. Da bei UTF8 allerdings ganz am Anfang der Datei ein\u00a0BOM<\/em> (Byte Order Mark<\/a>, bestehend aus ein paar Bits) gesetzt wird, um dem Webserver mitzuteilen, dass es sich um eine UTF8-codierte Datei handelt, hei\u00dft es beim setzen des headers per PHP\u00a0Cannot modify header information – headers already sent<\/strong> – bl\u00f6d.<\/p>\n

    Es wird n\u00e4mlich erwartet, dass der header als erstes gesetzt wird, und da ist ja nun schon der BOM.\u00a0Abhilfe schafft das Entfernen des BOM’s.<\/strong>Dann m\u00fcssen wir dem Webserver zwar im Nachhinein mitteilen, dass es sich um UTF-8 handelt, die Datei selbst ist aber richtig codiert. Wie das geht im n\u00e4chsten Schritt.<\/p>\n

    2) Der Texteditor<\/h3>\n

    \"Notepad++\"<\/a>

    Notepad++<\/p><\/div>
    \nDas Windows-Notepad ist ungeeignet, da es standardm\u00e4\u00dfig im\u00a0ANSI-Zeichensatz (ISO)<\/strong> und nicht in\u00a0Unicode (UTF)<\/strong> speichert. Um in Zukunft das Zeichensatzchaos zu vermeiden, stellen wir das eben gedownloadete\u00a0Notepad++<\/em> gleich auf\u00a0UTF-8 (ohne (!) BOM)<\/strong> um.<\/p>\n

    Vorgehen:<\/strong> Einstellungen -> Einstellungen -> Reiter „Neues Dokument“ -> Kodierung: UTF-8 ohne BOM. Dabei k\u00f6nnt Ihr gleich auch noch unter „Format“\u00a0Unix<\/em> ausw\u00e4hlen. Unix versieht Zeilenenden nur mit einem\u00a0\\n<\/em>, Windows verwendet\u00a0\\r\\n<\/em>. Da in der Regel Apache-Systeme als Webserver zum Einsatz kommen, wollen wir gleich in der Unix-Welt bleiben ;-).<\/p>\n

    Die aktuelle Codierung der Datei seht ihr in der rechten unteren Ecke.\u00a0Ansi as UTF8<\/a> bedeutet hierbei\u00a0UTF8 ohne BOM<\/strong>. Konvertieren k\u00f6nnt ihr Dateien per „Format“.\u00a0Wichtig:<\/strong> Nie einfach den Zeichensatz verstellen, immer konvertieren – nur so bleiben die Umlaute erhalten – aber dazu sp\u00e4ter.<\/p>\n

    3) Die Konvertierung der Dateien<\/h3>\n

    \"Konvertierung\"<\/a>

    Konvertierung<\/p><\/div>
    \nJetzt habt ihr dummerweise schon haufenweise Dateien vorliegen, die eben\u00a0nicht<\/strong> einheitlich in\u00a0UTF8 ohne BOM<\/strong> codiert sind. Eine Variante w\u00e4re jetzt, die von Notepad++ angebotene Funktion wie beschrieben per\u00a0„Format -> Konvertiere zu UTF8 ohne BOM“<\/em> anzuwenden, allerdings w\u00e4re das bei vielen Dateien eine echte Sisyphos-Arbeit.<\/p>\n

    Sollten bei euch einheitlich alle Dateien in\u00a0ANSI<\/em> codiert sein, k\u00f6nnt ihr aufatmen: Mit oben angesprochene und unten beschriebenen Minitool\u00a0Ansi2Uni<\/em> sind\u00a0Massenkonvertierungen<\/strong> von Zeichens\u00e4tzen m\u00f6glich.<\/p>\n

    Vorgehensweise Massenkonvertierung in UTF8<\/h4>\n
    \"ansi2uni\"<\/a>

    ansi2uni<\/p><\/div>\n

    Wichtig: Vor der Verwendung des Programms erst diesen kompletten Abschnitt lesen!<\/strong><\/p>\n

      \n
    1. From codepage:<\/strong> Hier muss eingestellt werden, was der aktuelle Zeichensatz der vorliegenden Dateien ist. Dummerweise m\u00fcssen alle zu konvertierenden Dateien einheitlich den hier anzugebenden Zeichensatz haben, sonst gehen entweder die enthaltenen Sonderzeichen kaputt oder die Datei wird ignoriert. Sicherheitshalber hier also ein Backup erstellen oder – so weh es tut – wirklich alle Dateien per Hand mit Notepad++\u00a0sicher<\/em> konvertieren. Wenn allerdings fl\u00e4chendeckend\u00a0ANSI<\/strong> (iso-8859-1) verwendet wird, dann k\u00f6nnt Ihr das Programm beruhigt einsetzen, denn iso-8859-1\tentspricht hier der\u00a0Codepage<\/a> 1252.<\/li>\n
    2. Select file(s) \/ Dir(s):<\/strong> Selbsterkl\u00e4rend. Hier w\u00e4hlt ihr das Verzeichnis aus, welches die ganzen zu konvertierenden Dateien beinhaltet<\/li>\n
    3. File mask:<\/strong> Leider k\u00f6nnen hier nicht mehrere zu konvertierende Formate aneinandergeh\u00e4ngt werden (etwa *.php,*.css). So muss jedes Dateiformat einzeln durchlaufen werden.\u00a0Wichtig:<\/strong> Auf keinen Fall den * (alle Dateien) stehen lassen, da so auch Bilder und andere Dateien zu UTF8 konvertiert werden und dabei kaputt gehen.<\/li>\n
    4. To:<\/strong> Wie oben beschrieben nehmen wir UTF-8 (no BOM)<\/li>\n
    5. Overwrite old files:<\/strong> Wenn ihr diese Option anhakt, werden die existierenden Dateien \u00fcberschrieben (vorher Backup machen!), sonst m\u00fcsst ihr ein neues Verzeichnis f\u00fcr die konvertierten Dateien ausw\u00e4hlen<\/li>\n
    6. Recursive:<\/strong> Ausw\u00e4hlen, denn nur so werden auch alle Unterordner erfasst.<\/li>\n<\/ol>\n

      4) Die Feinarbeit<\/h3>\n

      \"Firefox-charset\"<\/a>

      Firefox-charset<\/p><\/div>
      \n

      \"Charset-Anzeige\"<\/a>

      Charset-Anzeige<\/p><\/div>
      \nJetzt liegen also die Datei schonmal in der korrekten Speicherung vor! Exemplarisch\u00a0\u00fcberpr\u00fcfen<\/strong> k\u00f6nnt ihr das, indem ihr stichprobenartig mit Notepad++ konvertierte Dateien ausw\u00e4hlt und in die rechte untere Ecke schaut. Das sollte dem Screenshot rechts entsprechen.<\/p>\n

      Da der Browser aber bei der automatichen Erkennung der Dateicodierung ohne den\u00a0Byte Order Mark<\/em> Probleme bekommen kann, sollten wir ihm auch in der Datei selbst noch mitteilen, dass es sich um\u00a0UTF-8<\/strong> handelt. Das geht bei\u00a0HTML, PHP…<\/strong>-Dateien per Metatag<\/p>\n

      \r\n<meta http-equiv="Content-Type" content="text\/html; charset=utf-8" \/>\r\n<\/pre>\n
      (im head<\/em>-Bereich der Seite unterzubringen) und bei PHP-Dateien zus\u00e4tzlich noch mit dem Header<\/p>\n
      \r\n<?php header( 'content-type: text\/html; charset=utf-8' ); ?>\r\n<\/pre>\n
      ganz am Anfang des Dokuments (gibt ja dank unseres Verzichts auf den BOM auch keine Probleme mehr). Bei CSS-Dateien<\/em> wird in die erste Zeile ein<\/p>\n
      \r\n@charset "utf-8";\r\n<\/pre>\n
      gesetzt – fertig. Javascript<\/strong> ben\u00f6tigt keine explizite Deklaration.<\/p>\n
      Welchen Charset der Browser aktuell verwendet, l\u00e4sst sich im Firefox per\u00a0Rechtsklick -> Seiteninformationen anzeigen<\/em> (siehe Screenshot links)<\/strong> und im IE7 per\u00a0Ansicht -> Codierung<\/a><\/em>erfahren. Um ganz sicher zu gehen, setzen wir aber noch einen drauf.<\/p>\n
      5) Der Webserver<\/h3>\n
      Auch dem Webserver k\u00f6nnen wir nochmal explizit mitteilen, dass er alle relevanten Dateien in UTF-8 ausliefern soll. Dazu erstellen wir eine Datei mit dem Namen\u00a0.htaccess<\/strong> (Charset ist hier zwar egal, konsequenterweise sollte es aber auch\u00a0UTF8<\/em> sein) und dem Inhalt<\/p>\n
      \r\nAddCharset utf-8 .css .htm .html .js\r\nphp_value default_charset utf-8\r\n<\/pre>\n
      und laden diese in das Hauptverzeichnis des Servers hoch, also direkt in die „Wurzel“. Da Dateinamen unter Windows nicht mit einem Punkt beginnen d\u00fcrfen, k\u00f6nnt Ihr die Datei dann auch erst auf dem Server umbenennen. Jetzt werden alle Dateien mit den Endungen in der ersten Reihe\u00a0(beliebig zu erg\u00e4nzen, etwa .xml…)<\/strong> in UTF8 interpretiert. F\u00fcr PHP muss die zweite Zeile zus\u00e4tzlich ran, da die Definition der ersten Reihe f\u00fcr\u00a0.php<\/strong>-Dateien keine G\u00fcltigkeit hat. Dieser Schritt ist zwar „doppelt gemoppelt“, aber das h\u00e4lt ja bekanntlich besser ;).<\/p>\n
      6) Die Datenbank<\/h3>\n
      Die Datenbank und Ihre ganzen Parameter w\u00e4ren nochmal ein Kapitel f\u00fcr sich. Um auch hier radikal aufzur\u00e4umen und nur noch UTF-8 zu verwenden,\u00a0Backuppen<\/em> wir die Datenbank,l\u00f6schen<\/em> anschlie\u00dfend alle Tabellen,\u00a0konvertieren<\/em> das Backup in UTF-8 und\u00a0erstellen<\/em> die Datenbank wieder neu – wesentlich einfacher, als mit Spezialtools und Scripten eine Konvertierung des laufenden Datenbestandes erreichen zu wollen.<\/p>\n
      Schritt 1: Datenbank backuppen<\/h4>\n
      \"PhpMyAdmin<\/a>
      PhpMyAdmin Export<\/p><\/div>
      \nDie zu exportierende Datenbank in phpMyAdmin ausw\u00e4hlen und oben den Reiter „Exportieren“ anw\u00e4hlen. Wichtig hierbei ist, dass alle Tabellen der Datenbank ausgew\u00e4hlt sind. Sonst k\u00f6nnen in der Regel alle Voreinstellungen belassen werden. Zur Sicherheit rechts ein Screenshot, wie es aussehen sollte.<\/p>\n
      Nun erstellen wir eine\u00a0backup.sql<\/em>-Datei, \u00f6ffnen diese mit Notepad++ und kopieren der Inhalt der Textarea aus phpMyAdmin (das Datenbankbackup incl. aller in der Datenbank enthaltetenen Daten) in diese Datei hinein. Das kann bei gro\u00dfen Datenbanken etwas dauern.<\/p>\n
      Schritt 2: Backup anpassen<\/h4>\n
      Hier ein Beispiel-Ausschnitt aus dem SQL-Code des erstellten Backups:<\/p>\n
      \r\nCREATE TABLE IF NOT EXISTS `g2_AccessMap` (\r\n`g_accessListId` int(11) NOT NULL default '0',\r\n`g_userOrGroupId` int(11) NOT NULL default '0'\r\n) ENGINE=MyISAM DEFAULT CHARSET=LATIN1;\r\n<\/pre>\n
      Das\u00a0CHARSET=LATIN1<\/code> st\u00f6rt uns, gibt es doch den ANSI-Zeichensatz\u00a0iso-8859-1<\/strong> vor. Richtig w\u00e4re hier\u00a0UTF8<\/strong>. Also (was auch immer bei euch unter Charset eingetragen sein sollte): Suchen und Ersetzen\u00a0(Strg+H)<\/em> und alle Vorkommen des „anderen“ Zeichensatzes in UTF8 ab\u00e4ndern, sodass am Ende alle „CREATE TABLE“-Anweisungen nach folgendem Schema aussehen:<\/p>\n
      \r\nCREATE TABLE IF NOT EXISTS Tabellenname (\r\n[...]\r\n) ENGINE=MyISAM DEFAULT CHARSET=UTF8;\r\n<\/pre>\n
      Schritt 3: Backup konvertieren<\/h4>\n
      Nun\u00a0konvertieren<\/strong> wir die\u00a0backup.sql<\/em> zu UTF-8 (also nicht\u00a0‚ohne BOM‘<\/em>, sondern\u00a0normal<\/em> UTF-8). Das sollte nun zusammen mit dem vorangegangenen Schritt etwa so aussehen:
      \n
      \"Notepad<\/a>
      Notepad Dump<\/p><\/div><\/p>\n
      Schritt 4: phpMyAdmin konfigurieren<\/h4>\n
      Zur\u00fcck in phpMyAdmin\u00a0leeren<\/strong> wir erstmal die Datenbank. In der Tabellen\u00fcbersicht unten klicken wir\u00a0„Alle ausw\u00e4hlen“<\/em> und\u00a0„markierte l\u00f6schen“<\/em> – keine Angst, wir haben ja das Backup.
      \n
      \"PhpMyAdmin<\/a>
      PhpMyAdmin Tabellen l\u00f6schen<\/p><\/div>
      \nIn der jetzt jungfr\u00e4ulichen Datenbank verstellen wir im Reiter\u00a0„Operationen“<\/em> die\u00a0Kollation<\/em> (Sortierreihenfolge) der Datenbank auf\u00a0utf8_unicode_ci<\/strong>.<\/p>\n
      \"Kollation\"<\/a>
      Kollation<\/p><\/div>\n
      Jetzt gehen wir wieder ins „Hauptmen\u00fc“ von phpMyAdmin (auf das Logo links oben klicken) und w\u00e4hlen bei\u00a0„Zeichensatz \/ Kollation der mySQL-Verbindung“<\/em> ebenfalls\u00a0utf8_unicode_ci<\/strong> – Damit sind die Grundeinstellungen angepasst. Viel mehr k\u00f6nnen wir nicht tun.<\/p>\n
      \"PhpMyAdmin<\/a>
      PhpMyAdmin Einstellungen<\/p><\/div>\n
      Schritt 5: Backup zur\u00fcckspielen<\/h4>\n
      \"PhpMyAdmin<\/a>
      PhpMyAdmin importieren<\/p><\/div>
      \nNun w\u00e4hlen wir wieder unsere jetzt leere Datenbank aus, klicken oben auf den Reiter\u00a0„Importieren“<\/em> und w\u00e4hlen unser eben erstelltes Datenbankbackup\u00a0backup.sql<\/em>. Nat\u00fcrlich wird bei\u00a0„Zeichencodierung der Datei“<\/em> utf8<\/strong> ausgew\u00e4hlt. Bei gro\u00dfen Datenbankbackups k\u00f6nnte es nun etwas dauern – falls es gar zu einem Abbruch kommen sollte, m\u00fcssen Spezialtools wie der\u00a0      mysqlDumper<\/a> zum Einsatz kommen. Das f\u00fchrt jetzt hier aber zu weit. Nun k\u00f6nnen wir auf\u00a0„OK“<\/strong> klicken und hoffen, dass alles gut geht<\/p>\n
      Der Fall der F\u00e4lle<\/h4>\n
      Falls die Umlaute immernoch „schr\u00e4g“ ankommen sollten, kann es sein, dass phpMyAdmin quer schie\u00dft. Falls das der Fall sein sollte, ist der letzte „Rettungsstrick“ direkt nach der Verbindung zur Datenbank<\/p>\n
      \r\nmysql_query("SET NAMES 'UTF8'");\r\n<\/pre>\n
      auszuf\u00fchren, sodass es bei euch ungef\u00e4hrt so aussieht:<\/p>\n
      \r\n\/\/connect\r\n$connectionid = @mysql_connect ($host,$user,$pw);\r\nmysql_select_db ($db, $connectionid);\r\nmysql_query("SET NAMES 'UTF8'");\r\n<\/pre>\n
      Ende<\/h3>\n
      Bei Kritik und Anmerkungen zu diesem kurzen Abriss bitte ich um eine e-Mail<\/a>. Nochmal sei auf besondere Vorsicht im Umgang mit dem beschriebenen Programm Ansi2uni hingewiesen, da nicht in der angegebenen „Codepage“ codierte Dateien und sensible Formate wie Bilder oder Zip-Dateien der UTF8-Konvertierung zum Opfer fallen.<\/p>\n
      Update<\/h3>\n
      Wie Gabriel per Kommentar<\/a> dankenswerterweise noch erg\u00e4nzt hat: Auf PHP-Seite m\u00fcssen f\u00fcr die ultimative „UTF8-Experience“ die Multibyte-Stringfunktionen (mbstring)<\/a> statt der Standard-Stringfunktionen verwendet werden. Hierzu ist es zum Gl\u00fcck nicht n\u00f6tig, alle Vorkommen von substr, strlen<\/i> etc. mit ihren Multibyte-Pendants h\u00e4ndisch zu ersetzen: Durch die php.ini – Einstellung <\/p>\n
      mbstring.func_overload = 7<\/pre>\n
       lassen sich alle Standard-Stringfunktionen \u00fcberladen<\/a>. Wichtig: Mit ini_set<\/i> ist es hierbei nicht getan, f\u00fcrs \u00dcberladen ist zwingend eine \u00c4nderung der php.ini n\u00f6tig<\/a>. In diesem Zuge m\u00f6chte ich auch noch auf meinen Post PHP WTF #7<\/a> hinweisen, mit dessen Hilfe sich sch\u00f6n testen l\u00e4sst, ob das \u00dcberladen durch die Multibyte-Funktionen erfolgreich war:<\/p>\n
      \r\n<meta charset="utf8">\r\n<?php\r\nmb_internal_encoding("utf-8");\r\n$a = '\u00e4a';\r\necho "substr 0,1: " . substr($a, 0, 1);\r\n<\/pre>\n
      Der Output vor dem Setzen von mbstring.func_overload = 7<\/b>: \ufffd – und danach wie erwartet \u00e4<\/i>. Hierbei weisen wir die \u00fcberladenen mbstring-Funktionen mittels mb_internal_encoding<\/a> auch gleich noch darauf hin, dass wir gern UTF-8 verwenden m\u00f6chten. In diesem Zusammenhang muss auch noch die iconv<\/a>-Funktion erw\u00e4hnt werden, die PHP ebenfalls zum Multibyte-Handling erzieht. Danke an franc f\u00fcr den Hinweis per E-Mail!<\/p>\n","protected":false},"excerpt":{"rendered":"
      Keine Lust mehr auf \u00c3\u00a4\u00c3\u00b6\u251c\u0434\u251c\u2562\u00c3\u00bc\u00c3\u0178\ufffd\u0413\u00a4\u0413\u00b6as\u0413\u00b6d\u0413\u00a4? – Zeichen, die jedem geplagten Webentwickler ein Begriff sind. Hier erwartet euch eine Kurzabhandlung, wie ihr Schritt f\u00fcr Schritt den Kampf gegen das Zeichensatz-Wirrwarr gewinnt – und zwar an allen Fronten, also Dateien und Datenbank. … Weiterlesen →<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4,9,3],"tags":[],"class_list":["post-61","post","type-post","status-publish","format-standard","hentry","category-php","category-datenbanken","category-webdev"],"_links":{"self":[{"href":"https:\/\/d-mueller.de\/blog\/wp-json\/wp\/v2\/posts\/61","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/d-mueller.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/d-mueller.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/d-mueller.de\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/d-mueller.de\/blog\/wp-json\/wp\/v2\/comments?post=61"}],"version-history":[{"count":0,"href":"https:\/\/d-mueller.de\/blog\/wp-json\/wp\/v2\/posts\/61\/revisions"}],"wp:attachment":[{"href":"https:\/\/d-mueller.de\/blog\/wp-json\/wp\/v2\/media?parent=61"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/d-mueller.de\/blog\/wp-json\/wp\/v2\/categories?post=61"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/d-mueller.de\/blog\/wp-json\/wp\/v2\/tags?post=61"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}