Нахождение кодировки веб-страницы.

Источник: wwwwebdelphiru

В принципе, для постоянных посетителей моего блога этот пост не несет какой-либо сверх-новой информации по работе с веб-страницами в Delphi. Тема кодировок поднималась в той или иной мере уже несколько раз на WebDelphi и этот пост скорее является, чем-то средним между постом, объединяющим воедино разбросанную по другим постам информацию и большим-большим ответом на комментарий пользователя.

Задачу будем решать следующую: есть некая веб-страница (адрес заранее не известен), требуется получить какой-либо текст с этой страницы удобоваримом читабельном виде, т.е. без знаков ?????, кракозябров и т.д.

Как известно всем ещё со школьной скамьи - любую задачу можно решить несколькими способами. Посмотрим, что за способы можно использовать для получения кодировки web-страницы в Delphi.

Способ №1 - определение кодировки по заголовкам сервера.

Любой запрос на сервер или ответ сервера содержит заголовки (Headers) - прописная истина, которую должно знать всем. Если сервер возвращает нам заголовок Content-Type, то по нему можно попробовать узнать кодировку текста на странице, например, при использовании Synapse код поиска кодировки по заголовкам может быть таким:

function GetCharset(Headers: TStringList): string; var i:integer; begin if Headers.Count=0 then Exit; for I := 0 to Headers.Count - 1 do begin //Content-Type: text/html; charset=UTF-8 if Pos('content-type',LowerCase(Headers[i]))>0 then if pos('=',Headers[i])>0 then Result:=LowerCase(Copy(Headers[i],pos('=',Headers[i])+1,

                  Length(Headers[i])-pos('=',Headers[i]))) else Result:=DefCharset; end; end

Если заголовок Content-Type содержит, например, вот такой текст:

Content-Type: text/html; charset=UTF-8

То функция вернет нам значение "UTF-8" - то что нам и надо для того, чтобы правильно преобразовать кодировку (для того как преобразовать кодировку, см. "3 варианта работы с кодировками веб-страниц в Delphi.").

Сами заголовки Вы можете получить двумя способами:

Отправив GET-запрос на адрес - в этом случае заголовки придут вместе с содержимым документа
Перед выполнением GET-запроса можно отправить запрос HEAD - в этом случае ответное сообщение сервера будет содержать только заголовки без тела сообщения.

Почему в начале этого раздела я сказал "можно попробовать узнать кодировку"? Потому что сервер в заголовке Content-Type не всегда возвращает значение кодировок. Поэтому всегда предусматривайте какое-либо дефолтное значение кодировки, например, как в приведенном выше листинге - дефолтная кодировка заносится в константу DefCharset .

Способ №2 - определение кодировки страниц по мета-тегам.

Если поиск кодировки по способу №1 не увенчался успехом можно прибегнуть к способу №2 - вытащить кодировку из мета-тегов страницы. Для этого нам надо пропарсить контент странички в поисках вот такого мета-тега:

< meta http-equiv="Content-Type" content="text/html; charset=utf-8" / >

Как это сделать? Да как Вам будет угодно, например, если вспомнить. что в Delphi XE появился модуль для работы с регулярными выражениями, то функция парсинга будет иметь следующий довольно компактный вид:

function TForm5.CharsetByMeta(Body: string): string; const Pattern = ''; var RegEx: TRegEx; M: TMatchCollection; begin // RegEx := TRegEx.Create(Pattern, [roIgnoreCase, roMultiLine]); if RegEx.IsMatch(Body) then begin M:= RegEx.Matches(Body); Result := Trim(M[0].Groups[1].Value); end else Result := DefCharset; end;

Функция вытаскивает из мета-тега значение кодировки. Опять же следует помнить, что и этот способ может не сработать, поэтому в функции опять встречается константа DefCharset .

И, наконец, после того как кодировка определена, Вы можете приступать к переводу кракозябров на русский язык. На всякий случай приведу ссылку на документ, который содержит таблицу всех стандартных кодировок, их идентификаторов, синонимов и кодовых страниц - вот она.

GUPTA SQLBase 8.5.

Аналог FreeAndNil с проверкой типа.

Немного об окнах и процессах (исходники).

Маятник. Исходник на DELPHI. (исходники).

Грузим формы из базы данных или Как зарегистрировать класс по его имени (исходники, документация).

Главная » Delphi