token_get_all
(PHP 4 >= 4.2.0, PHP 5, PHP 7)
token_get_all — Разбивает переданный исходный код на PHP-лексемы
Описание
$code
, int $flags = 0
) : array
Функция token_get_all() разбирает переданную строку code
в языковые лексемы PHP, используя лексический сканер Zend Engine.
Список лексем смотрите в Список меток (tokens) парсера или используйте token_name() для перевода значения лексемы в строковое представление.
Список параметров
-
code -
Исходный код PHP для разбора.
-
flags -
Корректные флаги:
-
TOKEN_PARSE- Распознает возможность использования зарезервированных слов в определенных контекстах.
-
Возвращаемые значения
Массив идентификаторов лексем. Каждый индивидуальный идентификатор лексемы это или
одиночный символ (например, ;, .,
>, !, другие...),
или трехэлементный массив, содержащий индекс лексемы в нулевом элементе, строку
с оригинальным содержимым лексемы в первом элементе и номером строки во втором элементе.
Примеры
Пример #1 token_get_all() example
<?php
$tokens = token_get_all('<?php echo; ?>');
foreach ($tokens as $token) {
if (is_array($token)) {
echo "Строка {$token[2]}: ", token_name($token[0]), " ('{$token[1]}')", PHP_EOL;
}
}
?>
Результатом выполнения данного примера будет что-то подобное:
Строка 1: T_OPEN_TAG ('<?php ')
Строка 1: T_ECHO ('echo')
Строка 1: T_WHITESPACE (' ')
Строка 1: T_CLOSE_TAG ('?>')
Пример #2 Пример неправильного использования token_get_all()
<?php
$tokens = token_get_all('/* комментарий */');
foreach ($tokens as $token) {
if (is_array($token)) {
echo "Строка {$token[2]}: ", token_name($token[0]), " ('{$token[1]}')", PHP_EOL;
}
}
?>
Результатом выполнения данного примера будет что-то подобное:
Строка 1: T_INLINE_HTML ('/* комментарий */')
T_INLINE_HTML
вместо ожидаемого T_COMMENT.
Это связано с тем, что не используется открывающий тег в коде.
Это было бы эквиалентно помещению комментариев вне тегов PHP в обычном файле.
Пример #3 Пример использования token_get_all() с классом, использующим зарезервированные слова
<?php
$source = <<<'code'
<?php
class A
{
const PUBLIC = 1;
}
code;
$tokens = token_get_all($source, TOKEN_PARSE);
foreach ($tokens as $token) {
if (is_array($token)) {
echo token_name($token[0]) , PHP_EOL;
}
}
?>
Результатом выполнения данного примера будет что-то подобное:
T_OPEN_TAG T_WHITESPACE T_CLASS T_WHITESPACE T_STRING T_CONST T_WHITESPACE T_STRING T_LNUMBER
TOKEN_PARSE, предпоследний токен
(T_STRING) был бы T_PUBLIC.
Смотрите также
- PhpToken::tokenize() - Разбирает заданную строку, содержащую программу на PHP, на массив объектов PhpToken
- token_name() - Получить символьное имя для переданной PHP-лексемы