Tokeniza y limpia un texto en palabras

Divide un texto por separadores simples (espacios, guiones y puntuación), limpia cada token y descarta vacíos.

Usage

tokenize_clean(text)

Arguments

text

Cadena de texto (puede contener varias palabras).

Value

Vector de palabras limpias (puede ser de longitud 0).

See also

Other syllabify-es: clean_word(), is_valid_word(), syll-cache, syll-config, syll_count(), syll_hyphenate(), syll_split(), syllabify-internals

Examples

tokenize_clean("¡Hola, mundo—cruel!")  # c("hola","mundo","cruel")
#> [1] "hola"  "mundo" "cruel"