Регулярные выражения и текстовые функции в Pandas

Применение регулярных выражений и специальных функций для текста в Pandas

Регулярные выражения (или регулярные выражения) и текстовые функции играют важную роль при обработке и анализе текстовых данных. Библиотека Pandas предоставляет мощные средства для работы с текстом, включая использование регулярных выражений и различных текстовых функций. Разберем, как использовать регулярные выражения и текстовые функции в Pandas, а также предоставим примеры и советы по их оптимальному применению.

Введение в работу с текстовыми данными в Pandas

Перед тем как начать работу с регулярными выражениями и текстовыми функциями в Pandas, давайте импортируем библиотеку и создадим простой DataFrame с текстовыми данными:

import pandas as pd

data = {'text': ['apple', 'banana', 'cherry', 'date']}
df = pd.DataFrame(data)

Простые текстовые операции

Pandas предоставляет множество простых методов для работы с текстовыми данными. Например, вы можете легко преобразовать текст в верхний или нижний регистр, проверить наличие подстроки в тексте и многое другое:

# Преобразование текста в верхний регистр
upper_text = df['upper_text'] = df['text'].str.upper()

# Проверка наличия подстроки
contains_a = df['contains_a'] = df['text'].str.contains('a')

# Замена подстроки
replaced_text = df['replaced_text'] = df['text'].str.replace('a', 'x')

# Проверка длины текста
text_length = df['text_length'] = df['text'].str.len()

print(upper_text)
print(contains_a)
print(replaced_text)
print(text_length)

# 0     APPLE
# 1    BANANA
# 2    CHERRY
# 3      DATE
# Name: text, dtype: object
# 0     True
# 1     True
# 2    False
# 3     True
# Name: text, dtype: bool
# 0     xpple
# 1    bxnxnx
# 2    cherry
# 3      dxte
# Name: text, dtype: object
# 0    5
# 1    6
# 2    6
# 3    4
# Name: text, dtype: int64

Регулярные выражения в Pandas

Регулярные выражения позволяют выполнить более сложные операции с текстом, такие как поиск, извлечение и замена шаблонов. В Pandas, вы можете использовать метод str.extract() для извлечения информации из текста на основе регулярных выражений:

# Извлечение всех букв в тексте
letters = df['letters'] = df['text'].str.extract(r'([a-zA-Z]+)')

# Извлечение чисел в тексте
numbers = df['numbers'] = df['text'].str.extract(r'(\d+)')

print(letters)
print(numbers)

#         0
# 0   apple
# 1  banana
# 2  cherry
# 3    date
#      0
# 0  NaN
# 1  NaN
# 2  NaN
# 3  NaN
# 
# Process finished with exit code 0

Фильтрация данных на основе регулярных выражений

Вы также можете фильтровать строки в DataFrame на основе регулярных выражений. Например, вы можете выбрать строки, содержащие только буквенные символы:

# Фильтрация строк, содержащих только буквенные символы
df_filtered = df[df['text'].str.match(r'^[a-zA-Z]+$')]

print(df_filtered)

#      text
# 0   apple
# 1  banana
# 2  cherry
# 3    date

Применение функций к каждой строке

Иногда вам может потребоваться применить функцию к каждой строке в столбце. В Pandas это можно сделать с помощью метода apply():

# Применение функции для получения длины каждого слова
df['word_lengths'] = df['text'].apply(lambda x: [len(word) for word in x.split()])

Использование групп в регулярных выражениях

При работе с регулярными выражениями в Pandas, вы можете использовать группы для извлечения и обработки определенных частей текста. Например, если у вас есть текст, содержащий имена и фамилии, вы можете использовать группы для извлечения отдельных частей:

# Создание DataFrame с именами и фамилиями
data = {'names': ['John Smith', 'Alice Johnson', 'Bob Brown']}
df = pd.DataFrame(data)

# Извлечение имени и фамилии с использованием групп
df[['first_name', 'last_name']] = df['names'].str.extract(r'(\w+) (\w+)')

Поиск всех совпадений

Иногда вам может потребоваться найти все совпадения для определенного шаблона в тексте. Вы можете использовать метод str.findall() для этой цели:

# Поиск всех доменных имен в тексте
text = "Visit our website at www.example.com or contact us at info@example.org"
domains = df['text'].str.findall(r'www\.(\S+)|(\S+\.com)|(\S+\.org)')

Работа с HTML и XML

Pandas также предоставляет метод str.extractall(), который позволяет извлекать информацию из HTML и XML. Это полезно, когда вам нужно извлечь данные из веб-страниц:

# Извлечение всех ссылок из HTML-кода
html = "<a href='https://example.com'>Example</a> <a href='https://google.com'>Google</a>"
links = df['text'].str.extractall(r'href=\'(https://\S+)\'')

Заключение

Регулярные выражения и текстовые функции в Pandas предоставляют мощные инструменты для работы с текстовыми данными. Мы рассмотрели основы использования регулярных выражений и текстовых функций, а также дали рекомендации по оптимальному использованию этих инструментов.

Подпишись на наш telegram-канал FullStacker и получай свежие статьи, мануалы и шпаргалки по Python первым

Содержание:

Читайте в Telegram