CSV и Excel в Python: запись и чтение

Основные форматы для хранения данных в Python

Работа с файлами Excel и CSV является важным навыком для Python-разработчиков, особенно в области анализа данных, автоматизации отчетности и разработки backend-систем. Правильная запись данных в файлы позволяет эффективно хранить, передавать и обрабатывать информацию между различными системами.

В данном руководстве рассматриваются основные способы сохранения данных в популярные форматы с использованием стандартных и сторонних библиотек Python. Вы изучите практические примеры работы с CSV и Excel файлами, освоите техники форматирования и структурирования данных.

Формат CSV: особенности и применение

Что представляет собой CSV формат

CSV (Comma-Separated Values) представляет собой простой текстовый формат для хранения табличных данных. В этом формате значения разделяются запятыми или другими символами-разделителями, такими как точка с запятой или табуляция. Формат CSV широко используется для обмена данными между различными приложениями и системами.

Преимущества CSV формата

Легкий и читаемый текстовый формат
Быстро открывается в любом текстовом редакторе, включая Excel
Идеально подходит для передачи данных между системами
Малый размер файлов по сравнению с бинарными форматами
Поддерживается большинством программ для работы с данными

Ограничения CSV формата

Отсутствие поддержки сложного форматирования (цвета, шрифты)
Невозможность хранения формул и вычислений
Ограниченная поддержка различных типов данных
Отсутствие возможности хранения изображений и вложенных таблиц

Работа с CSV через стандартную библиотеку

Основы использования модуля csv

Модуль csv входит в стандартную поставку Python и не требует дополнительной установки. Он предоставляет удобные инструменты для чтения и записи CSV файлов с различными настройками форматирования.

import csv

data = [
    ['Имя', 'Возраст', 'Город'],
    ['Иван', 28, 'Москва'],
    ['Мария', 25, 'Санкт-Петербург']
]

with open('people.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerows(data)

После выполнения этого кода создается файл people.csv со следующим содержимым:

Имя,Возраст,Город
Иван,28,Москва
Мария,25,Санкт-Петербург

Настройка разделителей в CSV

Стандартный разделитель в CSV может быть изменен в зависимости от требований системы или региональных настроек:

with open('people.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file, delimiter=';')
    writer.writerows(data)

Работа с DictWriter

Для удобства работы с данными в виде словарей используется класс DictWriter:

import csv

data = [
    {'Имя': 'Иван', 'Возраст': 28, 'Город': 'Москва'},
    {'Имя': 'Мария', 'Возраст': 25, 'Город': 'Санкт-Петербург'}
]

with open('people.csv', 'w', newline='', encoding='utf-8') as file:
    fieldnames = ['Имя', 'Возраст', 'Город']
    writer = csv.DictWriter(file, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerows(data)

Работа с Excel файлами через openpyxl

Установка и настройка библиотеки

Файлы Excel используются когда необходимо хранить структурированные данные с форматированием, формулами или диаграммами. Библиотека openpyxl предоставляет полный набор инструментов для работы с Excel файлами.

pip install openpyxl

Создание базового Excel файла

from openpyxl import Workbook

data = [
    ['Имя', 'Возраст', 'Город'],
    ['Иван', 28, 'Москва'],
    ['Мария', 25, 'Санкт-Петербург']
]

wb = Workbook()
ws = wb.active

for row in data:
    ws.append(row)

wb.save('people.xlsx')

Добавление форматирования в Excel

Библиотека openpyxl позволяет применять различные стили форматирования к ячейкам:

from openpyxl.styles import Font, PatternFill, Alignment

# Форматирование заголовка
ws['A1'].font = Font(bold=True, color='FF0000')
ws['A1'].fill = PatternFill(start_color='FFFF00', end_color='FFFF00', fill_type='solid')
ws['A1'].alignment = Alignment(horizontal='center')

wb.save('people_styled.xlsx')

Работа с формулами

В Excel файлы можно добавлять вычисляемые формулы:

ws['D1'] = 'Возраст через 10 лет'
ws['D2'] = '=B2+10'
ws['D3'] = '=B3+10'

wb.save('people_with_formulas.xlsx')

Использование pandas для работы с данными

Установка библиотеки pandas

Библиотека pandas предоставляет мощные инструменты для работы с большими объемами данных и поддерживает множество форматов файлов:

pip install pandas openpyxl

Сохранение данных в CSV с pandas

import pandas as pd

data = {
    'Имя': ['Иван', 'Мария'],
    'Возраст': [28, 25],
    'Город': ['Москва', 'Санкт-Петербург']
}

df = pd.DataFrame(data)
df.to_csv('people_pandas.csv', index=False, sep=';', encoding='utf-8')

Создание Excel файлов с pandas

df.to_excel('people_pandas.xlsx', index=False, engine='openpyxl')

Работа с несколькими листами Excel

Pandas позволяет создавать Excel файлы с множественными листами:

with pd.ExcelWriter('multi_sheet.xlsx', engine='openpyxl') as writer:
    df.to_excel(writer, sheet_name='Сотрудники', index=False)
    
    # Создание второго листа с другими данными
    sales_data = pd.DataFrame({
        'Месяц': ['Январь', 'Февраль', 'Март'],
        'Продажи': [10000, 15000, 12000]
    })
    sales_data.to_excel(writer, sheet_name='Продажи', index=False)

Дополнительные возможности и настройки

Работа с кодировками

При работе с различными системами важно правильно указывать кодировку файлов:

# Для CSV файлов
df.to_csv('data_utf8.csv', encoding='utf-8', index=False)
df.to_csv('data_cp1251.csv', encoding='cp1251', index=False)

# Для Excel кодировка обычно не требуется

Фильтрация данных при сохранении

# Сохранение только определенных столбцов
df[['Имя', 'Город']].to_csv('filtered_columns.csv', index=False)

# Сохранение отфильтрованных строк
filtered_df = df[df['Возраст'] > 26]
filtered_df.to_csv('filtered_rows.csv', index=False)

Настройка параметров записи

# Различные параметры для CSV
df.to_csv('custom.csv', 
          sep=';',           # разделитель
          decimal=',',       # разделитель десятичных знаков
          index=False,       # не сохранять индексы
          header=True,       # сохранять заголовки
          quoting=csv.QUOTE_ALL)  # заключать все значения в кавычки

Решение типичных проблем

Проблемы с разделителями

При работе с CSV файлами в разных регионах могут возникать проблемы с разделителями:

# Использование точки с запятой для европейских систем
df.to_csv('european.csv', sep=';', decimal=',')

# Автоматическое определение разделителя при чтении
df = pd.read_csv('unknown.csv', sep=None, engine='python')

Работа с большими файлами

Для обработки больших объемов данных используйте чтение и запись по частям:

# Запись по частям
for chunk in pd.read_csv('large_file.csv', chunksize=10000):
    processed_chunk = chunk.copy()  # обработка данных
    processed_chunk.to_csv('output.csv', mode='a', header=False, index=False)

Сохранение многоуровневых индексов

# Создание DataFrame с многоуровневым индексом
arrays = [['A', 'A', 'B', 'B'], ['one', 'two', 'one', 'two']]
tuples = list(zip(*arrays))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])

df_multi = pd.DataFrame({'values': [1, 2, 3, 4]}, index=index)

# Сохранение с сохранением структуры индекса
df_multi.to_csv('multi_index.csv', index=True)
df_multi.to_excel('multi_index.xlsx', index=True)