Tag: sed

Правильный способ избежать вызова подпроцесса в python

У меня проблемы с правильной победой вызова подпроцесса Я хочу вызвать sed -n "$=" /path/to/file чтобы подсчитать количество строк в файле, но не сделать этого из python. Мой код выглядит следующим образом: import subprocess filename = "/path/to/file" cmd = subprocess.Popen(["sed", "-n '$='", filename], stdout=subprocess.PIPE) cmd_out, cmd_err = cmd.communicate() num_lines = int(cmd_out.strip()) print num_lines Я пробовал […]

Sed скрипт для редактирования файла csv или Python

В нашем проекте нам нужно импортировать файл csv в postgres. Существует несколько типов файлов, означающих длину файла, так как некоторые файлы имеют меньшее количество столбцов, а некоторые – все. Нам нужен быстрый способ импортировать этот файл в postgres. Я хочу использовать COPY FROM postgres, так как требования к скорости обработки очень высокие (почти 150 файлов […]

Найти и заменить все между двумя заполнителями содержимым переменной

Алоха, я пытался выяснить, как заменить / вставить текстовые строки между двумя владельцами мест. #start REPLACE ANYTHING IN HERE #end Первоначально я пытался сделать это с помощью BASH через sed, но попал в дорожный блок, когда пытался передать переменную sed. sed -n -i '/#start/{p;:a;N;/#end/!ba;s/.*\n/hello\n/};p' file.txt Возвращает #start hello #end но без радости, когда я пытаюсь […]

Использовать имя папки в виде столбца в текстовом файле

Ленивый меня подумывает о добавлении колонки в некоторые текстовые файлы. Текстовые файлы находятся в каталогах, и я хотел бы добавить имя каталога в текстовый файл. Как текстовый файл text.txt в папке the_peasant : has a wart was dressed up like a witch has a false nose станет: the_peasant has a wart the_peasant was dressed up […]

Как я могу разбить эту строку?

Я пытаюсь разбить строки, предшествующие местам, где есть целое, 2-значное число, окруженное пробелами. В конце концов я бы хотел, чтобы это работало на Python, но я работал с sed, и я не могу понять это. Мои тестовые данные выглядят так: 13 13 13 13 13 9:07.18 9:12.09 9:15.65 14 14 14 2:04.86 2:05.99 2:06.87 14 […]

Регулярное выражение – заменить все пробелы в начале строки на периоды

Меня не волнует, если я достиг этого через vim, sed, awk, python и т. Д. Я пробовал все, не мог сделать это. Для ввода: top f1 f2 f3 sub1 f1 f2 f3 sub2 f1 f2 f3 sub21 f1 f2 f3 sub3 f1 f2 f3 Я хочу: top f1 f2 f3 …sub1 f1 f2 f3 …sub2 […]

Как получить плоский XML, чтобы внешние объекты были объединены на верхний уровень

Я знаю, что это пограничный случай, действительно ли он относится к stackoverflow или суперпользователю, но, как кажется, здесь есть довольно много вопросов «редактирования кода», я размещаю его на SO. У меня есть куча XML-файлов, которые кто-то в своей бесконечной мудрости решил взорваться на несколько файлов с помощью тегов, что в результате делает отладку / редактирование […]

Shell: вставьте пустую / новую строку на две строки над рисунком

Чтобы добавить пустую строку над каждой строкой, соответствующей вашему регулярному выражению, вы можете использовать: sed '/regexp/{x;p;x;}' Но я хочу добавить пустую строку, а не одну строку выше, но две строки над строкой, которая соответствует моему регулярному выражению. Образец, который я буду сопоставлять, – это почтовый индекс в адресной строке. Вот фрагмент форматирования текста: случайная информация […]

обрезать большой файл журнала

Я выполняю тесты производительности для нескольких java-приложений. При тестировании приложения производят очень большие файлы журнала (это может быть 7-10 ГБ). Мне нужно обрезать эти файлы журналов между определенными датами и временем. В настоящее время я использую скрипт python, который анализирует временные метки журнала в объекте python datetime и печатает только согласованные строки. Но это решение […]

Как случайным образом удалить несколько строк из большого файла?

У меня большой текстовый файл размером 13 ГБ с 158 609 739 строк, и я хочу случайным образом выбрать 155 000 000 строк. Я попытался скрестить файл, а затем вырезал первые строки 155000000, но кажется, что моя память RAM (16 ГБ) недостаточно велика для этого. Трубопроводы, которые я пробовал: shuf file | head -n 155000000 […]

Python - лучший язык программирования в мире.