Linux other function

grep(Globally search a Regular Expression and Print)

grep （缩写来自Globally search a Regular Expression and Print）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。

命令格式

grep [option] pattern file

举例：查找以‘在人间|’开头的行。

grep '^在人间|' 2018-04-19suggest.txt

管道操作

管道操作就是把前面一条命令的输出作为后面一条命令的输入，从而把很多简单的命令组合起来完成复杂的功能。例如，如果我们想查找包含apple的行，但又想过滤掉pineapple，可以用下面的命令：

grep apple fruitlist.txt | grep -v pineapple

结果重定向

如果我们想把搜索结果保存起来，那么可以把命令的标准输出重定向到文件：如果想以追加方式写到文件，可以用>>。

grep apple fruitlist.txt | grep -v pineapple > apples.txt

实例

获取最新的分区

mixsongid_partition="set hive.cli.print.header=false;show partitions temp.search_near_mixsong_info "
mixsongid_lastest_partition=`hive -S -e  "$mixsongid_partition" | grep -E '[0-9]{4}-[0-1][0-9]-[0-3][0-9]' | grep '=2' | sort | tail -n 1` #hive -S 静默模式，不输出调试信息，只输出结果，否则会输出耗时信息，-e 从命令行执行指定的 HQL， -E正则表达式
vmixsongid=${mixsongid_lastest_partition:21:20}
echo ${vmixsongid}

查找所有包含文字的文件

grep -rnw '/path/to/somewhere/' -e 'pattern'
grep --include=\*.{c,h} -rnw '/path/to/somewhere/' -e "pattern" #This will only search through those files which have .c or .h extensions
grep --exclude=\*.o -rnw '/path/to/somewhere/' -e "pattern" #This will exclude searching all the files ending with .o extension
grep --exclude-dir={dir1,dir2,*.dst} -rnw '/path/to/somewhere/' -e "pattern" #For directories it's possible to exclude one or more directories using the --exclude-dir parameter. For example, this will exclude the dirs dir1/, dir2/ and all of them matching *.dst/

sed(stream editor)

用于修改，提取，删除文件。

命令格式

sed [-hnV][-e<script>][-f<script文件>][文本文件]

参数说明

-e或--expression= 以选项中指定的script来处理输入的文本文件。
-E或--extended-regexp 将范本样式为延伸的普通表示法来使用。（J就是用正则）
-f<script文件>或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
-h或--help 显示帮助。
-n或--quiet或--silent 仅显示script处理后的结果。
-V或--version 显示版本信息。

动作说明

a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！(Jg代表全部替换，没有g则是第一个替换)

实例

提取替换文件内容

cat newsongs.txt | sed -E 's/^([0-9]+).*|/\1/' > newsongs2.txt #没有-E就是说普通的替换，用了-E就是用正则替换
sed 's/^/添加的头部&/g' 　　　　 #在所有行首添加
sed 's/$/&添加的尾部/g' 　　　　 #在所有行末添加
sed '2s/原字符串/替换字符串/g'　 #替换第2行
sed '$s/原字符串/替换字符串/g'   #替换最后一行
sed '2,5s/原字符串/替换字符串/g' #替换2到5行
sed '2,$s/原字符串/替换字符串/g' #替换2到最后一行

export

Linux export命令用于设置或显示环境变量。

在shell中执行程序时，shell会提供一组环境变量。export可新增，修改或删除环境变量，供后续执行的程序使用。export的效力仅及于该次登陆操作。

命令格式

export [-fnp][变量名称]=[变量设置值]

export -p //列出当前的环境变量值
export BERT_BASE_DIR=model/chinese_L-12_H-768_A-12
export INPUT_FILE=data/lm/test.zh.tsv
python run_lm_predict.py \
  --input_file=$INPUT_FILE \
  --vocab_file=$BERT_BASE_DIR/vocab.txt \
  --bert_config_file=$BERT_BASE_DIR/bert_config.json \
  --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
  --max_seq_length=128 \
  --output_dir=/tmp/lm_output/

###参数说明

-f 　代表[变量名称]中为函数名称。
-n 　删除指定的变量。变量实际上并未删除，只是不会输出到后续指令的执行环境中。
-p 　列出所有的shell赋予程序的环境变量。

help

help命令用于显示shell内部命令的帮助信息。help命令只能显示shell内部的命令帮助信息。而对于外部命令的帮助信息只能使用man或者info命令查看。

###命令格式

help [option] command

rsync

rsync -avz -e 'ssh -p 32200' senddir/ baseDepSarch@10.1.XXX.18:file/upload

rsync -avz -e 'ssh -p 32200' baseDepSarch@10.1.XXX.18:file/download/ receivedir/

在跳板机使用，从而替代rz/sz的作用进行传输文件。

-a --archive  ：归档模式，表示递归传输并保持文件属性
-v：显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
-z        ：传输时进行压缩提高效率。

tr

translate的缩写。Linux tr 命令用于转换或删除文件中的字符。（J只是单个换单个）

cat tmp | tr " " "*" | tr "\t" "&"
#将空格和tab符号显示出啦
cat testfile |tr a-z A-Z 
#大小写转换

find

统计文件夹内的文件个数

find DIR_NAME -type f | wc -l #-type f to include only files.
find . -name "*.c" #将当前目录及其子目录下所有文件后缀为 .c 的文件列出来

实例

删除在文件夹中符合条件的文件

find . -name "*.swp" -type f -delete #remove all .swp files

awk

awk是处理文本文件的一个应用程序，几乎所有 Linux 系统都自带这个程序。

它依次处理文件的每一行，并读取里面的每一个字段。对于日志、CSV 那样的每行格式相同的文本文件，awk可能是最方便的工具。

与其它大多数UNIX命令不同的是，从名字上看，我们不可能知道awk的功能，因为awk是三个人名的缩写。

语法

awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)

选项参数说明：

-F fs or --field-separator fs 指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
-v var=value or --asign var=value 赋值一个用户定义变量。
-f scripfile or --file scriptfile 从脚本文件中读取awk命令。
-mf nnn and -mr nnn 对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional 在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright 打印简短的版权信息。
-W help or --help, -W usage or --usage 打印全部awk选项和每个选项的简短说明。
-W lint or --lint 打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old 打印关于不能向传统unix平台移植的结构的警告。
-W posix 打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符和=不能代替^和^=；fflush无效。
-W re-interval or --re-inerval 允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
-W source program-text or --source program-text 使用program-text作为源代码，可与-f命令混用。
-W version or --version 打印bug报告信息的版本。

实例

按符号进行分隔进行判断

awk会根据空格和制表符，将每一行分成若干字段，依次用$1、$2、$3代表第一个字段、第二个字段、第三个字段等等。

awk -F '|' '$1=="Name"' song.txt
cat song.txt | awk -F '|' '$1=="Name"' #两种方式使用都可以

if函数写复杂判断

cat query.txt | awk -F '\t' '{if($1=="国际米兰") print $0; else print "---"}'

cut

cut 命令在Linux和Unix中的作用是从文件中的每一行中截取出一些部分，并输出到标准输出中。我们可以使用 cut 命令从一行字符串中于以字节，字符，字段（分隔符）等单位截取一部分内容出来。

cut 命令的基本语法如下：

$ cut OPTION... [FILE]...

我们先来了解一下 cut 的一些选项，cut 命令必须要指定选项才能执行。

-f : 提取指定的字段，cut 命令使用 Tab 作为默认的分隔符。

-d : Tab 是默认的分隔符，使用这一选项可以指定自己的分隔符。

-b : 提取指定的字节，也可以指定一个范围。

-c : 提取指定的字符，可以是以逗号分隔的数字的列表，也可以是以连字符分隔的数字的范围。

–complement : 补充选中的部分，即反选。

–output-delimiter : 修改输出时使用的分隔符。

--only-delimited : 不输出不包含分隔符的列。

实例

按符号进行分割（J类似split）

echo "dt=2022-03-27" | cut -d"=" -f2

PreviousLinux shortcut NextLinux curl

Last updated 3 years ago

Was this helpful?

grep(Globally search a Regular Expression and Print)

命令格式

管道操作

结果重定向

更多option

实例

获取最新的分区

查找所有包含文字的文件

sed(stream editor)

命令格式

参数说明

动作说明

实例

提取替换文件内容

export

命令格式

help

rsync

tr

find

实例

删除在文件夹中符合条件的文件

awk

语法

实例

按符号进行分隔进行判断

if函数写复杂判断

cut

实例

按符号进行分割（J类似split）