正则表达式

      1. 正则表达式是什么
            正则表达式是用于扫描字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分割、匹配、查找及替换操作。
    
      2 正则表达式与通配符
           1）正则表达式用来在文件中匹配符合条件的字符串，正则是包含匹配。grep、awk、sed等命令可以支持正则表达式
           2）通配符用来匹配符合条件的文件名，通配符是完全匹配。ls、find、cp这些命令不支持正则表达式，所以只能使用shell自己的通配符来进行匹配了

      3 基础正则表达式
                元字符                                                作用
                     *                                 前一个字符匹配0次或任意多次 
                     .                                 匹配除了换行符外任意一个字符
                     ^                                匹配行首。例如：^hello会匹配以hello开头的行
                     $                                匹配行尾。例如：hello$会匹配以hello结尾的行
                     []                                匹配中括号中指定的任意一个字符，只会匹配一个字符
                                                       例：[aeiou] 匹配任意一个元音字母，[0-9]匹配任意一位数字，
                                                        [a-z][0-9]匹配小写字母和一位数字够吃的两位字符
                     [^]                               匹配除中括号的字符以外的任意一个字符。例：[^0-9]匹配任意
                                                        一位非数字字符，[^a-z]表示任意一位非小写字母
                      \                                 转义符。用于将特殊符号的含义取消
                     \{n\}                             表示其前面字符恰好出现n次。例[0-9]\{4\}匹配4位数字，[1][3-8]
                                                        [0-9]\{9\}匹配手机号码
                     \{n,\}                             表示其前面的字符出现不小于n次。例：[0-9]\{2,\}表示两位及以
                                                          上的数字 
                      \{n,m\}                         表示其前面的字符至少出现n次，最多出现m次。例：[a-z]\
                                                          {6,8\}匹配6到8位的小写字母                    


              “*” 前一个字符匹配0次，或任意多次
                "a*" 匹配所有内容，包括空白行
                “aa*” 匹配至少包含有一个a的行
                “aaa*” 匹配最少包含两个连续a的字符串
                “aaaa*”匹配最少包含四个连续a的字符串

              “.” 匹配除了换行符外任意一个字符
                 "s..d" 匹配在s和d这两个字母之间一定有两个字符的单词
                 “s.*d” 匹配在s和d字母之间有任意字符
                 “.*” 匹配所有内容

              “^” 匹配行首，“$”匹配行尾
                “^M” 匹配以大写“M”开头的行
                “n$” 匹配以小写“n”结尾的行
                “^$” 会匹配空白行

              "[]" 匹配中括号中指定的任意一个字符，职匹配一个字符
                “s[ao]id” 匹配s 和 i 字母中，要么是a，要么是o
                “[0-9]” 匹配任意一个数字
                 “^[a-z]” 匹配用小写字母开头的行

              "[^]" 匹配除中括号的字符以外的任意一个字符
                "^[^a-z]" 匹配不用小写字母开头的行
                "^[^a-zA-Z]" 匹配不用字母开头的行

               “\” 转义符
                 “\.$”匹配使用“.”结尾的行

               “\{n\}” 表示其前面的字符恰好出现n次
                  "a\{3\}"  匹配a字母连续出现三次的字符串
                  “[0-9]\{3\}” 匹配包含连续的三个数字的字符串

                “\{n,\}” 表示前面的字符出现不小于n次
                  “[0-9]\{3,\}[a-z]” 匹配最少用连续三个数字开头的行
                  
                 "\{n,m\}" 匹配其前面的字符至少出现n次，最多m次
                  "sa\{1,3\}i" 匹配在字母s和字母i之间有最少一个a，做多3个a

                                      几个例子
                  [0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\} 匹配日期格式 YYYY-MM-DD
                  [0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}   匹配ip地址

                                                  字符截取命令
            
                  cut   
                      cut [选项] 文件名
                              -f  列号： 提取第几列
                              -d 分隔符： 按照指定分隔符分割列
                    
                例： 
                      cut -f 2 sut.txt 提取第二列数据
                      cut -f 1,3 stu.txt 提取第一、三列
                      cut -d ":" -f 1,3 /etc/passwd 按指定分隔符分割提取

                  printf  ‘输出类型 输出格式’ 输出内容
                       输出类型：  
                                %ns：输出字符串，n是数字指代输出几个字符
                                %ni：输出整形，n是数字指代输出几个数字
                                %m.nf：输出浮点数，m和n是数字，指代输出的整数位和小数位。如%8.2f代表输出8位数，其中2位是小数，6位是整数
                            
                        输出格式：
                                        \a 输出警告声音
                                        \b 输出退格键，也就是backspace键
                                        \f  清除屏幕
                                        \n  换行
                                        \r  回车
                                        \t  水平输出退格键
                                        \v 垂直输出退格键

                       例：
                              printf '%s' $(cat student.txt) 不调整输出格式
                              printf '%s\t%s\t%s\t%s\n' $(cat student.txt) 调整格式输出
    
              在awk命令的输出中文支持 print 和printf命令
                    print ： pring会在每一个输出之后自动加入一个换行符（linux 默认没有print命令）
                    printf： printf是标准格式输出命令，并不会自动加入换行符，如果需要换行，需要手工加入换行符

              awk ‘条件1{动作1}条件2{动作2}’ 文件名
                      条件： 一般使用关系表达式作为条件
                              x>10 判断变量  x是否大于10
                              x>=10 大于等于
                              x<=10  小于等于
                       动作： 格式化输出，流程控制语句
                        例：
                          awk '{printf $2 "\t" $4 "\n"}' student.txt
                          df -h | awk '{print $1 "\t" $3}'
                          
                           1.条件BEGIN
                              awk ‘BEGIN{printf “this is a transcript \n”}{print $2 "\t" $t "\n"}’ student.txt
                            2. 条件END
                              awk ‘END{printf "The End \n"}{print $2 "\t" $4 "\n" }’ student.txt
                            3. FS内置变量
                              cat /etc/passwd | grep "/bin/bash" | awk '{FS=":"}{print $2 "\n" }'
                              关系运算符
                              cat student.txt | grep -v Name | awk '$4 >=70{printf $2 "\n"}'
                            4, sed 命令
                                sed是一种几乎包括在所有UNIX平台(包括Linux)的轻量级流程编辑器。sed主要是用来将数据进行选取、替换、删除、新增的命令。
                                sed [选项] ‘[动作]’ 文件名
                                    选项：
                                          -n : 一般sed命令会把所有数据都输出到屏幕，如果加入此选择则会把经过sed命令处理的行输出到屏幕。
                                          -e : 允许对输出数据应用多条sed命令编辑
                                          -i : 用sed的修改结果直接修改读取数据的文件，而不是由屏幕输出
                                    动作：
                                           a : 追加，在当前行后添加一行或多行
                                           c : 行替换，用c后面的字符串替换原数据行
                                           i : 插入，在当前行钱插入一行或多行
                                           d : 删除，删除指定的行
                                           p : 打印，输出指定的行
                                           s : 字符串替换，用一个字符串替换成另一个字符串。格式为"行范围s/旧字符串/新字符串/g"  和vim中替换格式类似

                                     例：
                                          sed '2p' student.txt 查看文件的第二行
                                          sed -n '2p' student.txt 
                                          sed '2,4d' student.txt  删除2到4行数据，不改文件本身
                                          sed '2a abcd' student.txt 在第二行后追加
                                          sed '2 iabcd' student.txt 在第二行前追加
                                          sed '2c abcd' student.txt 数据替换
                                          字符串替换
                                          sed ‘s/旧字符串/新字符串/g’ 文件名
                                          sed '3s/60/99/g' student.txt
                                          sed -i '3s/60/99/g' student.txt
                                          sed -e 's/feng//g;s/cang//g' student.txt

                          排序命令
                              sort [选项] 文件名
                                        -f : 忽略大小写
                                        -n : 以数值型进行排序，默认使用字符串型排序
                                        -r : 反向排序
                                        -t : 指定分隔符，默认为制表符
                                        -k n[,m] : 按照指定的字段范围排序，从第n字段开始，m字段结束（默认到行尾）
                              例：
                                    sort -t ";" -k 3,3 /etc/passwd
                                    sort -n -t ";" -k 3,3 /etc/passwd
                            
                           统计命令
  
                                wc [选项] 文件名
                                        -l ： 只统计行数
                                        -w： 只统计单词数
                                        -m：只统计字符数