常用linux命令

常用linux命令

1.删除0字节文件
find -type f -size 0 -exec rm -rf {} \;

2.查看进程
按内存从大到小排列
ps -e -o "%C : %p : %z : %a"|sort -k5 -nr

3.按cpu利用率从大到小排列
ps -e -o "%C : %p : %z : %a"|sort -nr

4.打印说cache里的URL
grep -r -a jpg /data/cache/* | strings | grep "http:" | awk -F'http:' '{print "http:"$2;}'

5.查看http的并发请求数及其TCP连接状态：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'


6. sed -i '/Root/s/no/yes/' /etc/ssh/sshd_config sed在这个文里Root的一行，匹配Root一行，将no替换成yes.


7.1.如何杀掉mysql进程：
ps aux |grep mysql |grep -v grep |awk '{print $2}' |xargs kill -9 (从中了解到awk的用途)

killall -TERM mysqld

kill -9 `cat /usr/local/apache2/logs/httpd.pid` 试试查杀进程PID

8.显示运行3级别开启的服务:
ls /etc/rc3.d/S* |cut -c 15- (从中了解到cut的用途，截取数据)

9.如何在编写SHELL显示多个信息，用EOF
cat << EOF
+--------------------------------------------------------------+
| === Welcome to Tunoff services === |
+--------------------------------------------------------------+
EOF

10. for 的巧用(如给mysql建软链接)
cd /usr/local/mysql/bin
for i in *
do ln /usr/local/mysql/bin/$i /usr/bin/$i
done

11. 取IP地址：
ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6- 或者

ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'

12.内存的大小:
free -m |grep "Mem" | awk '{print $2}'

13.
netstat -an -t | grep ":80" | grep ESTABLISHED | awk '{printf "%s %s\n",$5,$6}' | sort

14.查看Apache的并发请求数及其TCP连接状态：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

15.因为同事要统计一下服务器下面所有的jpg的文件的大小,写了个shell给他来统计.原来用xargs实现,但他一次处理一部分,搞的有多个总和....,下面的命令就能解决啦.
find / -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'

CPU的数量（多核算多个CPU，cat /proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。

---------------------------------------------------------------------------------------
16 CPU负载 # cat /proc/loadavg
检查前三个输出值是否超过了系统逻辑CPU的4倍。

18 CPU负载 #mpstat 1 1
检查%idle是否过低(比如小于5%)

19 内存空间 # free
检查free值是否过低 也可以用 # cat /proc/meminfo

20 swap空间 # free
检查swap used值是否过高 如果swap used值过高，进一步检查swap动作是否频繁：
# vmstat 1 5
观察si和so值是否较大

21 磁盘空间 # df -h
检查是否有分区使用率(Use%)过高(比如超过90%) 如发现某个分区空间接近用尽，可以进入该分区的挂载点，用以下命令找出占用空间最多的文件或目录：
# du -cks * | sort -rn | head -n 10

22 磁盘I/O负载 # iostat -x 1 2
检查I/O使用率(%util)是否超过100%

23 网络负载 # sar -n DEV
检查网络流量(rxbyt/s, txbyt/s)是否过高

24 网络错误 # netstat -i
检查是否有网络错误(drop fifo colls carrier) 也可以用命令：# cat /proc/net/dev

25 网络连接数目 # netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n

26 进程总数 # ps aux | wc -l
检查进程个数是否正常 (比如超过250)

27 可运行进程数目 # vmwtat 1 5
列给出的是可运行进程的数目，检查其是否超过系统逻辑CPU的4倍

28 进程 # top -id 1
观察是否有异常进程出现

29 网络状态 检查DNS, 网关等是否可以正常连通

30 用户 # who | wc -l
检查登录用户是否过多 (比如超过50个) 也可以用命令：# uptime

31 系统日志 # cat /var/log/rflogview/*errors
检查是否有异常错误记录 也可以搜寻一些异常关键字，例如：
# grep -i error /var/log/messages
# grep -i fail /var/log/messages

32 核心日志 # dmesg
检查是否有异常错误记录

33 系统时间 # date
检查系统时间是否正确

34 打开文件数目 # lsof | wc -l
检查打开文件总数是否过多

35 日志 # logwatch –print 配置/etc/log.d/logwatch.conf，将 Mailto 设置为自己的email 地址，启动mail服务 (sendmail或者postfix)，这样就可以每天收到日志报告了。
缺省logwatch只报告昨天的日志，可以用# logwatch –print –range all 获得所有的日志分析结果。
可以用# logwatch –print –detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。

36.杀掉80端口相关的进程
lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh

37.清除僵死进程。
ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9

38.tcpdump 抓包 ，用来防止80端口被人攻击时可以分析数据
# tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts

39.然后检查IP的重复数 并从小到大排序 注意 "-t\ +0" 中间是两个空格
# less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\ +0

40.查看有多少个活动的php-cgi进程
netstat -anp | grep php-cgi | grep ^tcp | wc -l
chkconfig --list | awk '{if ($5=="3:on") print $1}'

 

允许非root用户使用“sudo”

root身份登录系统，执行“visudo”，根据示例添加新的一个规则（记住输入的密码是当前用户密码，而不是root密码）
#不需要密码执行sudo命令
hadoop        ALL=(ALL)       NOPASSWD: ALL

日期 

时间戳转日期
date -d '1970-01-01 UTC 1312438633.724 seconds' +"%Y-%m-%d %T"

#显示现在日期
echo `date -d now +%Y%m%d`

#显示昨天日期
echo `date -d yesterday +%Y%m%d`

#加减时间
date +%Y%m%d --date="-1 day"
date +%Y%m%d%H --date="-1 hour"

查看网站是什么服务器 curl -s --head "http://www.baidu.com"

查看redhat版本  cat /etc/redhat-release #我这里显示“CentOS release 5.5 (Final)” 查看linux最大可以打开文件数量 写道 ulimit -a
# 关注屏显其中一行，可以看出最大打开文件数量为1024
open files (-n) 1024

设置打开文件数量：

echo -ne "
* soft nofile 65536
* hard nofile 65536
" >>/etc/security/limits.conf

推出终端后，在执行ulimit -a，可以看出修改已经生效

zip压缩文件 zip {dist} {src}
zip -P {password} {dist} {src}

只允许root远程登录 cd /etc
touch nologin

锁定用户，查看机器64位还是32位 uname -m #会显示：“i686”、“x86_64”  无法远程登录（root only）  passwd -l hadoop

解锁用户（root only）  passwd -u hadoop

列出rpm安装程序的文件路径 rpm -ql hadoop-0.20

查看系统已经安装软件 rpm -qa | grep hadoop

查看当前服务器总的cpu core数量（有多少核） more /proc/cpuinfo | grep 'processor' | wc -l

#查看每个CPU的核数
more /proc/cpuinfo | grep 'cpu cores'

#计算当前服务cpu数量
总核数 / 每个CPU的核数

#查看CPU位数
getconf LONG_BIT

 查看程序的安装路径 whereis java

 查看执行程序的路径 which java

Java代码  

1. # 修改DNS IP  
2. vi /etc/resolv.conf  

 

Java代码  

1. #查看内存  
2. free  

#查看CPU是否支持64操作系统，如果结果大于0，说明支持64bit模式（long mode）
cat /proc/cpuinfo | grep flags | grep ' lm ' | wc -l

#查看某行内容
sed -n '100{p;q}' filename

#查看用户所属组
grep "用户名" /etc/group

#查看rpm包文件
rpm2cpio hadoop.rpm | cpio -idmv

#添加某个路径到运行时库，一行一个path
 vi /etc/ld.so.conf
/usr/local/lib/
（或者使用环境变量的方式，这种方向不需要root权限）
export LD_LIBRARY_PATH=/xxxxx:$LD_LIBRARY_PATH

#centos下通过shell修改文件扩展名，rename <oldname> <newname> <*.files>
 #将所有html扩展名改为htm扩展名 
rename .html .htm   *.html
具体参考：http://www.cyberciti.biz/tips/renaming-multiple-files-at-a-shell-prompt.html
#通过mv也可以实现修改扩展名这个功能
mv goodYear.{htm,html}

sort命令 # -u 去除重复行

# -r 降序（默认为升序）

# -o 输出排序后数据，他与重定向'>'最大的区别是输出数据到原文件
sort seq.txt -o > seq.txt

# -n 根据数值大小排序

# -k 指定根据某列排序
sort num.txt -k2  # 根据第二列排序（默认分隔符为空格、tab） 

# -t 指定列分隔符，仅支持一个字符
# -m 归并排序

linux 命令行参数引用 运行命令：
./test.sh 111 222 333 444

echo 运行文件名称：$0
#./test.sh

echo 第一个参数：$1
#111

echo 参数个数：$#
#4

echo 最后一个：$_
#444

echo 所有参数，参数被认为是多个字符串：$@
#111 222 333 444

echo 所有参数，参数被认为是一个字符串: $*
#111 222 333 444

echo 程序pid: $$

echo 退出code: $?

less命令  tip1：敲入50p，可以进入50%的文档位置，支持小数，如95.5p

脚本改密码 写道 #方法一
echo 123123 |passwd --stdin abc
#方法二
#echo "root:!@#$QW12qw"|chpasswd
#pwdadm -c root

http://www.aixchina.net/club/thread-69699-1-1.html 一行命令创建用户并设置密码 useradd -p `openssl passwd <pwd>` -g <group_name> <username>

创建用户并禁止远程登录 useradd -s /sbin/nologin ak47

查询用户crontab运行记录  cat /var/log/cron | grep <username>

修改linux用户目录 usermod -d /home/hdfs -U hdfs 磁盘速度测试 hdparm -t /dev/sda1

快速查找文件（根据文件名） # locate命令负责查找，updatedb命令生成文件索引（daily）
locate *qq*.txt

chkconfig 写道 chkconfig --list | more # 列出所有系统服务

chkconfig <service_name> off|on # 关闭、打开系统服务

第一次SSH登录不提示 配置ssh conf文件中StrictHostKeyChecking no


top  c     # 显示程序完整路径
m    # 按照内存排序
P    #  按照CPU排序

bz2文件解压缩 bunzip2 yy.bz2

查看重复次数（shell 实现的group by + count）  # uniq前一定要先sort，uniq参数-c，将打印分组重复次数
cat xx.TXT | sort | uniq -c

tar命令使用  tar -zcf my.tgz my # 压缩打包
tar -cf my.tgz my # 不压缩打包


tar -zxf my.tgz my # 解压缩包
tar -xf my.tgz my # 解不压缩的包

tar -tf # 查看tar包结构 find  #-o: 或条件
# 查找当前目录下所有.htm和.html结尾的文件
find . \( -name "*.htm" -o -name "*.html" \)

# -a: and条件

grep 写道 #查找文本中包含boy和girl的行
cat my.txt | grep -E 'boy|girl'

# 根据文本内容查找文件名，"-H"用于输出文件名
find . -name '*city*' -ls -exec zgrep 'null' {} -H  \;  

修改hostname  方法一：hostname <new hostname>
方法二：vi /etc/sysconfig/network

查看打开文件数 lsof |wc -l
lsof -p pid |wc -l