Category Archives: Linux

解决因jbd2导致mysql性能过低问题

Posted by wolftankk on 2015/05/01 No comments

在几个月前，有同事因为需要对某项功能进行压力测试，测试mysql的读写性能。当时测下来的结果非常不满意，本地测试环境性能巨差无比，当时我帮忙找问题，top看cpu、内存完全没有问题，iotop看到有jbd2 I/O占用到了99%。压力测试一结束，也随之降下来。当时排查了一段时间，始终没有搞定，就放弃了。就在这周，还是需要测试mysql性能，还是因为这个问题，我就花了一个下午的时间，终于解决了。

首先我们应该了解一下jbd2是什么东西。为什么I/O会如此之高。随便google一下，都有问到jbd2如何关闭。但是没有一个答案是能搞定的。wikipedia下是这样定义的（JBD）：

The Journaling Block Device (JBD) provides a filesystem-independent interface for filesystem journaling. ext3, ext4 and OCFS2 are known to use JBD. OCFS2 starting from linux 2.6.28 and ext4 use a fork of JBD called JBD2

那如何关闭JBD2呢？

首先用 dumpe2fs /dev/sda6 | more 查看Filesystem Feature下有木有has_journal。如果没有就不用看了 -_-

tune2fs -o journal_data_writeback /dev/sda6
tune2fs -O "^has_journal" /dev/sda6
e2fsck -f /dev/sda6

同时在fstab下重新设定一下，在defaults之后增加

defaults,data=writeback,noatime,nodiratime

重启之后，在使用dumpe2fs查看，若没有了，那说明已经把jbd关闭了。

如果使用tune2fs时候，提示disk正在mount，如果是非系统盘下，你可以使用

fuser -km /home #杀死所有使用/home下的进程
umount /dev/sda6 #umount

之后在使用上面的命令进行移除has_journal

你现在在google上搜索“jbd2/sda1-8 high io”，仍然没有一个完整的解决方案，希望这文章能帮到你。

定时备份mysql数据

Posted by wolftankk on 2012/06/26 No comments

#!/bin/bash

DB_USER=root
DB_PASSWD=""
#需要备份的数据库名
DATABASES="bigamer bigamer_ucenter bigamer_anwsion bigamer_passport"
BACKUP_DIR="/home/backup/mysql/"
DATE=`date '+%Y%m%d'`
DUMPFILE=$DATE.sql
ARCHIVEFILE=$DUMPFILE.tar.gz
DUMP_ARGS="-u $DB_USER -p $DB_PASSWD --add-drop-table --add-drop-database -B $DATABASES"
DUMP_BIN=`which mysqldump`

if [ ! -d $BACKUP_DIR ]; then
mkdir -p "$BACKUP_DIR"
fi

cd $BACKUP_DIR

$DUMP_BIN $DUMP_ARGS > $DUMPFILE

if [[ $? == 0 ]]; then
tar czf $ARCHIVEFILE $DUMPFILE
    rm -f $DUMPFILE
fi

#清理五天前备份的数据
find $BACKUP_DIR -name "*.sql.tar.gz" -type f -mtime +5 -exec rm {} \; > /dev/null 2>&1

echo "Backup Process Done"

Apache mod_ssl通过PoisitveSSL认证

Posted by wolftankk on 2012/04/18 No comments

由于前几天国内大断网之后, 现在安装的三方twitter客户端dabr和twip, 每次都会重置链接. 通过测试服务器上设定ssl链接后, 就不会被我们伟大的GFW重置链接. 但没有第三方机构认证的ssl, 在twitter for iphone客户端上将会无法使用. 首先我尝试了免费的startssl, 但是无法进入控制面板. 然后就在cheapssls.com找到了一个单域名ssl认证, 每年只需要$8. (这里的单域名, 只能用在一次域名地址上, 比如你注册的是wolftankk.com, 那么用在t.wolftankk.com上, 浏览器会警告你证书错误). 聊了这么多, 我们来讲讲具体步骤.

在此之前请确保mod_ssl模块已经加载.

生产.csr文件与.key文件

openssl req -nodes -newkey rsa:2048 -keyout server.key -out server.csr

根据选项输入国家, 城市, 邮件地址以及域名地址 (Common Name 域名地址一定要填写正确)
我这里注册的是t.wolftankk.com

在cheapssls上选购poisitiveSSL

然后在选购面板中填写你需要申请的域名地址,email, 电话以及联系地址.
并且在csr选择 apache + mod_ssl, 并且将你服务器上csr文本内容黏贴在文本框中
在过不了多久, 你就会收到邮件, 此邮件里面包含域名的crt和ca-bundle
将server.key, wolftankk_com.crt, wolftankk_com.ca-bundle 全部放在 apache2/conf目录下

mod_ssl设定

修改mod_ssl配置, 修订apache2/conf/extra/httpd-ssl.conf

Listen 443

AddType application/x-x509-ca-cert .crt
AddType application/x-pkcs7-crl .crl

SSLPassPhraseDialog builtin

SSLSessionCache "shmcb:/usr/local/apache2/logs/ssl_scache(512000)"
SSLSessionCacheTimeout 300

SSLMutex "file:/usr/local/apache2/logs/ssl_mutex"

同时将下面的这段全部注释.

设定httpd-vhost.conf

NameVirtualHost *:443

ServerAdmin wolftankk@gmail.com
DocumentRoot "/home/htdocs/dabr/wwwroot"
ServerName t.wolftankk.com:443
ErrorLog "/home/htdocs/dabr/logs/error.log"
SSLEngine on
SSLCipherSuite ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP:+eNULL
SSLProtocol all -SSLv2
#poisitiveSSL 发给你的crt文件
SSLCertificateFile "/usr/local/apache2/conf/wolftankk_com.crt"
#生产server.key文件
SSLCertificateKeyFile "/usr/local/apache2/conf/server.key"
#poisitiveSSL 发给你的ca-bundle
SSLCertificateChainFile "/usr/local/apache2/conf/wolftankk_com.ca-bundle"
SSLCACertificateFile "/usr/local/apache2/conf/wolftankk_com.ca-bundle"
SSLOptions +StdEnvVars

SSLOptions +StdEnvVars

BrowserMatch ".*MSIE.*" \
nokeepalive ssl-unclean-shutdown \
downgrade-1.0 force-response-1.0

CustomLog "/home/htdocs/dabr/logs/access.log" \
"%t %h %{SSL_PROTOCOL}x %{SSL_CIPHER}x \"%r\" %b"

设定完之后, 重启apache, 现在你访问t.wolftankk.com 就不会在显示不信任的认证, 在浏览器的地址栏上会显示第三方认证的标志.

现在你就不怕你搭建的第三方twitter客户端被重置链接了.

rsync配置以及一些小提示

Posted by wolftankk on 2012/04/05 No comments

最近搞镜像同步, 用到了rsync. 这里做一些简单的备忘记录.

Rsyncd

1 安装
在服务器上安装rsync,
在debian, ubuntu 服务器上可以使用apt-get install rsync
在centos, redhat 服务器上可以使用yum install rsync
或者直接下载rsync源代码: http://www.samba.org/ftp/rsync/rsync-3.0.9.tar.gz (目前最新版本3.0.9)
然后./configure and make and make install

2 配置rsyncd.conf

uid = nobody
gid = nobody
use chroot = no
max connections = 25
read only = yes
port = 873
[MODNAME]
path = /home/htdocs/res
comment = Website static resource (~30G)
list = yes
auth users = wolftankk
ignore errors
secrets file = /etc/rsyncd/MODNAME.scr
exclude = tmp/

然后设置MODNAME.scr
[注意] 一定要将MODNAME.scr 设置为600属性

wolftankk:mypass

更具体的配置可以参考http://www.samba.org/ftp/rsync/rsyncd.conf.html

3 启动

/usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf

将此命令加入启动脚本中, 服务器将会在每次启动时候自动启动rsyncd

Rsync

在镜像服务器上设置同步

测试链接

rsync -avzP wolftankk@172.16.1.30::
如果链接成功, 将会列出此服务器上的模块以及注释, 如下

[MODNAME]
comment = Website static resource (~30G)

[备注]
-a参数: 相当于-rlptgoD，-r 是递归 -l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件
在使用-a参数的时候, 会将服务器A的owner以及group同步到本地, 有可能会导致你镜像文件的读写权限导致问题.
我们可以使用–no-OPTIONS 参数,比如我不需要同步文件(夹)的owner和group, 那么加入参数 –no-o 和 –no-g

屏蔽列表, 屏蔽方式用两种一种是直接写在配置里面, 另一种是写在一个但是的配置文件中.
1. exclude
不包含文件夹 –exclude=tmp/
不包含文件 –exclude=include/database.php

2. exclude-from
vim /etc/rsync.ignore

tmp/
include/database.php
download/test/*
static/css/*.sass

设置cron

* */1 * * * /usr/bin/rsync -az --password-file=/etc/rsync.pass --exclude-from=/etc/rsync.ignore --no-o --no-g wolftankk@172.16.1.30::MODNAME /home/htdocs/res

每小时同步一次.

在rsync.pass种设定密码, 并且必须要设置为600权限

mypass

详细参数可以参考: http://www.samba.org/ftp/rsync/rsync.html

The bash script of downloading the graphics programmming book

Posted by wolftankk on 2011/10/22 2 comments

Download the <>, by Micheal Abrash

wget http://twimgs.com/ddj/abrashblackbook/gpbb{0..70}.pdf

curl -O http://twimgs.com/ddj/abrashblackbook/gpbb{0..70}.pdf

also, you can use the command below:

wget -r -l1 -H -t1 -nd -N -np -A.pdf -erobots=off http://drdobbs.com/high-performance-computing/184404919

使用debian做路由网关

Posted by wolftankk on 2011/10/18 2 comments

必要软件

今天利用debian做了一台路由网关, 并且能自动翻墙.

首先你需要一些东西: 一台已架设好openvpn/vpn的服务器, 一个已安装好debian系统的电脑或者虚拟机.

首先进入debian, 安装一些必要的软件

apt-get install openssl curl openvpn iptables bind9

月色狼影

旅行中,听其言,看其人,做其事

Category Archives: Linux

解决因jbd2导致mysql性能过低问题

如何找出僵死进程的父进程

定时备份mysql数据

Apache mod_ssl通过PoisitveSSL认证

生产.csr文件与.key文件

在cheapssls上选购poisitiveSSL

mod_ssl设定

设定httpd-vhost.conf

rsync配置以及一些小提示

Rsyncd

Rsync

测试链接

设置cron

The bash script of downloading the graphics programmming book

使用debian做路由网关

必要软件

Categories

Recent Posts

Follow me on Twitter

旅行中,听其言,看其人,做其事

Category Archives: Linux

生产.csr文件与.key文件

在cheapssls上选购poisitiveSSL

mod_ssl设定

设定httpd-vhost.conf

Rsyncd

Rsync

测试链接

设置cron

必要软件

Tags

Categories

Recent Posts

Follow me on Twitter