ByPat博客专注于Linux资源分享!

Linux菜鸟的天堂,Linux高手的摇篮。

百万级PHP网站架构工具箱

By: bypat | Date: 2012 年 3 月 20 日 | Categories: Linux系统入门

在了解过世界最大的PHP站点,Facebook的后台技术后,今天我们来了解一个百万级PHP站点的网站架构:Poppen.de。 Poppen.de是德国的一个社交网站,相对Facebook、Flickr来说是一个很小的网站,但它有一个很好的架构,融合了很多技术,如 Nigix、MySql、CouchDB、Erlang、Memcached、RabbitMQ、PHP、Graphite、Red5以及Tsung。

Poppen.de目前有200万注册用户数、2万并发用户数、每天20万条私有消息、每天25万登录次数。而项目团队有11个开发人员,两个设计,两个系统管理员。该站点的商业模式采用免费增值模式,用户可以使用搜索用户、给好友发送消息、上载图片和视频等功能。

如果用户想享受不受限制发送消息和上载图片,那么就得根据需要支付不同类型的会员服务,视频聊天及网站其他服务也采用同样的策略。

Nginx

Poppen.de 所有的服务都是基于Nginx服务上的。前端有两台Nginx服务器在高峰期提供每分钟15万次请求的负载,每个机器已经有四年寿命,并且只有一个CPU 和3GB RAM。Poppen.de拥有三台独立的图像服务器,由三台Nginx服务器为*.bilder.poppen.de提供每分钟8万次请求服务。

Nginx 架构中一个很酷[......]

阅读全文

MySQL Cluster7.2.4 集群配置

By: bypat | Date: 2012 年 3 月 8 日 | Categories: Linux系统入门

准备 32位和64位版本  3台服务器 

202.38.128.153 dbs2 64位

202.122.32.68 dbs1 64位

192.168.32.22 erpdbtest 32位

管理节点(ndb_mgmd) 192.168.32.22 erpdbtest 32位

数据节点(ndbd)    202.122.32.68 dbs1 64位   202.38.128.153 dbs2 64位

SQL节点(mysqld) 202.122.32.68  dbs1 64位  202.38.128.153 dbs2 64位

wget http://dev.mysql.com/get/Downloads/MySQL-Cluster-7.2/mysql-cluster-gpl-7.2.4-linux2.6-i686.tar.gz/from/http://gd.tuwien.ac.at/db/mysql/

 

卸载Mysql 

rpm –qa | grep SQL

rpm –e mysql…

删除/etc/my.cnf&nb[......]

阅读全文

互联网创业服务器运维工具集

By: bypat | Date: 2012 年 3 月 7 日 | Categories: Linux系统入门


nginx虚拟主机防webshell跨目录

By: bypat | Date: | Categories: Linux系统入门

1.在nginx.conf里把每个虚拟主机站点请求端口给区别开

server {

listen 80;
server_name www.key0.cn;
index index.html index.htm index.php;
root /var/www/test;

#limit_conn crawler 20;

location ~ .*.(php|php5)?$ {
#fastcgi_pass unix:/tmp/php-cgi.sock;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}
}

server {
listen 80;
server_name www.nginx.org;
index index.html index.htm index.php;
root /var/www/test1;
#limit_conn crawler 20;
location ~ .*.(php|php5)?$ {
#fastcgi_pass unix:/[......]

阅读全文

Nginx优化配置

By: bypat | Date: | Categories: Linux系统入门

这里主要讲的是Nginx的优化方法,同时还需要优化php-fpm配置,方法请参考:http://blog.haohtml.com/archives/11162.

优化前:

优化后:

看得出差距还是特别的大的.

一般来说nginx配置文件中对优化比较有作用的为以下几项:

worker_processes 8;
nginx进程数,建议按照cpu数目来指定,一般为它的倍数,平时设置为2倍。

cpu个数查看方法参考:http://blog.haohtml.com/archives/11123 和 http://blog.haohtml.com/archives/9236

worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;
为每个进程分配cpu,上例中将8个进程分配到8个cpu,当然可以写多个,或者将一个进程分配到多个cpu。

worker_rlimit_nofile 102400;
这个指令是指当一个nginx进程打开的最多文件描述符数目,理论值应该是最多打开文件数(ulimit -n)与nginx进程数[......]

阅读全文

FreeBSD打造Web服务器环境-nginx+php+mysql

By: bypat | Date: | Categories: Linux系统入门

实验环境基于FreeBSD 8.2 Release i386
硬件环境为Hostigation 128M KVM VPS和本地VMwave虚拟机。

安装freebsd的过程不说了,配置网站的过程如下:

1、安装FreeBSD,精简安装即可,过程不说了。

安装完成后shell或者ssh登陆系统

2、安装ports

可能精简安装的FreeBSD没有安装Ports,需要手动安装,过程如下
sysinstall -> Configure -> Distributions -> 选择Potrs -> 选择从CD/DVD或者FTP安装
如果选择网络安装,最好指定最近的镜像站点,国内的用163的比较快,美国的用默认主站的就可以

3、下载更新ports快照:

portsnap fetch extract

4、安装nginx

cd /usr/ports/www/nginx
make install clean

设置开机启动:

echo nginx_enable=”YES” >> /etc/rc.conf

5、安装php5、fpm 以及其扩展组件

选择支持 fastCGI和php-fpm

cd[......]

阅读全文

centos rhel配置EPEL YUM源

By: bypat | Date: | Categories: Linux系统入门

EPEL,即Extra Packages for Enterprise Linux,这个软件仓库里有很多非常常用的软件,而且是专门针对RHEL设计的,对RHEL标准yum源是一个很好的补充,完全免费使用,由 Fedora项目维护,所以如果你使用的是RHEL,或者CentOS,Scientific等RHEL系的linux,可以非常放心的使用EPEL的 yum源。

配置EPEL的yum源也是相当的简单,针对不同的Linux版本,方法如下:
1.如果你使用的是RHEL6.x,CentOS6.x,Scientific6.x等6.x的RHEL系linux的话,执行: 地址可能有更改,请去官方查询

rpm -ivh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-5.noarch.rpm

rpm -ivh http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-5.noarch.rpm

2.如果你使用的是5.x系列的,执行:

rpm -ivh http://download.fedora.redhat.com/pub/epel/5/i386/epel-release[......]

阅读全文

CentOS5.7 x64 安装 oracle10GR2

By: bypat | Date: | Categories: Linux系统入门

1.安装前装备

CentOS 5.6 x64 必须带桌面环境,如果没有桌面可以使用如下命令安装Gnome桌面

yum groupinstall ‘X Window System’  -y
安装GNOME桌面环境
yum groupinstall  ‘GNOME Desktop Environment’ -y
如果安装KDE桌面环境
yum groupinstall ‘KDE (K Desktop Environment)’ -y

卸载GNOME桌面环境
yum groupremove “GNOME Desktop Environment”
卸载KDE桌面环境
yum groupremove “KDE (K Desktop Environment)”

1.1 硬件要求

 

要求

查看方式

内存

至少1G内存

grep MemTotal /pro[......]

阅读全文

FreeBSD IPFW IP防火墙及流量控管程式配置

By: bypat | Date: 2012 年 3 月 6 日 | Categories: Linux系统入门

IPFIREWALL (IPFW) 是FreeBSD发起的且维护防火墙(firewall)软体.
在标准FreeBSD安装时, IPFW的范例档(/etc/rc.firewall) 已经存在,
且建议要修改设定档后再行使用.

IPFW由七个元件组成.首先是防火墙过滤规则处理器(kernel firewall filter rule processor) , 和与其整合的封包计数功能, log纪录功能, 和NAT功能相结合的导向(divert)规则,及进阶的特殊目的功能, 控管流量控制功能,  ‘fwd rule’ 转向功能, 桥接功能(bridge facility), 和ipstealth功能.

启动IPFW
FreeBSD预设,透过可存取的模组方式,安装IPFW软体.

/etc/rc.conf 加入
firewall_enable=”YES” #启动ipfw
firewall_type=”open” #ipfw启动的型态, open表示不过滤.
firewall_logging=”YES”
#是否要启动记录功能(请依照需求决定) ,等同 net.inet.ip.fw.verbose=1
#会记录在/var/log/security[......]

阅读全文

RK2918固件解包打包教程

By: bypat | Date: 2012 年 3 月 1 日 | Categories: Linux系统入门

RK2918固件解包打包教程
REV2.1

 

之前snake就在各大论坛发布了RK2918固件解包打包教程,但是由于当时rk29系列机型都为全面上市,所以并没有放出工具下载。在等待的时间中,此工具也由当时的1.0版发展到了现在的1.5版(已出更新版本),现在是时候放出放出工具供大家使用了。
此工具由“RK玩家固件小组”协力开发,snake901提供方法及linux实现,bearqq编写工具及windows下实现,存在敏感字符及御酒探花等其他成员测试,在此表示感谢。

严重警告,diy固件有风险,刷机亦有风险,不推荐新手进行上述操作,固件小组对玩家进行的上述操作所造成的任何后果不承担责任。仅供学习研究使用,请于24小时内删除。

rk29打包解包工具ultra2.1功能:
对解包update为对应img、bootloader及其他相关文件供修改
解包system为文件夹形式(sdk1)
解包boot为文件夹形式
解包recovery为文件夹形式
分离boot和kernel(sdk2)
自动开root(sdk1)
打包system、boot、recovery为相应img,提供单刷img
打包各img为update.img,可直接量产刷机
适用于不同版本的bootloader
同时兼容[......]

阅读全文

虚拟化管理软件比较(Eucalyptus, OpenNebula, OpenStack, OpenQRM, XenServer, Oracle VM, CloudStack, ConVirt)

By: bypat | Date: 2012 年 2 月 28 日 | Categories: 虚拟化技术

最近学习和试用了几款比较有名的虚拟化管理软件。学习的内容包括Eucalyptus, OpenNebula, OpenStack, OpenQRM, XenServer, Oracle VM, CloudStack, ConVirt。借这一系列文章,对过去一个月的学习内容作一个阶段性的总结。

(1)授权协议、许可证管理、购买价格等方面的比较

 

 

授权协议

许可证管理

商业模式

Eucalyptus

社区版采用GPLv3授权协议

 

企业版使用自定义的商业授权协议

社区版不需要安装许可证

 

企业版需要在云控制器(CLC)节点上安装许可证

社区版免费使用

 

企业版按处理器核心总数收费,用户购买的许可证针对特定版本永久有效。[......]

阅读全文

LCMC 1.3.0 发布,Linux 集群管理控制台

By: bypat | Date: | Categories: 集群性能优化

LCMC 1.3.0 发布了,该版本实现了多选功能,重写了从集群上收集节点信息的代码,

 

增加选项 –one-host-cluster,实现了一个快速连接到集群的按钮。

 

Linux Cluster Management Console (LCMC) 是一个用来简化 Linux 集群环境的应用,支持Corosync/Heartbeat, Pacemaker, 和基于 DRBD 的集群系统,无需任何代理或者客户端代码,使用 SSH 。

 

 

 

天下武功,唯快不破

By: bypat | Date: 2012 年 2 月 24 日 | Categories: Linux系统入门

 

 

http://velocity.oreilly.com.cn/2011/index.php

百度商业产品高性能前端构架探索

By: bypat | Date: | Categories: Linux系统入门

欧阳先伟(百度)
演讲幻灯片:百度商业产品高性能前端构架探索[PDF]

在 百度,存在大量面向客户的商业系统,与面向用户的展示型的页面不同,商业系统中繁杂的交互操作一方面产生昂贵的开发与维护成本,另一方面导致对整体性能的 控制力度降低。此次演讲围绕“商业产品前端开发架构”这一话题,分享我们在这方面的经验,心得,以及我们Enterprise RIA与Enterprise UI框架的设计与应用。

打造安全、易运维的高性能Web平台:淘宝网Nginx定制开发实战

By: bypat | Date: | Categories: Linux系统入门

朱照远(淘宝), 王晓哲(淘宝)
2011-12-06 16:40
永泰大宴会厅C
演讲幻灯片:打造安全、易运维的高性能Web平台:淘宝网Nginx定制开发实战[PDF]

淘宝网是全亚洲最大的电子商务网站,每天数十亿的PV对前端Web服务器的性能提出了非常严苛的要求。如何做到Web服务器的高性能,同时保持其安全性与可运维性?在此演讲里,我们将和你分享淘宝网是怎么通过定制开发Nginx服务器内核以及开发有效的模块来达到这点的。

在演讲里面我们将涉及以下等内容:

  • 针对前端的优化,比如组合CSS和JavaScript文件、gzip优化
  • 针对安全的增强,比如如何防御应用层的DDoS攻击,如何做流控
  • 针对运维,做了哪些功能增强,如日志的syslog和管道支持等
  • 单机支持几十万连接的comet服务器
  • 如何在Web服务器中集成Lua语言,打造非阻塞I/O的高性能动态脚本引擎
  • 如何在Web服务器中更方便、高效的访问数据库


朱照远
淘宝

花名叔度,淘宝网技术专家。任职于核心系统部-服务器平台组,负责淘宝Web服务器的开发与Web平台的搭建。兴趣爱好为开发高性能服务器和Linux内核网络协议栈优化。


王晓哲
淘宝

花名清无,淘宝网技术专家。任职于数据平台部-量子恒道组,负责量子统计整体[......]

阅读全文

Hulu播放技术的性能改进

By: bypat | Date: | Categories: Linux系统入门

金鑫(Hulu)
演讲幻灯片:Hulu播放技术的性能改进[PDF]

  • 新技术对播放性能的改进:自适应码率切换,改进的视频编码技术, GPU硬件加速,多CDN
  • 播放器架构对性能的改进
  • 优化细节以改善性能
  • 播放器的自动化测试和性能监控系统

章文嵩(淘宝)低功耗服务器定制与绿色计算

By: bypat | Date: | Categories: Linux系统入门

演讲幻灯片:低功耗服务器定制与绿色计算[PDF]

低功耗服务器适合于数据密集型的应用,降低服务器功耗是建设绿色数据中心的一个重要环节。

 

本讲座会分享以下内容:

  1. 淘宝底层架构团队对低功耗的认识,和淘宝低功耗服务器项目的发展过程;
  2. 介绍淘宝CDN系统的全貌、访问负载的特点,讲解如何应用低功耗服务器在绿色CDN中,以及其中的优化关键点;
  3. 对比其他类型CDN服务器方案,描述低功耗解决方案在淘宝CDN的应用情况。分享低功耗节点在淘宝商城双11大促活动中的表现;
  4. 介绍低功耗服务器的开源和GreenCompute.org项目;
  5. 总结低功耗服务器的特点、未来发展、拓展绿色CDN以外可能的应用。

LVS(DR)+ KeepAlived On CentOS6.2 安装配置

By: bypat | Date: | Categories: Linux系统入门

1、操作系统版本和LVS等软件版本:

CentOS6 (Linux Kernel 2.6.32-71.el6.i686)

ipvsadm 1.2.4

keepalived 1.1.17

2、需要的IP配置:

LVS Master IP:10.0.0.5

LVS Backup IP:10.0.0.6

RealServer IP:10.0.0.7、10.0.0.5(兼)、10.0.0.6(兼)

NetGetway IP:10.0.0.1

虚拟IP(VIP):10.0.0.2

3、需要的IP配置:

CentOS6 安装选择开发工作站模式

防火墙都关闭(因为业务机器前端有专用的防火墙,如果没有,那么Master也可兼)

4、网络拓补图:

 

5、ipvsadm和keepalived安装:

[root@RServer2 /]#mkdir /soft

[root@RServer2 /]#cd /soft

[root@RServer2 soft]# wget http://www.linuxvirtualserver[......]

阅读全文