Tag Archives: linux

robots.txt文件介绍

今天来研究一下robots.txt的作用,以前只是用到找一下资料,下面我把我的知识整理了一下。 什么是robots.txt 简单来说就是搜索引擎爬虫访问你的网站时,先寻找有没有robots.txt。你可以在robots.txt里告诉爬虫哪些文件不允许访问,哪些文件允许访问。 书写原则 必须放在网站根目录 ,字母全部小写。 User-agent: * Disallow: Allow: User-agent::*代表所有搜索引擎的爬虫,如果只想特定某个搜索引擎,替换*就可以了。 Disallow:设置不允许访问的文件目录。 Allow:设置允许访问的文件目录。 如何创建 自己创建一个文本,按照上面的格式书写上传,如果你装有Google XML Sitemaps插件,就会自动在根目录生成一个robots.txt文件。 应用 User-agent: * Disallow: / 禁止所有爬虫访问 User-agent: * Disallow: 允许所有爬虫访问 User-agent: Baiduspider Disallow: / 禁止百度爬虫访问 User-agent: Googlebot Disallow: / 禁止Google爬虫访问 User-agent: sogou spider Disallow: / 禁止搜狗爬虫访问 User-agent: * 禁止访问某个目录 Disallow: /cgi-bin/ Disallow: /Page/ 允许百度抓取gif格式的图片,其它几种格式不允许。 User-agent: Baiduspider Allow: .gif$ [...]

高并发网站系统架构

一个小型的网站,比如个人网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系 统架构、性能的要求都很简单,随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技 术更是涉及面非常广,从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求,已经不是原来简单的html静态网站所能 比拟的。   大型网站,比如门户网站。在面对大量用户访问、高并发请求方面,基本的解决方案集中在这样几个环节:使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。但是除了这几个方面,还没法根本解决大型网站面临的高负载和高并发问题。   上面提供的几个解决思路在一定程度上也意味着更大的投入,并且这样的解决思路具备瓶颈,没有很好的扩展性,下面我从低成本、高性能和高扩张性的角度来说说我的一些经验。

ifconfig 命令详解

无论是Linux 自动安装还是我们手工安装,Linux 都会向你询问有关网络的问题并配置相关的软件。这个用于配置网卡的基本命令就是ifconfig。 在执行ifconfig 命令后,系统将在内核表中设置必要的参数,这样Linux 就知道如何与网络上的网卡通 信。ifconfig 命令有以下两种格式: ※ifconfig [interface] ※ifconfig interface [aftype] option | address … ifconfig 的第一种格式(或使用不带任何参数的ifconfig 命令)可以用来查看当前系统的网络配置情况。 在刚刚安装完系统之后,实际上是在没有网卡或者网络连接的情况下使用Linux,但通过ifconfig 可以使用回绕方式工作,使计算机认为自己工作在网络上。 现在我们运行一下ifconfig 命令,不带参数的ifconfig 命令可以显示当前启动的网络接口,其输出结果 为: [root@machine1 /sbin]#ifconfig eth0 Link encap:Ethernet Hwaddr 52:54:AB:DD:6F:61 inet addr:210.34.6.89 Bcast:210.34.6.127 Mask:255.255.255.128 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:46299 errors:0 dropped:0 overruns:0 frame:189 TX packets:3057 errors:0 dropped:0 overruns:0 carrier:0 [...]

linux col命令(表示liunx一行可以显示30字,多于的就换行)

SQL> col name format a30;

linux apache 缓存如何设置

方法一:mod_expires(apache自带的) —IfModule mod_expires.c— ExpiresActive on ExpiresDefault “access plus 1 day” ExpiresByType text/html “access plus 1 hour” ExpiresByType text/plain “access plus 1 day” ExpiresByType text/css “access plus 4 weeks” EXpiresByType application/x-javascript “access plus 4 weeks” ExpiresByType image/x-icon “access plus 1 year” ExpiresByType image/gif “access plus 4 weeks” ExpiresByType image/jpeg “access plus 4 weeks” ExpiresByType image/jpg “access [...]

linux 压缩、打包、解压

[root@search discuz]# tar -czf html.tar.gz html 压缩打包 表示把html文件夹打包到html.tar.gz文件中 [root@operation beaunet]# tar -cf all.tar *.jpg 打包 表示把所有jpg文件都打包到all.tar文件中 [root@operation beaunet]# tar -xf all.tar 解压 表示把all.tar解压到当前文件中,如果后面跟有路径就解压到指定的路径

linux 虚拟主机的三种配置方法

一.直接修改httpd.conf 添加如下代码到httpd.conf 1 <VirtualHost *:80> ServerAdmin root@localhost DocumentRoot "/var/www/blog" ServerName blog.beau.com.cn #ServerAlias blog.beau.com.cn CustomLog logs/blog_access_log special <Directory "/var/www/blog"> Order allow,deny Allow from all </Directory> </VirtualHost> 2 <VirtualHost *:80> ServerAdmin huaidong8562@163.com DocumentRoot "/wwwroot/blog" ServerName www.blog.com DirectoryIndex index.php index.html ErrorLog "logs/www.blog.com-error_log" CustomLog "logs/www.blog.com-access_log" common </VirtualHost>   二.修改extra/httpd-vhosts.conf (1)找到#Include conf/extra/httpd-vhosts.conf,去掉前面的# (2)在httpd-vhosts.conf添加如下代码 <VirtualHost *:80> ServerAdmin huaidong8562@163.com DocumentRoot "/wwwroot/blog" ServerName [...]

linux ssh密码和密钥登陆方式详解

如果你打算在windows下访问另外一台装有Linux的机子(系统管理员对公司服务器管理或个人站长对vps的管理……),那么推荐使用putty (当然你的linux必须已经安装了ssh服务器才行。) SSH提供两种级别的安全验证: 一是基于口令的安全验证。只要用户知道自己账号和口令,就可以登录到远程主机。所有传输的数据都会被加密,但是不能保证用户正在连接的服务器就是用户想连接的服务器。可能会有别的服务器在冒充真正的服务器,这存在着潜在的威胁。 二是基于密匙的安全验证。需要依靠密匙,也就是用户必须为自己创建一对公匙/密钥对,并把公用密匙放在需要访问的服务器上。如果需要连接到SSH服务器上,客户端软件就会向服务器发出请求,请求使用用户的密匙进行安全验证。服务器收到请求之后,先在服务器上用户的主目录下找到该用户的公用密匙,然后把它和用户发送过来的公用密匙进行比较。如果两个密匙一致,服务器就用公用密匙加密“质询”并把它发送给客户端软件。客户端软件收到“质询”之后就可以用用户的私人密匙解密再把它发送给服务器。

linux下的scp cp mv rm命令及常用的命令

[beaunet@operation ~]$ scp /home/beaunet/header.htm beaunet@search.local: 表示从一台服务器复制到另一台服务器 [root@search beaunet]# cp /home/beaunet/SonokoContent200908.xls  /home/IMJ/beaunet 表示同一台服务器内把一个文件从一个文件夹内复制到另一个文件夹内 [root@search beaunet]# mv /home/beaunet/SonokoContent200908.xls  /home/IMJ/beaunet 表示同一台服务器内把一个文件从一个文件夹内移动到另一个文件夹内 [root@search beaunet]# rm header.htm 表示删除文件 scp 表示两台服务器之间的复制 cp  表示本服务器之间的复制 mv  表示本服务器之间的移动 rm  表示本服务器里的删除 pwd 表示查看现在在目录下 ls  表示查看本目录下有那些文件 ll  表示查看本目录下文件的详细信息 cd 改变工作目录 tar 备份文件 gzip 压缩文件 chmod 改变文件或目录的权限 chown 改变文件或目录隶属组 df 查看磁盘使用情况 ps 查看进程命令 下面表示在命令中完成修改 vi 表示可以在那个文件中修改 “shift” [...]

LINUX ping: unknown host — linux设置域名服务器的方法

在虚拟机上设置IP后,发现ping ip可以成功,但是ping 域名却显示ping: unknown host ***。 这是因为没有设置域名服务器的原因。 [root@hyf /]# ping www.baidu.com ping: unknown host www.baidu.com 解决方法如下: [root@hyf /]# vi /etc/resolv.conf #增加如下内容,具体IP请按实际填写 nameserver 202.106.0.20 [root@hyf /]service network restart 如何查看DNS服务器? 方法1.双击桌面右下角的本地连接图表–>支持–>详细信息 方法2.在windows命令窗口输入ipconfig /all 查看DNS Servers