寂寞部屋 » dede

解决DEDECMS5.5在国外Linux主机下无法采集

Johnny — Fri, 30 Oct 2009 17:48:19 +0000

这阵子又把玩了下dedecms，看看这dedecms5.5的功能到底何等强大。于是乎上传到我的Dreamhost主机下，用个临时的域名跑了起来。玩着玩着便发现无法采集，连DEDE发布文章的下载远程图片和资源都无法使用。怪哉。

遂想起此前似乎见过文章说Dreamhost的主机禁用了allow_url_fopen，导致无法采集。于是乎在网上找啊找，找到了几篇文章均是自己编译php来让Dreamhost支持采集。于是乎也参照Dreamhost官网的介绍，透过ssh，折腾了大半天终于完成了编译好自己的php，兴高采烈的跑上系统采集一下，依旧失败告终。上传个探针一看，allow_url_fopen确实是启用着，怪哉。再继续Google之，随后反复测试证明，其实Dreamhost默认是启用了allow_url_fopen的，网上那些介绍的文章基本都是08年或以前的文章，所以想必是Dreamhost自己想通了放开这个限制吧。

折腾了两天，偏不信邪，上传多个Supesite和php168上去，安装、采集一气呵成。你个乖乖，原来是dede自己采集不了。纳闷。上dede官网搜寻一番，也发现有些网友也是在反应在国外Linux主机下采集不了。于是乎，终于找到了解决方法，就是改个文件而已。原先发现解决方法的那篇文章忘记在哪看了，只有本机的一个改后的文件而已，在此谢过那位老兄。

出问题的文件在include/dedehttpdown.class.php这个文件，用本文提供的附件覆盖上去后，便可以畅快的使用采集功能，在发表文章时亦能舒爽的使用“下载远程图片和资源”这个功能。经过比对这个文件，发现修改了两处地方。

1、注释掉第280行的代码，如下：

//		fputs($this->m_fp, $headString);

2、找到304行的代码，替换成如下代码：

$headString .= "Connection: Close\r\n\r\n";
//fputs($this->m_fp,"Connection: Close\r\n\r\n");

3、找到308行的代码，替换成如下代码：

$headString .= "\r\n";
//fputs($this->m_fp,"\r\n");

4、在315行的代码“//获取应答头状态信息”上面插入如下代码：

fputs($this->m_fp, $headString);

最后大功告成，你也可以下载我修改好的代码，点击这里下载。

路过这的也许还看过这些：

Feed enhanced by Better Feed from Ozh

找回dedecms的管理员密码

Johnny — Tue, 20 Oct 2009 16:39:38 +0000

今日在帮一同事处理dede一些问题时发现忘记了管理员密码，囧。重新安装的话太费劲，便想进入mysql中修改密码，整个过程还是比较麻烦。本想从自己一个dedeV5.5的测试站点上复制密码来更新，但由于忘记密码的站点版本是V5.1的，覆盖密码后却怎么也登录不上。后来Google之，发现原来V5.1的加密算法跟V5.5的不同，生成的密码密文亦不同。几经周折，找到一加密后的密文是“c3949ba59abbe56e057f”，然后到sql中执行更新，具体脚本如下：

---将管理员密码重置为123456
Update `dede_admin` set pwd='c3949ba59abbe56e057f' where userid='admin'

由于要进入到数据库中去执行该语句，相对比较麻烦，于是写成个脚本，内容如下:

php
/*
  作用：DEDECMS 重置管理员admin的密码为123456，适用于DedeCms V5
  方法：上传到服务器DEDE系统的目录，运行此文件，然后进入后台修改密码
  注意：重置后请立刻删除此文件!
  Author：Johnny
  WebSite: http://www.bokelife.com/
*/

require_once(dirname(__FILE__)."/include/config_base.php");
$dsql = new DedeSql(false);
$dsql->ExecuteNoneQuery("Update `#@__admin`
     set pwd='e10adc3949ba59abbe56e057' where userid='admin'");
$dsql->Close();
echo  '密码重置成功！新密码为123456。';
echo  '访问作者网站：www.bokelife.com';
?>

将上面内容复制进入文本编辑器后保存为resetpass.php，上传到站点根目录，运行该文件，成功执行后请立即删除该文件。

注意：上面脚本是必须保证你的管理员用户名为“admin”的前提下方可执行，如果非admin，请将userid=’admin’中的admin改成你的用户名再执行即可。

具体文件可以点击这里下载：dede_resetpass.zip

压缩包中有两个文件，一个是（resetpass_5.php）用于dedeCMS V5.1的版本，另外一个（resetpass_5_5.php）是用于dedeCMS V5.5的版本。

路过这的也许还看过这些：

Feed enhanced by Better Feed from Ozh

第一个dede主题

Johnny — Tue, 02 Dec 2008 16:46:02 +0000

忙乎了两天，终于弄出来dede的主题来。目前仅完成首页、列表页面、文章页面和搜索结果页面只几个模板，其他的还待继续。先上图。

首页截图

栏目页面

文章列表页面

文章内容页面

这个模板的制作源于公司的一个任务，找不到比较合适的模板，只得自己动手。第一次做dede的模板，还真有点郁闷。跟wp的模板真是天壤之别。无奈，只有硬着头皮上。这两天也够忙的了，为了这个模板，blog也没有写，貌似也落下不少事情。终于今晚搞得小有成就，弄几张图上来慰藉下自己，明天又得继续投入到模板的制作中去。图片中的数据都是随便采集回来当测试用，哈哈。

这个模板的设计是参考“推一把”模板，蓝色为主色调，评论部分加入了Ajax评论效果，自我感觉良好，呵呵。接下来呢，完善这个模板，至于里面的软件、问答等那些模板就没必要去做了，因为网站规划里没有，可以省下不少功夫。目前计划本周上线，就是不知道能否完成，感觉时间很赶。至于空间域名方面还没着买，郁闷。

路过这的也许还看过这些：

Feed enhanced by Better Feed from Ozh

如此抄袭？

Johnny — Sun, 10 Aug 2008 13:09:29 +0000

今日无聊时在查看寂寞部屋的访问记录时无意跳转到某君的blog上，更加无意的是看到其blog上抄袭寂寞部屋几篇文章，其厉害程度不亚于某些盗版书籍。这几篇文章分别是：【DEDECMS采集基础教程】过滤规则篇（四）、【DEDECMS采集基础教程】进行采集篇（三）、【DEDECMS采集基础教程】采集规则篇（二）、【DEDECMS采集基础教程】列表设置篇（一）。随后Johnny在百度和Google上搜了一番，总共发现有三个地方转载了我的这几篇博文。但这三处地方均有一个共同点：直接使用我的图片，将我的信息全部删除。这三个站分别是：星星家园、风云无忧技术论坛、护雪在线论坛（该论坛已访问不了，所以其转载程度如何Johnny无从查知）。

Johnny本想在其站上留言告知，谁知星星的blog关闭留言，风云的注册需要邀请，遂无奈在此写本文。寂寞部屋初开时曾转载了某君的几篇文章，那时是急于转载而忘记加上原文章来源。而后当此君写过一博文警告johnny时，johnny自觉羞愧，也因此开始尊重版权，无论从哪里转载文章均会注明文章来源，也尽量转载文章，尽量原创。：）有点扯远了，johnny总是如此轻易去回忆。对于这次自己的文章给人如此转载，我也感觉有点不爽，辛苦写了几个晚上的教程就这样给人转了不留痕迹。

现在希望转载这几篇文章的某君能看到本文后修改下文章，如果不想加上本站链接的，那劳烦您老将文章删除。也许互联网上的抄袭成为了理所当然的，或许很多人都习惯了这种拿来主义，习惯了将抄袭直接转化为原创，然而，倘若某君仍执迷不悟的话，johnny会考虑采取进一步行动。

最后想说的是若各位同学若看得起在下的，Johnny欢迎你们转载本站文章，但最少加上文章出处和注明版权。若这点不能满足的话，那请您高抬贵手，别转载了，johnny不喜欢这样的转载方式！欢迎有不同意见的同学在下面留言告知交换意见，大家共同学习，共同进步。：）若johnny在寂寞部屋中有任何不妥之处，也随时欢迎各位同学不吝赐教指正，谢谢！Johnny承诺绝对尊重版权和文章作者！

路过这的也许还看过这些：

Feed enhanced by Better Feed from Ozh

【DEDECMS采集基础教程】分页采集篇（五）

Johnny — Wed, 16 Jul 2008 16:07:59 +0000

【DEDECMS采集基础教程】分页采集篇（五）

——————————————-
注：写此文的目的是将自己对dede的采集经验总结下，适合新手使用
有什么不明白的地方可以PM我或在下面留言，我有时间会帮你解答。
对DEDE我也是新手，还有很多不明白的欢迎一起交流学习。
本教程我会分成几章写完，由于时间的关系先些第一部分
转载请注明Johnny原创：http://www.bokelife.com/show-419-1.html

【DEDECMS采集基础教程】列表设置篇（一）

【DEDECMS采集基础教程】采集规则篇（二）

【DEDECMS采集基础教程】进行采集篇（三）

【DEDECMS采集基础教程】过滤规则篇（四）

【DEDECMS采集基础教程】分页采集篇（五）
——————————————-

分页采集，一直是困扰很多站长的问题，对于文章内容的采集来说，并不难，最难的莫过于分页采集。因为多种多样的分页格式，在采集的时候怎样去取分页的区域，怎样才不会采集回来重复的内容，这确实是个头疼的问题。有次johnny在写采集规则的时候就因为疏忽，结果采集回来的文章内容重复了，所以johnny决定单独写此文来。在写本文的时候，johnny也思考过该怎么去写好本文，毕竟在这方面johnny也不是懂很多，希望能和各位一起学习研究。

接下来就以一个例子来分析，本次的例子网址是：
http://www.ladysfashion.cn/dress/dapei/20080321/1319.html

1、打开本文例子网址，把页面拉到下面，可以看到其分页，见下面图1：

图1.

这是典型的DEDE分页，有上下页，也列出了所有的分页。对于这种分页，我们在采集规则时，在“文档是否分页”一项中选择的是“全部列出的分页列表”。例如某些文档的翻页仅有上下也方式或者仅仅列出部分页码，其余内容用“…”或“更多”这种方式，那这项应选择的是“上下页形式或不完整的分页列表”。
对于分页类型的判断，我们应当多打开几个文章看看其翻页方式，再来决定选择分页方式，特别有些文章仅有单页并没有多页内容，他的翻页也就相应的没有，往往我们很容易的以为他的文章并没有分页，导致某些有分页的文章采集不到多页内容。分页方式的选择决定了采集回来的内容的完整性。

下面以一个错误的例子看看选择错误导致采集回来的内容重复：
在采集本文例子页面的时候，这里我选择的是“上下页形式或不完整的分页列表”，测试的时候是正常可以采集到内容，但当真正采集的时候，发觉采集回来的内容重复了，采集回来的结果看下图2：

图2.

若将上面例子的方式改为“全部列出的分页列表”，这样采集回来的结果见下图3：

图3.

从图2跟图3的对比，后者不会产生重复内容，而且在文章首行也不会多出“#e#”这个来。
举出这两个例子也是为说明此处选择的重要性。

2、分页链接区域匹配规则
这部分的选择也是有一定的技巧。假如有些文章有单页形式，也有多页形式，这时我们应打开有多页的文章，然后查看其源文件。
例如本文例子，我们首先要找到其分页区域HTML代码，见下图4选中部分：

图4.

接下来是选出具有唯一标识的代码作为分页链接区域的起始HTML，这点类似于其他部分的采集。本文例子的配置如下图5：

图5.

3、规则写好以后，在“采集节点管理”页面中的“测试”按钮可以测试采集规则能否采集到内容。但对于分页采集，该功能并不能测试出分页采集规则写得对不对。所以最好的方式是把采集规则的来源网址中分页变量起始值改为1页，然后实际采集，再看看采集回来的内容是否正确，若有错误就修改分页采集部分，再清空节点采集到的内容，再采集，如此反复直至完美为止。

至此，采集教程也就告一段落了，也许以后有时间johnny会再整理出采集模型的相关教程。若有什么问题，欢迎到本站给我留言一起研究学习或者到dede官方论坛去交流，那里的高手很多。

路过这的也许还看过这些：

Feed enhanced by Better Feed from Ozh

【DEDECMS采集基础教程】过滤规则篇（四）

Johnny — Mon, 14 Jul 2008 14:24:25 +0000

【DEDECMS采集基础教程】列表设置篇（一）

【DEDECMS采集基础教程】采集规则篇（二）

【DEDECMS采集基础教程】进行采集篇（三）

【DEDECMS采集基础教程】过滤规则篇（四）

【DEDECMS采集基础教程】分页采集篇（五）
——————————————-

经过前面三篇的介绍，对于dede的采集我们也有基本的了解和操作能力，对于采集简单的内容来说也足够用了。然而对于大多数网站来说，现在广告是网站收入的一个重要来源，因此在网页中常会嵌入广告代码。我们在采集的时候，如何将其过滤掉，从而避免了自己帮别人免费挂广告呢？又例如某些文章里面某些关键词有了他们自己网站上的其他文章链接，你是否愿意让你辛苦采集回来的文章里包含了他的链接？这一切，只需简单的过滤规则，即可给你一篇干净的文章。

dede的过滤规则并不难写，其写法如下面
{dede:trim}这里就是要过滤的内容{/dede:trim}
如果你要过滤的内容比较简单的代码，完全可以直接在“{dede:trim}”和“{/dede:trim}”之间写上，如果比较复杂的就要用到正则了。

1、例如采集中去除内容里的超链接的规则如下：
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
假如要将所有超链接内容都去除，规则是：{dede:trim}]*)>([^<]*){/dede:trim}
这两个规则的不同通过下面代码来解释
例如文章代码中包含着如下内容：超链接
通过第一个规则，我们采集来的结果是：超链接
通过第二个规则，我们采集来的结果是：空白，即是将所有内容都过滤掉了。

2、过滤广告
对于广告来说，过滤规则就得针对html中看到的内容使用规则了，例如某些广告仅仅是引用某个JS文件，例如

这样的规则只需
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
如果某些广告的内容是JS代码写在区间里的，例如GG的广告，那么过滤规则应该是：
{dede:trim}{/dede:trim}

3、下面是一些常识用的过滤规则

{dede:trim}{/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>([^<]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>([^<]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>([^>]*){/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}]*)>{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}

———————————–
对于下面这些规则就请慎用
———————————–

{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}(.*){/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}

{/dede:trim}
{dede:trim}{dede:trim}
{dede:trim}{dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}
{dede:trim}{/dede:trim}

以上就是本篇要介绍的内容，正则也许并不是每处都用得上，但当你了解其写法后，自己也可以写出一些更加适合自己使用的规则出来。

路过这的也许还看过这些：

Feed enhanced by Better Feed from Ozh

【DEDECMS采集基础教程】进行采集篇（三）

Johnny — Sun, 13 Jul 2008 17:34:45 +0000

——————————————-

注：写此文的目的是将自己对dede的采集经验总结下，适合新手使用

有什么不明白的地方可以PM我或在下面留言，我有时间会帮你解答。

对DEDE我也是新手，还有很多不明白的欢迎一起交流学习。

本教程我会分成几章写完，由于时间的关系先些第一部分

转载请注明Johnny原创：http://www.bokelife.com/show-416-1.html

【DEDECMS采集基础教程】列表设置篇（一）

【DEDECMS采集基础教程】采集规则篇（二）

【DEDECMS采集基础教程】进行采集篇（三）

【DEDECMS采集基础教程】过滤规则篇（四）

【DEDECMS采集基础教程】分页采集篇（五）

——————————————-

经过【DEDECMS采集基础教程】列表设置篇（一）和【DEDECMS采集基础教程】采集规则篇（二）的介绍，我们基本掌握了采集规则

的写发。这一篇我们将介绍如何进行采集以及采集后的入库。

一，选择节点，进入采集

先在我们刚建立好的采集节点前面打勾，然后点“采集”按钮，如图1

图1.

二，采集详细设置

图2.

这里可以设置每页采集的数据条数，一般来说不要设置太大，否则有可能导致系统处理不过来而部分采集不到，建议别超过15；线

程数是指每次有多少个线程同时进行采集，线程数的增加可以加快采集速度，但相应的会增加服务器资源的占用，所以请慎用；假

若目标站点有防刷新限制，此处就可以根据目标站点的防刷新限制时间进行设置，假如没有就默认0秒可以了。

附加选项这三个设置从字面上应该可以很容易理解，这就根据你的实际需要进行选择了。
三，采集后的处理

采集完成后，点击“查看种子网址”进入查看采集的结果。

这里罗列出了采集回来的内容。可以点击进去查看采集到的内容有无问题的。具体看图3

图3.

温馨提醒：

1、在这个列表中有些数据的是否下载有可能显示的是“未下载”，引起的原因可能是网络的原因引起也有可能是你设置的采集条数

过大导致的。出现这样的情况我们仅需要在上面采集的“附加选项中”选择“仅下载未下载内容”，然后再进行一次采集即可。

2、在“节点的种子网址”列表中点击“[源网址]”可进入查看该条采集到的数据所在的原来页面

3、在“节点的种子网址”列表中点击“内容标题”这一栏的超链接可进入查看采集到的数据是否正确，同时也可以修改里面的内容

，最后记得保存即可，见图4

图4.

这里需要注意的是：“dede_archives.sortrank”和“dede_archives.pubdate”这两个字段的内容一般不要修改

4、假如要删除部分不满意的数据，可以在列表中在你要删除的数据前面打勾，然后按“删除所选网址”即可，这里支持批量操作

四，将采集的数据入库

这里有多个入口：

1、在节点管理列表中选择刚才采集的那个节点，然后点击下面的“导出数据按钮”进入入库操作

2、直接点击我们刚才采集的那个节点进入采集内容管理页面，点击右上方的“导出采集内容”按钮即可进入入库操作

3、选择节点后点击“采集”按钮进入采集页面，在右上方有“导出数据”按钮，点击后也可进入入库操作页面

进入后的入库操作页面见图5

图5.

首先选择要导入到的栏目，按“请选择”那里即可在弹出的窗口中选择你需要导入的栏目

发布选项这里一般默认即可，除非你不想马上发布。

每批导入默认是30条，这里修改与否都无所谓，因为导入操作的速度还是蛮快的

附带选项一般选“排除重复标题”，至于自动生成HTML那个选项建议先别生成，因为我们还要去批量提取摘要和关键字，这就是后

话了。

上面的配置OK以后，接下来就是按“提交”让系统自己去处理了。完成下面会有提示信息。

到这里，采集教程就基本结束，接下来我会介绍一些过滤规则和分页采集教程。喜欢的朋友敬请关注。

由于本人比较忙，相关的教程仍在陆续制作中，我会在第一时间将其发布，谢谢大家都支持。

路过这的也许还看过这些：

Feed enhanced by Better Feed from Ozh

【DEDECMS采集基础教程】采集规则篇（二）

Johnny — Fri, 11 Jul 2008 18:58:57 +0000

——————————————-

注：写此文的目的是将自己对dede的采集经验总结下，适合新手使用

有什么不明白的地方可以PM我或在下面留言，我有时间会帮你解答。

对DEDE我也是新手，还有很多不明白的欢迎一起交流学习。

本教程我会分成几章写完，由于时间的关系先些第一部分

转载请注明Johnny原创：http://www.bokelife.com/show-415-1.html

【DEDECMS采集基础教程】列表设置篇（一）

【DEDECMS采集基础教程】采集规则篇（二）

【DEDECMS采集基础教程】进行采集篇（三）

【DEDECMS采集基础教程】过滤规则篇（四）

【DEDECMS采集基础教程】分页采集篇（五）

——————————————-

在上一篇“【DEDECMS采集基础教程】列表设置篇（一）”中介绍了列表设置的方法，接下来我们进入采集规则的设置，上篇的作用

是获取到我们要采集的文章的地址，本篇是介绍如何从文章内容页面采集到文章的内容，也是整个采集模型中最为核心的部分。

一，设置采集内容：

本篇将以《HTML语言剖析（六）清单标记》为例子，其链接地址是：

http://www.dedecms.com/web-art/htmlbase/HTML/20060703/30201.html

由于该测试文章没有分页，所以我们的配置选择的是“不分页”，因此，分页链接区域html也可以不用填写任何内容，如下图1所示：

图1.

有分页文章的设置方法将会在以后进行介绍。
二，内容字段的设置：

进入这一步，就开始对页面源码进行着重的分析了，采集无非是分析html页面的结构从而获取我们所需的内容。

所以这里就要求我们对HTML代码有一定的认识，最起码你也该看懂html代码的结构。

通过查看页面源文件，我们可以查看到页面的html代码。

1、文章标题：

最简单的方法是直接搜索这个标题在html代码中出现的位置，例如本篇例文的标题是：HTML语言剖析（六）清单标记，因此直接搜

索出来在html代码总总共出现有两处，第一处的代码是

HTML语言剖析（六）清单标记 – 织梦内容管理系统

第二处出现的代码是：

HTML语言剖析（六）清单标记

由上面两处不难得出，第二处对于我们来捕获该文的标题比较方便，因为不用再去写规则过滤掉一些我们不需要的信息。经过再次

搜索全文HTML得出,

和

在文中具有唯一性，因此可以作为获取标题的起止html代码，设置如下图2：

图2.

2、文章作者：

如果你不想用该文章上所显示的作者，也可以留空，dede会自动把文章的作者名给你添加上“佚名”

要采集这个文章作者也不难，经过分析后，可以看出文章作者在HTML代码中出现的位置，先看看下图3中选中部分代码

图3.

这样文章作者的采集范围我们就可以定下来，其设置如下图4所示：

图4.

*若文章作者中有包含超链接，其代码表现形式为“文章作者”，我们也可以采取过滤规则将其过滤掉，其规

则如下：

{dede:trim}]*)>{/dede:trim}

{dede:trim}{/dede:trim}

设置方法可以见上图4中的过滤规则。

3、文章正文：

要找到文章正文在HTML代码中出现的位置，一个便捷的技巧就是先复制网页中正文的头几个字，然后在html代码中查找，就可以很

快定位出来，这也可以方便我们分析代码。

只要找出文章正文前的唯一性代码和文章结束时的唯一性代码，就可以抓出文章的正文。如下图5所示：

图5.

因为本文例文是没有分页内容，所以这里的“分页内容字段”不用选，若你想将文章正文中包含的多媒体资源（如图片、视频等）

下载到本地服务器，你可以勾上“下载字段里的多媒体资源”

过滤规则是比较重要的部分，通过正则规则可以将文章中的广告代码或垃圾代码、干扰代码过滤掉，不采集下来，若人家文章中有

挂了广告，我想你也不想免费给人家挂广告吧。

至于过滤规则部分将再以后讲解。
剩下的文章来源，发布时间和录入时间等，都和以上的设置大同小异的，采集与否都无所谓，就看你的需要了。
三，至此，节点和规则的设置都完成了，接下来就是采集，下载和导出（入库）了。

最后再强调一点的就是必须懂HTML代码，最起码得能看懂目标页面的html代码的大概组成，知道文章的内容是存放在哪些代码之间

。

下篇预告：进行采集篇，以图文的方式介绍如何进行采集，导出所采集到的数据入库

———————————————————–

请尊重作者劳动

转载请注明Johnny原创：http://www.bokelife.com/show-415-1.html

———————————————————–

路过这的也许还看过这些：

Feed enhanced by Better Feed from Ozh

【DEDECMS采集基础教程】列表设置篇（一）

Johnny — Thu, 10 Jul 2008 16:22:19 +0000

——————————————-
注：写此文的目的是将自己对dede的采集经验总结下，适合新手使用
有什么不明白的地方可以PM我或在下面留言，我有时间会帮你解答。
对DEDE我也是新手，还有很多不明白的欢迎一起交流学习。
本教程我会分成几章写完，由于时间的关系先些第一部分

转载请注明Johnny原创：http://www.bokelife.com/show-414-1.html

【DEDECMS采集基础教程】列表设置篇（一）

【DEDECMS采集基础教程】采集规则篇（二）

【DEDECMS采集基础教程】进行采集篇（三）

【DEDECMS采集基础教程】过滤规则篇（四）

【DEDECMS采集基础教程】分页采集篇（五）

——————————————-

以dede的站长学院>网页制作基础>HTML/XHTML教程为例，地址是

http://www.dedecms.com/web-art/htmlbase/HTML/

一，打开dedecms，进入【采集节点管理】，新建一个节点，模型我们就选择

图1.

1、名称的话自己定义一个，主要是标识作用。

2、来源就自己定义个也可以，写上采集对象的信息也可以。

3、防盗链就看目标站点的有无刷新限制，有的话就设置一下超时时间，这个的话比较难判断，具体可以测试一下就知道。

4、页面编码就比较重要，可以在页面点击右键来看该页面的编码。

图2.

三，设置采集列表：

先看看要采集的信息列表：

图3.

来源网址很重要的。列表的获取就是从这里获取的。

自己打开：http://www.dedecms.com/web-art/htmlbase/HTML/

点击分页看下几个分页之间的URL有什么规则
由此不难看出其中的规则可以看下面的url例子：
http://www.dedecms.com/web-art/htmlbase/HTML/list_33_【除此外其他都一样】.html
由此我们提取出来的规则就是换为变量值的形式
http://www.dedecms.com/web-art/htmlbase/HTML/list_33_[var:分页].html
而变量起始值是1，结束值是3，就代表1至3的列表页了。

用正则匹配置网址就看本身是否有比较特定的文章网址字符。

下面的html范围就比较重要，采集的实际文章地址就是从这里获取的。

我们看原dede的列表。我们在浏览器里查看源文件。

查找以下代码：

上图中选中部分就是文章列表内容的开始处，而且在整个页面中是唯一的，因此我们就提取到了开始的HTML了

结束的HTML一般可以在列表下面的分页处找到，也是提取在正个页面源码中唯一标识的代码，看下图选中部分：

下面的【手工指定网址】就是你想特别采集什么网址，就直接填上即可。

路过这的也许还看过这些：

Feed enhanced by Better Feed from Ozh