• Scrapy在回调函数中直接请求新页面XPath

    使用Scrapy抓取数据时，往往需要将多个页面的内容拼凑到一起然后保存

    具体的需求情况就不啰嗦了

    如下是简单的测试代码

    #在函数中请求加载 新页面，片段代码
    from scrapy.http import Request,HtmlResponse  #载入相关类，如果头部有可以直接移除
    from scrapy.selector import HtmlXPathSelector  #同上
    import urllib2  #同上
    newurl = 'http://www.baidu.com'  #新页面的url (必须是包含协议名称的完整url)
    temp = urllib2.urlopen(newurl) #请求
    temp = temp.read() #读数据
    newresponse = HtmlResponse(newurl)
    newresponse._set_body(temp)
    temp = HtmlXPathSelector(newresponse) #构建新的xpath选择器
    print temp.select('//title/text()').extract()[0] #测试

     

    欢迎留言交流

     

    尐邪 发布于：2013-6-5 17:31 Wednesday 分类：芝麻绿豆  |  标签: python scrapy |  评论(0) 引用(0) 浏览(1588)

  • 单icon文件关联多个icon

    ICO 关联生成工具

    实现 图片转换成icon

    再将多个icon文件植入到一个ico文件中，常用于windows软件图标

     

    使用PhotoShop将图片保存为 .ico 格式：

    将ICOFormat 插件放置到一下目录

    Adobe\Adobe Photoshop CS4\Plug-ins\Extensions

    PS菜单中存储为，选择保存格式为 .ico 即可

     

    cmd 命令行下使用

    > icobundl.exe -o tofilename.ico path/to/file1.ico path/to/file2.ico path/to/file3.ico

     

     

    工具附件下载：

    icobundl.zip

    Jeen 发布于：2013-5-18 22:47 Saturday 分类：芝麻绿豆  |  标签: image |  评论(0) 引用(0) 浏览(1538)

  • win8下Apache+Mysql+PHP多版本切换环境

    环境 win8 x64  apache+mysql+php(多版本)
    mysql 
    由于5.6版本下载多次安装配置后启动仍然出现异常，只好搜索使用5.5.30版本
    下载地址
    http://downloads.mysql.com/archives/mysql-5.5/mysql-5.5.30-winx64.msi
    apache
    下载地址：
    http://archive.apache.org/dist/httpd/binaries/win32/
    对应安装包
    httpd-2.2.22-win32-x86-openssl-0.9.8t.msi

    php
    下载地址：
    http://windows.php.net/download/
    对应版本 (均为 x86 Thread Safe 版本)
    5.2.17
    5.3.25
    5.4.15
    如需更早期的版本请移步至：http://museum.php.net/  下载

    安装配置过程简记：
    (注意：安装过程中：请选择自定义配置，然后设置安装目录，最好不要放在C盘，不然你会很蛋疼~~)
    1.安装mysql，按安装包提示，设置：开发者环境，root密码。按逻辑走，基本就没问题，除非你RP爆发了....
    2.安装apache，同上安装完成后，通常都能测试访问成功，除非你RP再一次爆发...
    3.由于需要多个版本的PHP，主要作测试用。解压不同版本的PHP到对应目录。我这边设定的是 d:\php\php-version 即 d:\php\php5217 等等 
    然后在对应php-version 目录下创建php.ini文件。配置参考这边就不用赘述了，如果你不知道，建议你找个地方撞撞，当然也欢迎在这边留言

    4.以上工作完成后，修改apache配置文件，
    .........
    ##php5217
    LoadModule php5_module D:/php/php5217/php5apache2_2.dll
    PHPIniDir "D:/php/php5217" 

    ##php5325
    #LoadModule php5_module D:/php/php5325/php5apache2_2.dll
    #PHPIniDir "D:/php/php5325"

    ##php5415
    #LoadModule php5_module D:/php/php5415/php5apache2_2.dll
    #PHPIniDir "D:/php/php5415"
    ........
    <IfModule dir_module>
        DirectoryIndex  index.php index.html
    </IfModule>
    .......
    <IfModule mime_module>
    .......
    AddType application/x-httpd-php .php
    AddType application/x-httpd-php .html
    .......
    设置完成后保存，然后重启apache服务，然后写个php文件 访问查看下phpinfo()信息。

    5.配置php.ini,加载php_mysql相关扩展
    由于php存在多个版本，这边需要指定一下具体的扩展及包含目录
    以php5.2.17版本配置为例:
    extension_dir = "D:\php\php5217\ext"
    ;移除类似以下扩展语句前的分号
    extension=php_mysql.dll
    extension=php_mysqli.dll
    ;时区设置
    ;[Date] 
    date.timezone = Asia/Shanghai
    注：这边鄙人的RP也爆发了，5.2版php扩展始终加载异常，各种配置，各种重启，各种蛋疼
    幸运的是最终还是解决了，于是顺便啰嗦一下过程
    下载了一个installer.msi文件，安装后将安装目录中的 ext/* 扩展dll文件拷贝到 d:\php\php5217 扩展目录下，覆盖了一下，重启apache后，扩展加载就成功了
    msi安装包下载地址如下
    http://124.254.47.50/download/30786342/38666427/3/msi/197/11/1350667563205_11/php-5.2.17-win32-VC6-x86-installer.msi
    当然，上面并不是真正蛋疼的，郁闷的是现在切换到5.3版本，Apache无法正常启动了，shit~
    无赖，卸载5.2版安装文件。。。，那5.2版下面的扩展加载要如何解决呢
    网上大肆搜罗一番:一种方法是说把php目录下的几个dll文件拷贝到system32下(这个似乎不太好)
    还有一种方法就是把php目录下的dll动态链接库拷贝到Apache的bin目录下（原因是PHP在这边是解压版，Windows无法正常加载动态连接库文件，fk） 不过最终还是选择了这种方法，算是比较折中吧。

    6.完成以上工作后，apache-php-mysql的运行环境就基本搭建完毕了，
    根据个人需求添加相关扩展即可，如需更换php版本，修改httpd.conf文件中调用的php5模块，然后重启即可。
    虽说有点小繁琐，但毕竟不需要经常切换php版本，所以也还是勉强可以接受的
    :)

    如果你有更好的方法，希望不吝指教 :D
    Jeen 发布于：2013-5-14 14:27 Tuesday 分类：芝麻绿豆  |  标签: windows wamp 服务器 |  评论(0) 引用(0) 浏览(2304)

  • WinRAR 注册 破解

    网上下载的rar，用了一段时间 发现它老是提示 离购买还有XX天
    再安装其他破解版似乎太麻烦了，于是上网搜了下破解方法，发现条可用的暂记于此，原内容如下
    去官方下个3.8简体中文版的

RAR registration data
Federal Agency for Education
1000000 PC usage license
UID=b621cca9a84bc5deffbf
6412612250ffbf533df6db2dfe8ccc3aae5362c06d54762105357d
5e3b1489e751c76bf6e0640001014be50a52303fed29664b074145
7e567d04159ad8defc3fb6edf32831fd1966f72c21c0c53c02fbbb
2f91cfca671d9c482b11b8ac3281cb21378e85606494da349941fa
e9ee328f12dc73e90b6356b921fbfb8522d6562a6a4b97e8ef6c9f
fb866be1e3826b5aa126a4d2bfe9336ad63003fc0e71c307fc2c60
64416495d4c55a0cc82d402110498da970812063934815d81470829275 

——将以上数据复制到记事本，存为rarreg.key文件；然后放置到winrar3.80安装目录下即可免除试用期，
成功注册为永久使用的正版。 

测试使用的时候没有注意自己的版本，不过安装这种方法确实可行。
有需要的可以先试一下，如果不行的话就核对一下rar版本，
然后下载破解方法中介绍的版本，应该就行得通了。
    Jeen 发布于：2013-4-21 20:30 Sunday 分类：芝麻绿豆  |  标签: 注册破解 |  评论(0) 引用(0) 浏览(1374)

  • CentOS 6 无法上网问题解决笔记

    安装CentOS6 minimal 之后ifconfig 只有lo本地 的127.0.0.1 没有局域网ip。

    这边我用的是vmware  nat  DHCP 提供网络服务。过程就不赘述了。

    解决笔记：

    修改eth0配置文件

    vi /etc/sysconfig/network-scripts/ifcfg-eth0

    引用本地文件内容：

    DEVICE="eth0"
    HWADDR="00:0C:29:BD:E1:19"
    BOOTPROTO=dhcp
    NM_CONTROLLED="yes"
    ONBOOT="yes"
    USECTL=no
    TYPE=Ethernet
    PEERDNS=yes

    保存之后重启 网络服务

    service network restart 可以看到eth0获取网络地址成功，尝试联网（如果仍无法使用可以直接先重启一下系统）

    记此以作备忘 :-)

     

    网络静态ip配置参考

    TYPE=Ethernet       #网卡类型 
DEVICE=eth0         #网卡接口名称 
ONBOOT=yes          #系统启动时是否自动加载 
BOOTPROTO=static    #启用地址协议 --static:静态协议 --bootp协议 --dhcp协议
IPADDR=192.168.1.11      #网卡IP地址 
NETMASK=255.255.255.0    #网卡网络地址 
GATEWAY=192.168.1.1      #网卡网关地址 
DNS1=10.203.104.41       #网卡DNS地址 
HWADDR=00:0C:29:13:5D:74 #网卡设备MAC地址 
BROADCAST=192.168.1.255  #网卡广播地址


     

    Jeen 发布于：2013-4-21 20:19 Sunday 分类：芝麻绿豆  |  标签: linux centos |  评论(0) 引用(0) 浏览(1623)
click
©2010-2024 Jeen All Rights Reserved.Powered by emlog 京ICP备15058100号-1