拾荒者的垃圾場。
這兒有點荒蕪,而我繼續在生命中拾荒。

目前日期文章:201607 (4)

瀏覽方式: 標題列表 簡短摘要

<註:用 c shell script 爬已不管用 已經有用 python 重爬 點此>

最近架了主機,也下了python的爬蟲工具玩了一下,恩,我覺得這是一塊蠻值得鑽研的地方。

老爸之前就跟我說過,公司需要銀行匯率的檔案,之前同事寫的java執行檔,在網頁改格式後就不管用了,但這小工具,一直沒人寫,所以一直用手工。

http://rate.bot.com.tw/Pages/Static/UIP003.zh-TW.htm ->就是這裡

適逢我正在玩scrapy,就用了工具爬了一下,大概長這樣

  • Item:
  • spider:
  • pipline:

爬是爬了,但老爸公司不知有沒有裝python和爬蟲工具,於是我就想說,既然網頁還蠻簡單的,何不用script和C爬爬就好?

  • script:
  • C source file named fetch.c:

但沒想到不過一天,wget就抓不到東西,估計是被擋了,瀏覽器和curl還可正常運作。

研究了下,應該是用User agent擋的,沒關係,加一下參數,冒充一下別人就好了。

wget -U Mozilla/5.0 -O bank_rate.html $URL 2>/dev/null (curl 的話 是用 -A)

註 wget 的 -O 大寫另存檔案 , curl 則是 -o 小寫另存喔!

這樣就扮成了小狐狸了,另外其他瀏覽器也可以裝喔,不論有沒有安裝都可以裝,因為這只是給server一個假名罷了!

nobodyzxc 發表在 痞客邦 留言(0) 人氣()

環境 CentOS 7

PHPMailer 載點 https://github.com/Synchro/PHPMailer 

我下指令 git clone https://github.com/Synchro/PHPMailer.git 取得

Mailer 範例:

  • PHPMailer範例
    <?php
    include(“PHPMailerAutoload.php"); //匯入PHPMailer類別 注意 此php要和class等檔案放同層目錄
    $mail= new PHPMailer(); //建立新物件
    $mail->IsSMTP(); //設定使用SMTP方式寄信
    $mail->SMTPAuth = true; //設定SMTP需要驗證
    $mail->SMTPSecure = “ssl"; // Gmail的SMTP主機需要使用SSL連線
    $mail->Host = “smtp.gmail.com"; //Gamil的SMTP主機
    $mail->Port = 465; //Gamil的SMTP主機的SMTP埠位為465埠。
    $mail->CharSet = “utf-8″; //設定郵件編碼
    $mail->Username = “xxx@gmail.com"; //設定google eamil帳號
    $mail->Password = “*********"; //設定google eamil密碼
    $mail->From = “xxx@gmail.com"; //設定寄件者信箱
    $mail->FromName = “測試人員"; //設定寄件者姓名
    $mail->Subject = “PHPMailer 測試信件"; //設定郵件標題
    $mail->Body = “這是一封測試信件! “; //設定郵件內容
    $mail->IsHTML(true); //設定郵件內容為HTML
    $mail->AddAddress(“xxx@xxx.xxx.xxx", “"); //設定收件者郵件及名稱
    if(!$mail->Send()) {
    echo “Mailer Error: " . $mail->ErrorInfo;
    } else {
    echo “Message sent!";
    }
    ?>
  • from http://info.stes.tc.edu.tw/?p=267

SMTP connect() failed   &   Failed to connect to server: Permission denied (13)

可能原因有二(當然不只,此僅列出本人解決方案):

登入 Gmail 帳號後連結https://www.google.com/settings/security/lesssecureapps 需要開啟

https://gistpages.com/posts/phpmailer_smtp_error_failed_to_connect_to_server_permission_denied_13_fix

-> 一些系統上的布林值沒設好

# code below is from the web above

First, try to out put the settings you currently have:(確定你目前的設定是否為以下狀況)

$ getsebool httpd_can_sendmail
httpd_can_sendmail --> off
$ getsebool httpd_can_network_connect
httpd_can_network_connect --> off

If you get something similar, you should set these settings on.(如果是的話,你應該將設定開啟)

$ setsebool -P httpd_can_sendmail 1
$ setsebool -P httpd_can_network_connect 1

If you get error messages like:(如果遇到了些錯誤訊息)

Cannot set persistent booleans without managed policy.
Could not change policy booleans

You may have the need to run these commands as root and you may need to sudo.(你應該需要以root的身分下一些指令,用用sudo吧)

$ sudo setsebool -P httpd_can_sendmail 1
$ sudo setsebool -P httpd_can_network_connect 1

Now, try sending emails using your script!(開始用你的script寄信吧!)

nobodyzxc 發表在 痞客邦 留言(0) 人氣()

refer and revise from https://clasense4.wordpress.com/2015/11/25/how-to-install-scrapy-on-centos-7/ 

please sudo all automatically...

#set swap
sudo dd if=/dev/zero of=/swapfile count=4096 bs=1MiB
#instead of original command : sudo fallocate -l 4G /swapfile , 'cause it didn't work on my CentOS ...
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile
echo "/swapfile swap swap sw 0 0" >> /etc/fstab
echo "vm.swappiness = 10" >>/etc/sysctl.conf
echo "vm.vfs_cache_pressure = 50" >> /etc/sysctl.conf

#install scrapy
sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-7.noarch.rpm
#pay attention on version
yum update -y
yum install python-pip -y
yum install python-devel -y
yum install gcc gcc-devel -y
yum install libxml2 libxml2-devel -y
yum install libxslt libxslt-devel -y
yum install openssl openssl-devel -y
yum install libffi libffi-devel -y
pip install --upgrade pip
CFLAGS="-O0" pip install lxml
pip install scrapy

#check scrapy install successfully
scrapy -v

----------我是分割線----------

之後割太多記憶體,想刪swap刪不掉,上網查了一下,要先停止swap的使用

swapoff -v /swapfile
rm /swapfile

 

 

nobodyzxc 發表在 痞客邦 留言(0) 人氣()

win10 還原蠻方便的,讓他跑一跑就好了
結果備份好的D槽使用者變成unknown
寫入檔案的w權限就不見了
右鍵進"內容->安全性" ...我動不下手...動了好像沒效果...
最後隨便試試,以administrator權限執行cygwin
下個chown chgrp chmod
回檔案總管隨便點個幾下
..."D:\ 資源回收桶已毀損"...
難道我不照windows的正常管道動系統結果爆了?(汗
還好檔案依舊可以讀,還變成可以寫呢...
google了一下,訊息的意思是
"D:\刪東西不會進資源回收桶,會直接不見..."
挖 跟 rm 一樣了呢
然後我照資料在cmd下了幾道指令後一切就恢復正常(?)
以後還是不要用其他軟體亂搞好了(逃
 

nobodyzxc 發表在 痞客邦 留言(0) 人氣()

您尚未登入,將以訪客身份留言。亦可以上方服務帳號登入留言

請輸入暱稱 ( 最多顯示 6 個中文字元 )

請輸入標題 ( 最多顯示 9 個中文字元 )

請輸入內容 ( 最多 140 個中文字元 )

請輸入左方認證碼:

看不懂,換張圖

請輸入驗證碼