[DDE]Python3抓取DDE資料

DDE是一個很古老的傳輸格式，想不到直到win8 64bit版都還見的到蹤跡，根本是殭屍技術了吧!  不過在win8上卻意外地穩，似乎有做過改進。
就網路查詢到python想要連結DDE只能使用pywin32，然而該模組早在好幾年前就已經宣布不再維護其DDE功能，使得它只能是個做到一半的半成品。根據網友測試，似乎只能使用request，但大部分的券商軟體只支援Advise(廣播，這功能也比前者好用，只要資料有變動立即通知，前者是定期查看資料)。而且在python3，尤其是64位元環境就連連線都是一個困難點。
經過幾年漫漫追尋，終於找到另一個網友做的DDE client端，可支援常見的Advise模式，而且不需安裝其他模組可獨立使用。不過他是用python2寫的，因此我幫他改寫了一下，另外新增可為各別item指定處理函式(callback)，經測試可在win8 64bit+python3.3 64bit正常運行
下載位置如下：
https://www.dropbox.com/s/wx6xbgjxuko7do7/PyWinDDE.py
(位置已失效，詳情請見下面留言)
不用安裝，直接放到跟你的專案同目錄或者丟進x:\Python33\Lib\site-packages以便日後使用。
使用方式很簡單，以下用全球理財王作為範例，目標是取得韓股綜合指數

import PyWinDDE

# 初始化DDE的service及topic
dde = PyWinDDE.DDEClient("XQKGIAP", "Quote")

# 設定使用advise(廣播)取的所需的item
dde.advise("KS11.FS-Price")

# 進入訊息循環，以便持續不斷接收訊息(這部分若有用pyqt、tk等視窗模組便不需要)
PyWinDDE.WinMSGLoop()

執行後如果一直噴資料出來就是正常了，當然你也可以自己指定處理資料的函式，而不要這樣一直在畫面上亂吐。

我們修改第7行，指定newcall為處理資料的函數

dde.advise("KS11.FS-Price",callback = newcall)

注意，該函數必須依序有value,item作為參數，DDE會回傳item及資料過去。

以下是利用PyQt來做為範例，這個程式開啟後就會開始接收指定的DDE資料，若按下OK會自動將抓取的資料存成csv檔做後續使用：

import sys,csv,PyWinDDE
from PyQt4.QtGui import *

app = QApplication(sys.argv)

txtEdit = QTextEdit()
ok = QPushButton("&OK")
layout = QVBoxLayout()
widget = QWidget()

layout.addWidget(txtEdit)
layout.addWidget(ok)

widget.setLayout(layout)
widget.show()

tick = []
def recTick(value,item):
    tick.append(value)
    txtEdit.append(value)

def writeRec():
    with open("test.csv","w") as f:
        c = csv.writer(f)
        for d in tick:
            c.writerow(d)
    widget.close()

dde = PyWinDDE.DDEClient("XQKGIAP", "Quote")
dde.advise("KS11.FS-Price", callback = recTick)

ok.clicked.connect(writeRec)

app.exec_()

今天就先到這裡，有機會再多聊一些吧。也歡迎大家提出問題。

[小技巧]讓print只在同個位置不斷更新顯示

很簡單
在print內增加"\r"及end=' ' 這兩個參數即可
第一個參數是令游標回到行頭
第二個參數則是要求結尾不做任何動作(預設'\n'，也就是跳到下一行)
範例：

print("處理進度：", x , "%" , "\r" , end=' ')

他就會不斷在同一列更新顯示你要的資訊，這在顯示進度上非常有用

[小技巧]csv.writerow寫入多出空白一行問題解決

最近在做資料處理時發現，使用csv模組的writerow做多筆寫入時，每筆之間會莫名其妙空一行。這樣的狀況在記事本看不出來，用excel就會發現了。根據網路查詢得知，windows系統下會幫每一行結尾多加一個看不見的"進位符號"，然而這個動作writerow本身就會幫我們做，所以等於重複按Enter兩次。避免這種狀況一般常見的解決方法是以binary的方式開啟檔案：

f = open("xxx.csv","wb")
c = csv.writer(f)

然而這種方法在Python 3 下會產生錯誤：

ValueError: binary mode doesn't take a newline argument

在花了我一個下午找尋，才終於找到解決辦法，而且極其簡單，讓這一下午的心血變得很不值…

f = open('xxx.csv', 'w', newline='')

後面加個newline=’ ‘的參數就好了。不過這招在Windows系統下有用，不知道到了Linux下會不會變成完全不會進位了? 這就有賴相關平台的朋友告知~

[PySide]導論

Python寫出來的程式大多是文字介面，雖然簡單但不夠人性化。目前Python可以用的GUI介面有幾種：內建的tkinter、連結Qt的PyQt和PySide、PyGTK、wxPython等等，然而應用在python3上的僅有內建的tkinter以及Qt系列的那兩種綁定，不過也幸好是QT系列有支援，因為他有許多強大的工具可以直接使用。
也許你會問：那PyQt與PySide的差別又在哪裡呢？
由於發展PyQt的公司Riverbank堅持不使用LGPL授權，要嘛就是GPL，要嘛就跟我買商業授權。當年Qt母公司Nokia交涉未果的情況下，只好自行另外做一個，形成少見的同樣套件功能卻有兩種實作。目前PyQt比較成熟，網路上的資源也很多。而PySide到近期才跨進Python3，比起來可能還比較不穩定，不過我倒希望有天也能和tkinter一樣收進標準程式庫。
雖然兩套系出同源，但還是有一些差別，另外目前中文資料大多是PyQt with Python2。為了以後查詢可以不用在腦內翻譯一次，直接打在這以後做參考。
第一件事當然就是安裝拉~
對於Windows方面，他有推出各種對應版本的安裝程式，建議直接用這個裝比較不會有問題，畢竟安裝時就折騰了，對它還會有好印象嗎?(笑) 
下載位置：[http://qt-project.org/wiki/PySide_Binaries_Windows]
安裝後趕緊來測試一下，首先到python的IDLE或是命令列模式內，打入下面這行：

import PySide

如果沒有任何錯誤的話，接下來打入下面這行：

PySide.__version__

它會顯示目前安裝的PySide的版本，我現在的就顯示 1.1.2，到這邊都沒問題的話，恭喜你已經完成安裝了，接下來可以開香檳會快速帶過一次如何建立一個基本的視窗。

首先開頭匯入PySide程式庫，幾乎所有的PySide至少需要匯入以下三個模組

import sys
from PySide.QtCore import *
from PySide.QtGui import *

接著建立PySide的程式實體，他負責處理大大小小你看不見的瑣事，注意：程式實體不等同於視窗，一個程式可以有很多個視窗(就像MSN之類的軟體，大學時代會開到20幾個對話視窗，但還是只有一個MSN的實體，想當年... )，但只會有一個實體。

app = QApplication(sys.argv)

接著我們建立一個按鈕，對應的是QPushButton物件

button = QPushButton("按我")

這裡要說明的是，由於PySide是以物件的方式寫的，所以當我們建立視窗元件時，他們會繼承視窗的特性，因此即使只有建立按鈕，Qt也會自動做建立視窗等動作。它的繼承序列如下：

QObject->QWidget->QAbstractButton->QPushButton

打個比方：就像我們跟電腦店老闆說我想要玩星海2，老闆會連同整台電腦灌好Windows系統最後加上星海2交給你(哪裡有這麼好的老闆!!!)，不用刻意說我需要那些滑鼠、記憶體。

如果想要個人化一點可以加入下面的程式碼：

#改變按鈕大小
button.resize(200, 75)
#改變視窗在螢幕的位置
button.move(500,300)
#設定視窗標題
button.setWindowTitle("我的第一個程式")

以上的設定很明顯都是從它的父元件繼承來的

接著由於預設視窗是隱藏的，因此在做好設定之後，我們要讓醜媳婦見公婆

button.show()

基本上到這裡就沒事了，以前還要再多個button.exec_()  但經過我測試之後，發現現在不用這行視窗也不會自己關掉了(註一)，現在執行看看效果如何



哈，看到視窗出來也沒有很興奮阿，不過別急著點擊按鈕，它是不會有任何反應的，下一篇再來介紹如何讓按鈕可以有實質的用途~

完整程式碼：

import sys
from PySide.QtCore import *
from PySide.QtGui import *

app = QApplication(sys.argv)

button = QPushButton("按我")

#改變按鈕大小
button.resize(200, 75)
#改變視窗在螢幕的位置
button.move(500,300)
#設定視窗標題
button.setWindowTitle("我的第一個程式")

button.show()

註一：由於windows上的程式基礎是事件驅動，比如說滑鼠點擊就是事件的一種，在事件沒發生時，大多晾在那邊等。然而傳統的python程式執行完程式碼就自己關掉了，這可不行，因此要使用exec_()讓我們的程式進入捕獲事件的狀態，而不要自己關掉說掰掰。

[MySQL]Python連結MySQL---查詢篇

當我們連結資料庫後呼叫cursor()時便會建立一個cursor.MySQLCursor的物件，靠它可以很方便的操作資料庫。
其中最常見的就是execute()

MySQLCursor.execute(operation, params=None, multi=False)

顧名思義，這個方法是用來執行MySQL的命令，舉凡插入、查詢、刪除等都是要靠它。我們來看看它的使用方法吧：

cursor.execute("SELECT * FROM students")

這樣就是一個簡單的要求讀取students資料表內所有資料，不過執行這一行可能連一點回應都沒有，因為我們還需要呼叫fetch類的方法把資料取進python裡，這邊先暫時不提如何fetch，讓我們專注在execute上。

如同sqlite3套件，你也可以先將比較常用SQL命令打好，等到execute時再加入參數，例如：

#方式一
insert = ("INSERT INTO student (name, birthday, age) VALUES (%s, %s, %s)")
data = ('小明',datetime.date(1998, 3, 23),15)

cursor.execute(insert, data)

#方式二
select = "SELECT * FROM student WHERE age = %(age)s"
cursor.execute(select, { 'age': 15 })

如果資料量大，可以採用另一種方法executemany，例如：

data = [('小胖', date(1998, 2, 12)),
        ('曉華', date(1998, 5, 23)),
        ('小明', date(1998, 10, 3))]

insert = "INSERT INTO student (name, birthday) VALUES (%s, %s)"
cursor.executemany(insert, data)

executemany的作法是將所有資料嵌入SQL命令裡，例如範例內的程式會變成：

INSERT INTO student (name, birthday) VALUES ('小胖', 1998-2-12),('曉華', 1998-5-23),('小明', 1998-10-3)

先前不知道在裡哪看到的文章，有提到在所有SQL批量插入的方法中，將所有資料塞在同一個命令是最快的方式。不過我想SQL命令在長應該也有個限度，不過我現在找不到那篇文章了…

fetchall()、fetchone()

當我們發出查詢命令之後，要將資料取進python做使用可以使用fetch類方法，最簡單的就是先前文章提到的fetchall()，他會以list的方式回傳所有資料或者是空list(無資料)。

另一種方式是一次取出一筆：fetchone()，若沒有資料便會回傳None，事實上根據官方文件，fetchall()也是用fetchone()來實作的

cursor.execute("SELECT * FROM students")
row = cursor.fetchone()
while row is not None:
  print(row)
  row = cursor.fetchone()

另外有一種簡便的方式可以替代fetchone()

cursor.execute("SELECT * FROM students")
for row in cursor:
  print(row)

最後要介紹的，cursor也如同sqlite套件裡的兄弟一樣提供兩個有用的屬性：

rowcount：提供上次操作所影響的筆數，此屬性僅限用於UPDATE和DELETE命令

getlastrowid：提供最後一個插入值的ID



意外的也來到第7篇了。雖然把文章寫出來，但果然都沒記到腦袋，時常翻閱。不過這樣其實也蠻方便的，哈哈。

[MySQL]Python連結MySQL---連結篇

前面的文章大概提到要怎麼從MySQL獲取資料，今天我們先專注在連結的部分。

import mysql.connector
c = mysql.connector.connect(user='root', password='1234',database='employees')
#資料庫處理
c.close()

一個標準的資料庫操作大概如上，先以connect()連結並取得資料庫物件，待操作後呼叫close()來關閉與資料庫的連線。

其中connect()內的參數有21種之多(文後有介紹)，常用的大概就是帳號、密碼、選取資料庫、資料庫HOST、PORT這五種。但如果你需要使用大量的參數，可以參考以下的連結方式：

import mysql.connector
config = {
  'user': 'root',
  'password': '1234',
  'host': '127.0.0.1',
  'database': 'employees',
  'autocommit': True,
  'raise_on_warnings': True,
}
c = mysql.connector.connect(**config)
#資料庫處理
c.close()

如此可以將設定部分都移到檔頭甚至是另外的檔案方便做處理。

如果我們臨時想做切換帳號的動作呢？最直覺的想法應該是close原來的連線後再重新建立新的，不過可以不用這麼麻煩。直接呼叫config(參數如同connect())後再呼叫reconnect()重新連線即可

import mysql.connector
c = mysql.connector.connect(user='joe', database='test')
# 以'joe'帳號登入
c.config(user='jane')
c.reconnect()
# 現在改以'jane'帳號登入

如果只是想改變所選擇的資料庫比較簡單：

c.database = 'teacher'
#改為讀取teacher資料庫

print(c.database)
#此結果會顯示出目前所選取的資料庫為何

其他如帳號、連線位置等皆可以同樣方式做查詢，但無法修改(修改一定得重新連線)

如果我們想偵測是否有與MySQL做連結，可以使用is_connect()，結果會回傳True/False

mysql.connector.connect()參數詳解

有空白的就是我不懂是甚麼意思XD，基本上會用到的也就那些。另外前三個後面有括弧，那個是套件設計者佛心來的，為了讓這個套件可以相容其他同樣也是Mysql連結python設計的，所以參數名互換是可以的。
[http://dev.mysql.com/doc/connector-python/en/connector-python-connectargs.html]

參數名	預設值	說明
user(username*)		資料庫帳號
password(passwd*)		資料庫帳號的密碼
database(db*)		想要連線的資料庫名稱
host	127.0.0.1	資料庫伺服器位置(預設是本機電腦)
port	3306	連結資料庫的port
unix_socket
use_unicode	True	是否用unicode
charset	utf8	資料庫使用編碼集
collation	utf8_general_ci	資料庫使用編碼
autocommit	False	是否自動交易(commit)
time_zone		設定時區
sql_mode
get_warnings	False	是否獲取警告
raise_on_warnings	False	當例外發生時是否中斷
connection_timeout		連線等待時間
client_flags
buffered	False	是否cursor物件在執行查詢後立刻獲取查詢結果
raw	False	查詢結果是否使用原生資料格式，而非python資料格式
ssl_ca		SSL憑證授權
ssl_cert		SSL憑證檔案
ssl_key		SSL的key