B
|
pïbc ã @ s
|
d dl Z d dlZd dlZd dlZd dlZd dlZd dlZd dlZd dl Z d dl
|
Z
|
e ¡ Z dd Z dd Zdd Zdd Zd
|
d Zd d Zdd Zdd Zdd Zdd Zdd Zdd Zdd Zd d Zd d Zd d! Z d"d# Z d$d% Z d&d' Z e d(kre!e d) dS )*é Nc C sÄ y| ¡ }d| d| d|d d|d d|d d|d d|d d|d
|
d|d d |d d}t| | |¡ | ¡ W d Q R X W n* tk
|
r¾ } z | ¡ W d d }~X Y nX d S )Nzinsert into level2_data(day,code,time,price,num,limit_price,operate_type,cancel_time,cancel_time_unit, md5,create_time) values ('z','ÚtimeÚpricez',Únumú,Z
|
limitPriceZ operateTypeZ
|
cancelTimeZcancelTimeUnitz,'Úmd5z',now()))ÚcursorÚprintÚexecuteÚcommitÚ ExceptionÚrollback)ÚdayÚcodeÚitemÚconnr ÚsqlÚe© r ú"D:\workspace\trade\data_process.pyÚ_mysql_insert_data s
|
b
|
r c
|
C sv yF| ¡ 4}d | d | d ¡}t| | |¡ | ¡ W d Q R X W n* tk
|
rp } z | ¡ W d d }~X Y nX d S )Nz@update level2_data set re = {}, update_time=now() where md5='{}'Úrer )r Úformatr r r
|
r r )r r r r r r r r Ú_mysql_update_data s
|
|
r c C s t | ¡}|S )N)ÚjsonÚloads)ÚstrÚdictr r r Úparse* s
|
r c C s
|
t | ¡S )N)r Údumps)Ú_dictr r r ÚtoJson/ s r c C s t | ¡}|d S )NÚtype)r r )r r r r r Ú parseType3 s
|
r" c C s t | ¡}|d }|S )NÚdata)r r )r r r# r r r Ú parseGPCode8 s
|
r$ c C s& t | ¡}|d }|d k r |S g S d S )Nr# )r r )r r r# r r r Ú parseList> s
|
|
r% c C s t | ¡}|d }|S )Nr# )r r )r r r# r r r Ú parseDataG s
|
r& c C s* t | ¡}|d }|d }|d }||fS )Nr# r )r r )r r r# r Z
|
trade_datar r r ÚparseL2TradeQueueDataM s
|
|
r' c C sp t | ¡}t t t|¡t d¡ ¡}t t t|¡t d¡ ¡}|t t|¡ krd|krln ndS dS )Nz1.1z0.9TF)Úgpcode_managerZ get_price_preÚtoolZto_priceÚdecimalZDecimalr )r r Z price_closeZ max_priceZ min_pricer r r Úis_same_code_with_priceU s
|
"r+ c C s. t ¡ }t |¡}d | ¡}| |d|¡ d S )Nztrade-queue-{}é )Ú redisManagerÚgetRedisr r r Úsetex)r r# ÚredisÚdata_strÚkeyr r r ÚsaveL2TradeQueueData` s
|
|
r3 c C s> t ¡ }d | ¡}| |¡}|d ks0t|dkr4d S t |¡S )Nztrade-queue-{}r )r- r. r ÚgetÚlenr r )r r0 r2 r1 r r r ÚgetL2TradeQueueDatai s
|
|
r6 c C s| g }t }x| D ]}| |d ¡ qW x|D ]}| d|i¡ q,W t dd|i¡}d }x|D ]}|d }P q\W td| |S )Nr Z
|
first_codez ths-industryz$orÚ_idu! æç»çäºçº§è¡ä¸å称为ï¼)ÚsetÚaddÚappendÚ
|
mongo_dataÚfindr )ÚdatasZorsZcodesr# r ÚresultZ_fnameÚar r r Ú _getIndustryr s
|
|
|
|
r@ c C s x| D ]x}t |}g }xZ|D ]R}d|d i}||d< |d |d< |d |d< ttt ¡ d |d< | |¡ q W t d|¡ qW d S ) Nr7 r Zsecond_industryÚzyltgbÚ zyltgb_unitiè Ú update_timezths-industry-codes)r@ ÚintÚroundÚtr r: r; Úsave)Ú datasListr= Z industry_nameÚ_listr# r r r r ÚsaveIndustryCode s
|
|
rJ c C sf g }xP| D ]H}|d |d |d t tt ¡ d d}t|d dkr
|
| |¡ q
|
W t d|¡ d S )Nr rA rB iè )r7 rA rB rC r zths-zylt)rD rE rF r Úfloatr: r; rG )rH rI r# r r r r Ú
|
saveZYLTSZ s
|
rL c C s, | dkr d S t ¡ }| d | ¡d|¡ d S )Nr zclient-active-{}é
|
)r- r. r/ r )Ú client_idÚhostr0 r r r ÚsaveClientActive s rP c C s@ t ¡ } | d¡}g }x$|D ] }| d¡d }| |¡ q W |S )Nzclient-active-*zclient-active-é )r- r. ÚkeysÚsplitr: )r0 rR Z
|
client_idsÚkr7 r r r ÚgetValidClients§ s
|
|
rU c C s t ¡ }| d | ¡¡S )Nzclient-active-{})r- r. r4 r )rN r0 r r r ÚgetActiveClientIP± s rV c C sb t ¡ }xT| D ]L}d |¡}| |t ¡ | | d ¡ d |¡}| |t ¡ | | d ¡ qW d S )Nz volumn-max-{}Z
|
max_volumnzvolumn-latest-{}Z latest_volumn)r- r. r r/ r) Z
|
get_expire)r= r0 r2 rT r r r ÚsaveCodeVolumn· s
|
|
|
rW Ú__main__é )"r* r r rF ÚrandomÚdatetimeZmysqlÚ redis_managerr( r; r) Ú RedisManagerr- r r r r r" r$ r% r& r' r+ r3 r6 r@ rJ rL rP rU rV rW Ú__name__r r r r r Ú<module> s>
|
|
|
