今天在確認(rèn)實(shí)習(xí)生不能幫忙搭建數(shù)據(jù)庫(kù)后,,自己根據(jù)業(yè)務(wù)需求嘗試搭了一個(gè)小型access數(shù)據(jù)庫(kù),。 主要目的:儲(chǔ)存歷史月度數(shù)據(jù),避免每次從公司數(shù)據(jù)庫(kù)下載數(shù)據(jù)的麻煩,,節(jié)省數(shù)據(jù)拉取時(shí)間,。 搭建了以acct id為主鍵的兩種數(shù)據(jù)。 1)客戶信息,,包括由業(yè)務(wù)人員手工更新匯總的數(shù)據(jù),,如客戶所在區(qū)域,商業(yè)信息等,。 由機(jī)器抓取的客戶信息,,如客戶賬號(hào)狀態(tài),專屬業(yè)務(wù)人員信息等等,。 上述數(shù)據(jù)按照每月定期更新,,以及每周更新,存儲(chǔ)在不同的表里,。 2)客戶交易信息,,計(jì)劃包括:匯總月度信息,如月成交額,,交易量等,; 分多個(gè)維度的表格,如周信息,,交易類型,,交易來(lái)源等,該數(shù)據(jù)刷新時(shí)間段不一樣,,且根據(jù)業(yè)務(wù)需求,,會(huì)有不同的維度需求。 另外,,為了方便,,把數(shù)據(jù)庫(kù)里常見(jiàn)的“Jan-2014”細(xì)分為'Year'和'Month'兩個(gè)變量,這樣以后數(shù)據(jù)導(dǎo)入輸出時(shí),不用再費(fèi)心數(shù)據(jù)格式問(wèn)題,,在excel里,,直接用date(year,month,day)即可快速合成日期。 通過(guò)搭建多個(gè)表格,,就把曾經(jīng)整合在excel里的數(shù)據(jù)拆分成了多個(gè)表格,,且各個(gè)表格之間刷新頻率不一樣,減少了我們用excel vlookup匹配的時(shí)間,。 同時(shí)我新建了兩個(gè)查詢 1)整合客戶基本信息,,包括業(yè)務(wù)人員使用的信息,以及由機(jī)器抓取的信息,。(這里以賬戶唯一識(shí)別碼作為關(guān)聯(lián)標(biāo)識(shí),,并修改了連接屬性,即所謂的左連接右連接) 2)把匯總的月度信息與客戶基本信息結(jié)合起來(lái),,匯總成一張大表,。該大表之后將直接導(dǎo)入excel中,作為數(shù)據(jù)透視表的一部分,。 另外,,關(guān)于操作,目前摸索出: 1)刪除查詢:可以刪除不符合我要求的數(shù)據(jù)(如每個(gè)月導(dǎo)入數(shù)據(jù)時(shí),,把當(dāng)前月數(shù)據(jù)刪除,,避免數(shù)據(jù)重復(fù)) 2)追加查詢:主要用于客戶交易信息,定期追加月度/季度數(shù)據(jù),。 現(xiàn)在需要解決的問(wèn)題包括: 1)如何在導(dǎo)入新的賬戶信息后,,快速找到需要追加的客戶信息,并且追加(計(jì)劃查找不匹配項(xiàng)) 2)如何在刪除已經(jīng)不合格的數(shù)據(jù),,以及表之間的聯(lián)合,,以及決定后續(xù)數(shù)據(jù)導(dǎo)入的工作。(相信代碼可以實(shí)現(xiàn),,但目前還未探索) 3)關(guān)于搭建一個(gè)友好的訪問(wèn)界面,,或者撰寫文檔存稿 總結(jié):access在我們數(shù)據(jù)處理初期并不常用。但是隨著數(shù)據(jù)量的擴(kuò)大,,我們自然而然的要用到多個(gè)數(shù)據(jù)庫(kù),。 從access起步,個(gè)人覺(jué)得還比較容易,。 以及,,積極主動(dòng),代表著,,要努力學(xué)習(xí)。之前把這個(gè)任務(wù)分配給實(shí)習(xí)生時(shí),沒(méi)有得到滿意答復(fù),,但是自己折騰,,在熟知業(yè)務(wù)的基礎(chǔ)上,也勉強(qiáng)能完成一個(gè)符合大致需求的數(shù)據(jù)庫(kù),。未來(lái)還需要多加嘗試,,并規(guī)范化模板。 再以及,,比一年前為了某個(gè)TEAM搭建CRM系統(tǒng)時(shí)對(duì)ACCESS的一竅不通,,這一次經(jīng)過(guò)多番思考,很順利就完成了框架的搭建,,表?yè)P(yáng)自己一個(gè),!\(^o^)/~ 基本完成access數(shù)據(jù)庫(kù)的搭建,并且嘗試了查重,,不匹配項(xiàng)目查找,,以及上傳新數(shù)據(jù)等功能,表現(xiàn)良好,。 記錄一下目前研究出來(lái)的sql語(yǔ)句: 1)去除重復(fù)項(xiàng)Select Distinct [字段] 2)選擇重復(fù)項(xiàng)GROUP BY 字段,,字段 HAVING ( ( (字段) )>1 ) AND ( (Count(POST.[PostNumber]))>1) ); 注意這里括號(hào)的應(yīng)用 Having( () and () ) 同時(shí)如果在access里使用,會(huì)自動(dòng)帶count(字段) 3)access里字段的命名規(guī)則表.[字段名] 4)關(guān)于access里面的左連接右連接個(gè)人感覺(jué),,access里面的關(guān)系菜單操作做的比較好,。。比手寫代碼要好多了 反正就是一個(gè) Left join Right join的區(qū)別啦,。,。 之后繼續(xù)完善這個(gè)數(shù)據(jù)庫(kù)。 自從有了這個(gè)數(shù)據(jù)庫(kù)后,,輸出數(shù)據(jù)效率有了極大的提高,。原本一個(gè)地區(qū)可能要29M的大小,現(xiàn)在4個(gè)地區(qū)加起來(lái),,excel原始數(shù)據(jù)只要9M,。。 科技的力量是偉大的,。 要提高工作效率,,先提高技術(shù)及思想是更好的捷徑。 在搭了一個(gè)數(shù)據(jù)庫(kù)后,,買了一本《讓excel飛》,,里面有提及access 經(jīng)過(guò)研究之后,發(fā)現(xiàn)access+excel的結(jié)合確實(shí)能解決我的大部分難題,,并且可以做得更好,。 比較好的方法是,, access連接數(shù)據(jù)庫(kù),或者會(huì)定期刷新的表格 然后創(chuàng)建好查詢,, 定期導(dǎo)出到excel中,,生成圖表透視表等 另外,有言access的學(xué)習(xí)和使用可以精簡(jiǎn)流程,,優(yōu)化工作流程,。。并且是數(shù)據(jù)庫(kù)入門最好的方法 現(xiàn)在遇到數(shù)據(jù)匹配查詢,,都可以建一個(gè)access存放數(shù)據(jù),,慢慢習(xí)慣這個(gè)access的思維方式 終于完成了一個(gè)比較完整的自動(dòng)化報(bào)表搭建過(guò)程 基于公司數(shù)據(jù)保密原則,樣板就不放到網(wǎng)上來(lái)了,,簡(jiǎn)單說(shuō)一下背景: 這次access實(shí)現(xiàn)的功能包括: 1)為部門整體搭建了一個(gè)員工基本資料數(shù)據(jù)庫(kù),,里面包括從各個(gè)系統(tǒng)里獲得的員工信息,如Zhang San,一個(gè)系統(tǒng)里叫San Zhang,,一個(gè)系統(tǒng)叫sazhang,,一個(gè)系統(tǒng)叫sun Zhang。這些信息匯總后,,存在部門共享盤里,,包括此次的Access,都是直接鏈接到這個(gè)總access表里,,這樣,,有新員工來(lái)的時(shí)候,只需要更新一個(gè)access,,其余所有數(shù)據(jù)都能實(shí)現(xiàn)自動(dòng)鏈接更新,。 2)利用saved import,保存固化數(shù)據(jù)導(dǎo)入功能,,同時(shí)編寫VBA/Marco進(jìn)行數(shù)據(jù)自動(dòng)更新: *刪除源數(shù)據(jù):兩個(gè)方法,,編寫Marco,自動(dòng)運(yùn)行已經(jīng)編寫好的刪除查詢,,或直接用Marco刪除記錄,。 *導(dǎo)入數(shù)據(jù):用RunSavedImportExport(SavedImportExportName)可以執(zhí)行數(shù)據(jù)導(dǎo)入; 3)在查詢方面,,主要設(shè)定兩個(gè) *刪除查詢 *選擇查詢 里面涉及兩個(gè)自定義項(xiàng)語(yǔ)句,,如IIF(判斷,truepart,falsepart),,而對(duì)于多重選擇,,用switch比用iif嵌套要簡(jiǎn)單得多,如switch(判斷1,,輸出,,判斷2,,輸出)。不過(guò)switch不能直接用else語(yǔ)句,,因此如果判斷均不成立,,會(huì)輸出空白值,這點(diǎn)需要注意,。 運(yùn)用IIF和switch后,再加上查詢實(shí)現(xiàn)的lookup功能,,至此,,access基本能完成excel做數(shù)據(jù)報(bào)表里要用的大部分?jǐn)?shù)據(jù)處理?;旧?0%-90%的數(shù)據(jù)處理就可以在這里來(lái)完成了^^ 4)本次操作簡(jiǎn)介: 1)下載源數(shù)據(jù),,放到相應(yīng)的位置,替換原有的數(shù)據(jù)源 注:這里也可以外鏈,。但是根據(jù)實(shí)踐,,當(dāng)數(shù)據(jù)量比較大的時(shí)候,用刪除查詢刪除數(shù)據(jù),,然后再導(dǎo)入數(shù)據(jù),,速度遠(yuǎn)遠(yuǎn)大于外鏈。并且上述操作均可以用程序來(lái)運(yùn)行,。 2)打開(kāi)access,,運(yùn)行Marco,刪除相關(guān)的數(shù)據(jù),,并更新數(shù)據(jù) 3)運(yùn)行經(jīng)過(guò)一系列查詢后的最終查詢,,導(dǎo)出到excel后,導(dǎo)入已經(jīng)寫好公式的excel里,,刷新即可,。 后續(xù): 1)窗體制作,宏及VBA編寫,,提高自動(dòng)化程度 2)編寫說(shuō)明 另外DoCmd http://msdn.microsoft.com/zh-tw/library/office/ff192740(v=office.14).aspx 具體可參考與此 總結(jié)一下,,在這兩個(gè)月里,通過(guò)自己摸索,,成功搭建了一個(gè)可以取代所有復(fù)制粘貼/VLOOKUP查找,,以及方便數(shù)據(jù)管理的數(shù)據(jù)庫(kù)集。并從零到有學(xué)會(huì)了SQL,,所謂的Access是SQL入門最好的方法,,前輩誠(chéng)不欺我也。從效率來(lái)說(shuō),,首先,,我們公司錯(cuò)綜復(fù)雜的系統(tǒng)人名得到了有效的統(tǒng)一管理,,并整合了由業(yè)務(wù)人員輸入的一些不會(huì)被公司數(shù)據(jù)庫(kù)保存的數(shù)據(jù)(譬如客戶實(shí)際行業(yè),客戶真實(shí)信息等等),,然后結(jié)合了那個(gè)BI自助系統(tǒng)的特性,,編了一個(gè)導(dǎo)入導(dǎo)出的宏。 現(xiàn)在,,基本框架已經(jīng)搭建起來(lái),,我發(fā)現(xiàn)接下來(lái)的工作更加繁瑣了 簡(jiǎn)單來(lái)說(shuō),現(xiàn)在主要的問(wèn)題是數(shù)據(jù)庫(kù)邏輯不清,,需要理清并維護(hù)關(guān)系文檔 由于數(shù)據(jù)庫(kù)里大部分操作都是自動(dòng)化的,,設(shè)計(jì)該自動(dòng)化流程。當(dāng)時(shí)設(shè)計(jì)各個(gè)數(shù)據(jù)庫(kù)時(shí),,基本上是,,有什么需求,就建什么表,。導(dǎo)致現(xiàn)在多個(gè)數(shù)據(jù)庫(kù)之間邏輯不清晰,。迫切需要維護(hù)一個(gè)文檔,記錄該數(shù)據(jù)庫(kù)是怎樣操作的,。 現(xiàn)在我嘗試用office自帶的visio來(lái)厘清流程,,但這個(gè)基本只能厘清數(shù)據(jù)間的關(guān)系,以及操作順序,。不能記錄這個(gè)數(shù)據(jù)庫(kù)是如何表間查詢的,,如果時(shí)間久了,這些邏輯又會(huì)不清晰了,。不知道市面上的數(shù)據(jù)庫(kù)維護(hù),,是用什么方法來(lái)維護(hù)的呢? 另外,,由于我不喜歡整理文本上的操作,,目前這些細(xì)致的活讓我有些煩悶,每天都在修修補(bǔ)補(bǔ)而不是在創(chuàng)建新東西的感覺(jué),,真心壓抑,,而且容易走神。有什么辦法可以更好的管控時(shí)間,,讓我focus在最重要的事情上,? 正是因?yàn)闀r(shí)間管理遇到問(wèn)題,然后被大量的文本整理占據(jù)精力,,我越來(lái)越覺(jué)得,,做數(shù)據(jù)庫(kù)維護(hù)以及報(bào)表開(kāi)發(fā),可能報(bào)表開(kāi)發(fā)僅僅只是一次性的操作,,如何讓開(kāi)發(fā)出來(lái)的結(jié)果容易理解,,并且易于讓人根據(jù)業(yè)務(wù)需求進(jìn)行修改,,是我接下來(lái)需要做的事情。 但愿我在找到方法之前,,不會(huì)因?yàn)闊┰?,而失去了進(jìn)一步學(xué)習(xí)的機(jī)會(huì)。 另外,,關(guān)于R語(yǔ)言,,我目前正式放棄閱讀R語(yǔ)言實(shí)戰(zhàn),轉(zhuǎn)為看數(shù)據(jù)挖掘與R語(yǔ)言,。R語(yǔ)言實(shí)戰(zhàn)前半部分作為數(shù)據(jù)處理,,確實(shí)很實(shí)用。但后續(xù)由于沒(méi)有較完整的案例,,并不適合一一研讀。反而是前陣子京東湊單買的數(shù)據(jù)挖掘與R語(yǔ)言給了我極大的驚喜(實(shí)驗(yàn)數(shù)據(jù)被作者直接創(chuàng)了個(gè)R包,,相當(dāng)良心?。。?/p> 想學(xué)習(xí)和了解更多黑客技術(shù)嗎,? 掃描下面的二微碼或手指長(zhǎng)按下面的二微碼,,點(diǎn)關(guān)注我們吧! |
|