當然股神1.0僅僅有分析模塊和收集模塊是不夠的,它還需要有一個數據處理模塊,如果說分析模塊是大腦,收集模塊是手腳的話,那麼處理模塊就是消化系統。
當海量的數據信息被從數據海洋中抽取出來,需要對這些信息進行加工處理,將它們處理成數據分析模塊能夠利用的數據模式。
比如某個上市公司一個年度財報,裡面的內容非常之多,從人事變更到企業戰略,併購行為,利潤營收等方面都會涉及到,而這些東西又是關鍵性信息。一個數萬字外加各種圖標的財報,其中各種關鍵信息必須能夠被分析模塊理解並進行加工,這就是處理模塊的主要工作了。
這個數據處理模塊主要的功能部分其實是自然語言處理,程序本身是無法理解語言內涵的,它肯定無法理解「定向增發100萬限售股」是什麼意思,這時候就需要認為給這句話進行賦值,讓它變成機器能夠理解的數據信息。
比如首先進行意義分割,將定向設定為一個意義單元,將增發設定為另外一個單元,以這種方式將整個句子按照意義單元分割開來,分別進行賦值。
這一套加工手段裡面就牽扯到人機交互的語言處理問題,需要人為的幫助計算機去理解和處理人類的語言,讓機器能夠看懂語法、語意單元,能夠聯繫上下文,能夠處理不同語境下同一個詞組的不同含義。
簡單來說,讓機器能夠理解人類語言,這就是自然語言的主要目標,同時也是這個處理模塊的主要功能。
分析、收集、處理,這三大模塊是股神1.0的主要功能結構,但是僅僅如此還是不夠的,股神還需要很多的輔助模塊。
比如它需要有存儲模塊,所有的數據信息搜集回來,必須整理加工好,然後分類存儲起來,它就像一個超級圖書館一樣,必須有自己的分類和存儲規則。如果沒有這些,你只是簡單的將它們堆放在一起,你就可以想像,當你需要從數千萬本書籍當中,找出某一頁特定內容時,那將會是怎樣一個痛苦而又恐怖的過程。
另外股神還需要相應的展示和交互模塊,股神作為一個軟體,它需要有自己的操作界面,需要能夠將處理結果或者過程展現出來,需要能夠接收指令,進行人機交互。
這五個模塊組合在一起,並且能夠順暢的相互配合了,股神系統才算基本成型,而中間肯定會有各式各類的問題不停冒出來,這都需要莫回逐個解決掉。在使用的過程中,肯定還涉及到不停的跟新和改良,所有這些都將是莫回的工作。
按照莫回的估算,整個股神的體量不太可能低於100萬行代碼,如果想要讓股神儘可能的完美而準確,那它的體量絕對會翻著跟頭的往上翻。想要實現什麼功能,你就必須付出相應的代價,如果你想要讓股神的預測儘可能精確,那麼不停的往裡投入肯定是必不可少的。
這還僅僅是股神本身,如果想要股神運作起來,那麼莫回必然還將面臨著帶寬的問題,爬蟲一旦跑起來,海量數據就會被傳回,這些數據至少也是t級的。
在計算機領域,數據大小的單位是1024進制的,一個字節為byte,1024字節為kb,1024k為m,1024m為g,1024g為t.
比如我們手機的存儲容量可能是4g,筆記本的存儲容量可能是400g,而一台筆記本的400g大概相當於一千部電影。
而股神通過爬蟲搜集來的數據肯定是海量的,至少是t級別的,就是跑到p級別也不算是什麼大事。比如1p的數據,它大概相當於250萬部電影。人的一生也不過3萬天,每天看十部電影,也足夠看十輩子的了。
在如此大量的數據面前,莫回必然面臨一個帶寬問題,很容易想像,出租屋裡的小區寬帶肯定是不好使的。
現在超級本的運算能力已經獲得驗證了,應該是比較超常的,但是它的存儲能力還未測試,如果存儲能力不成的話,莫回還必須為這海量數據尋找一個存儲空間。
諸如此類的問題還有很多,如果莫回想要把股神完成,並且上線運行,那麼他必須像是老黃牛一樣,勤勤懇懇的往前走,把這些擋路石一個個的全部處理掉。
本來這些事就是交給一個公司處理,一個成熟的團隊來處理,都未必能夠處理得很好,現在莫回需要一個人搞定,並且很可能必須不顯山不漏水的一個人搞定,這裡面的難度就可想而知了。
想想未來的前路,莫回感覺好像是登珠峰一樣,好高啊~~~
好在莫回多少算是業內人士,這些事基本算得上是本職工作,無非就是項目經理、產品經理、主程、架構一肩挑了。難是難了點,工作量大是大了點,但是好歹還算有解決辦法,只要沿著道路一步步走,總會有完成的那一天。
工作量不小,不過也不是沒有捷徑可走,莫回點開網頁,開始搜集他需要的開源軟體。他去開源之家搜了一下,開源的爬蟲就有有一百多個,裡面估計會有合用的。
五大模塊他都簡單的搜了一下,大多數都還有類似的可替代軟體,現在他需要做的就是在裡面找到最合適的哪一款,然後修改後進行組裝。
首先需要選擇開發語言,各種語言都有自己的適用範圍和優缺點,一旦選定了,那麼五大模塊都需要是同一個語言開發出來的才行,這樣也方便組裝和拓展開發。
莫回想了想,他最終選定了c++,因為這種語言更加靠近底層和匯編,整體執行效率和速度比較好。
莫回開始在網上尋找和篩選合用的開源軟體,將那些基本符合要求的c++開發的軟體全部下載下來,各自先歸類存儲起來。
等莫回將合用的三十多個各類爬蟲全部下載下來的時候夜已經深了,莫回揉揉僵硬的脖頸,伸伸懶腰,不由得為今後的日子哀嘆:要拼老命了啊,上班拼命回家也要拼命,這是要把自己當驢使喚啊~~~
html|sitemap|shenma-sitemap|shenma-sitemap-new|sitemap50000|map|map50000
0.0169s 3.4086MB