艾銻無限干貨集：海量數(shù)據(jù)處理思路

2020-02-29 19:09 作者：艾銻無限 瀏覽量：

疫情即將結(jié)束，如何提升企業(yè)工作效率
 

艾銻無限免費(fèi)為企業(yè)提供IT服務(wù)

 
這幾天如果大家關(guān)注疫情數(shù)據(jù)的變化，可以看到新增確診病例在持續(xù)下降，這意味著疫情很快就會(huì)結(jié)束，大家再也不用在家辦公了，到不是在家工作有什么不好，但人類發(fā)明工作不簡(jiǎn)簡(jiǎn)單單只是為了實(shí)現(xiàn)結(jié)果的達(dá)成，還有一個(gè)非常重要的因素就是人與人之間的聯(lián)結(jié)，這是人類內(nèi)在價(jià)值的需求，透過 工作與人接觸，共同感受彼此的能量流動(dòng)，從而達(dá)到自我價(jià)值的實(shí)現(xiàn)，這就像演員都渴望登上奧斯卡的舞臺(tái)，來實(shí)現(xiàn)自我角色的認(rèn)可一樣。



 

在家辦公，畢竟是家，松、散、懶以及無所謂的態(tài)度會(huì)隨時(shí)產(chǎn)生，我相信不是每個(gè)人都會(huì)這樣，但大部分人會(huì)如此，因?yàn)榧冶緛砭褪欠潘傻哪芰繄?chǎng)，接下來大家即將回到公司，回到自己的工作崗位，難免會(huì)把在家的狀態(tài)帶入工作中，如果每個(gè)人都是這樣的狀態(tài)，企業(yè)很快會(huì)陷入新的窘境，所以沒有 狀態(tài)，也不會(huì)有好的結(jié)果，狀態(tài)就是一切。
 
團(tuán)隊(duì)的勢(shì)氣決定企業(yè)整體的戰(zhàn)斗力，那如何調(diào)整陸陸續(xù)續(xù)回來的團(tuán)隊(duì)成員呢？






 
 
艾銻無限對(duì)中小企業(yè)有三條建議：
 
第一，重新梳理整個(gè)企業(yè)的戰(zhàn)略，疫情的發(fā)生，是否給你企業(yè)帶來了變化？如果有那是什么？是否需要調(diào)整自己原有的戰(zhàn)略方向來應(yīng)對(duì)疫情發(fā)生后的影響？
 
第二，重新明確每個(gè)人的目標(biāo)和目的，目標(biāo)就是重回企業(yè)的人要干什么？干到什么程度？什么時(shí)間可以看到這個(gè)結(jié)果的發(fā)生？目的就是為什么要實(shí)現(xiàn)這個(gè)目標(biāo)？這個(gè)目標(biāo)與自己的意義是什么？與企業(yè)的意義又是什么？達(dá)成了會(huì)怎么樣？達(dá)不成又會(huì)怎么樣？
 
只有清晰這些問題，才會(huì)讓回到工作崗位的人快速改變自己的狀態(tài)投入到接下來的工作中，只有積極的狀態(tài)投入工作才會(huì)有積極的成果發(fā)生，反之依然。
 
第三，企業(yè)高管與員工建立一對(duì)一的對(duì)話機(jī)制，因疫情的影響，每個(gè)人心理或多或少都會(huì)產(chǎn)生一些內(nèi)在的變化，作為企業(yè)的高層管理人員，最好與企業(yè)內(nèi)部員工一對(duì)一的進(jìn)行溝通，去了解在這個(gè)過程中員工受到的影響和產(chǎn)生的變化，以便接下來更好的調(diào)整他們的狀態(tài)，因?yàn)槿绻麄兊男臎]有回來，
企業(yè)的要求和制度帶來的也都是大家沒有能量的重復(fù)和機(jī)械的工作，最終也很難帶來好的結(jié)果。
 
以上三點(diǎn)是企業(yè)管理者需要重視的，當(dāng)然身為企業(yè)的一員無論是誰也都需要重新審視自己的狀態(tài)，因?yàn)檫@關(guān)系著企業(yè)接下來的生、死、存、亡，能量是企業(yè)持續(xù)發(fā)展的源泉，以上所有的目的都是為了聚合企業(yè)人的能量，重新點(diǎn)燃大家面對(duì)工作的激情和信心，這將是企業(yè)至勝的法定。
 
當(dāng)然這只是我們一家之言，每家企業(yè)可根據(jù)自身的情況做出相應(yīng)的調(diào)整和改變。
 
以上三點(diǎn)做為每一家企業(yè)的管理者都有必要重視起來，因?yàn)檫@關(guān)系著企業(yè)接下來的生、死、存、亡，當(dāng)然這只是我們一家之言，可根據(jù)自身的情況做出相應(yīng)的調(diào)整和改變。
 
那為什么我們會(huì)有這樣的思考，因?yàn)榘R無限是一家企業(yè)互聯(lián)網(wǎng)”云”解決方案服務(wù)平臺(tái)，企業(yè)在初創(chuàng)時(shí)經(jīng)歷了2003年的非典，后來又經(jīng)歷了2008年的經(jīng)濟(jì)危機(jī)以及2016年互聯(lián)網(wǎng)創(chuàng)業(yè)大潮，生生死死，幾經(jīng)沉浮，最終發(fā)現(xiàn)上述三點(diǎn)是生死線中最重要的，所以愿意分享給大家，期望這次疫情大家不僅

能渡過難關(guān)，更能看見大家在這個(gè)過程中強(qiáng)而有力的領(lǐng)導(dǎo)力，讓自己企業(yè)力挽狂瀾，讓自己的工作更上一層樓，讓自己的生活在2020年更精彩。
 
在這次疫情后各個(gè)企業(yè)恢復(fù)的過程中，艾銻無限還能為大家做的就是免費(fèi)為中小企業(yè)提供相應(yīng)的IT服務(wù)，以下是艾銻無限可以提供服務(wù)的內(nèi)容，如果大家有相應(yīng)的需求，可以打下面的電話與我們的企業(yè)相關(guān)人員聯(lián)系，我們一定會(huì)盡全力幫助大家渡過難關(guān)。

   

歷經(jīng)10幾年,艾銻無限服務(wù)了5000多家中小企業(yè)并保障了幾十萬臺(tái)設(shè)備的正常運(yùn)轉(zhuǎn)，積累了豐富的企業(yè)IT緊急問題和特殊故障的解決方案，我們?yōu)槟钠髽I(yè)提供的IT服務(wù)分為三大版塊:
 
第一版塊是保障性IT外包服務(wù):如電腦設(shè)備運(yùn)維，辦公設(shè)備運(yùn)維，網(wǎng)絡(luò)設(shè)備運(yùn)維，服務(wù)器運(yùn)維等綜合性企業(yè)IT設(shè)備運(yùn)維服務(wù)。
 
第二版塊是功能性互聯(lián)網(wǎng)外包服務(wù):如網(wǎng)站開發(fā)外包，小程序開發(fā)外包，APP開發(fā)外包，電商平臺(tái)開發(fā)外包，業(yè)務(wù)系統(tǒng)的開發(fā)外包和后期的運(yùn)維外包服務(wù)。
 
第三版塊是增值性云服務(wù)外包:如企業(yè)郵箱上云，企業(yè)網(wǎng)站上云，企業(yè)存儲(chǔ)上云，企業(yè)APP小程序上云，企業(yè)業(yè)務(wù)系統(tǒng)上云，阿里云產(chǎn)品等后續(xù)的云運(yùn)維外包服務(wù)。
   

更多服務(wù)也可以登錄艾銻無限的官網(wǎng): www.bjitwx.com 查看詳細(xì)說明。

每家企業(yè)都有著不同的人，每個(gè)人都有著不一樣的思考，所以企業(yè)不需要統(tǒng)一所有人的思維，企業(yè)只需要統(tǒng)一所有人的心，因?yàn)橹灰脑谝黄鹆?，能量就?huì)合一，能量合一企業(yè)將無所不能。
 
相信這次疫情帶給中國企業(yè)的不僅僅是災(zāi)難，更有可能的是歷練，這幾年經(jīng)濟(jì)發(fā)展如此快速，大部分中小企業(yè)的成長(zhǎng)都是隨著國家政策及整個(gè)社會(huì)的大勢(shì)起來的，沒有經(jīng)過太多的挑戰(zhàn)和困難，所以存活周期也會(huì)很短，從2016年大眾創(chuàng)業(yè)，萬眾創(chuàng)新倡導(dǎo)下成立了上千萬家企業(yè)，但真正存活下來的就只有幾萬家，這樣的結(jié)果即不能給國家?guī)矸€(wěn)定持續(xù)發(fā)展的動(dòng)力，也不能為社會(huì)創(chuàng)造更大的價(jià)值，反而讓更多的人投機(jī)取巧，心浮氣躁，沉不下來真正把一件事做好，做到極致。
 
所以這次疫情也會(huì)讓大部分企業(yè)重新思考，問問自己，為什么要?jiǎng)?chuàng)立這家企業(yè)，想為這個(gè)國家和社會(huì)帶來的是什么？企業(yè)真正在創(chuàng)造的是什么？如何做才能讓社會(huì)因自己的企業(yè)變得更好？.....
 
當(dāng)企業(yè)真正去思考，用心去創(chuàng)造價(jià)值的時(shí)候，也就是人們幸?？鞓返臅r(shí)候，因?yàn)樵僖膊挥脫?dān)心假貨、次貨、買到不好的產(chǎn)品，更不用擔(dān)心環(huán)境被污染，大氣被破壞，疫情即是一場(chǎng)災(zāi)難，又是重新成就中國企業(yè)的一次機(jī)會(huì)，讓全世界人覺醒，生命只有一次，我們要如何做才能不枉此生呢？
 
   

你對(duì)世界微笑，世界絕不會(huì)對(duì)你哭，希望大家都能積極樂觀起來，讓自己、自己的家人、自己的企業(yè)、還有自己的國家都快樂起來，把焦點(diǎn)、意識(shí)、能量放在我們想要什么上，而不是不要的事情上，我相信，就在不久的將來，我們一定會(huì)看到一個(gè)富強(qiáng)、文明、健康的中國以及一個(gè)和諧友愛的世界。

萬物同體，能量合一，最后無論你是中小企業(yè)，還是大型國有企業(yè)，只要你選擇艾銻無限，我們就一定全力以赴幫助大家渡過難關(guān)，服務(wù)有限，信息無限，透過全體艾銻人的努力，為您收集最有效的IT技術(shù)信息，讓您企業(yè)更快速解決遇到的IT問題：

艾銻無限干貨集：海量數(shù)據(jù)處理思路 
 
海量數(shù)據(jù)的處理問題，遇到的問題一般有文件過大無法加載到內(nèi)存，文件內(nèi)容龐雜無法很快搜素到想要的內(nèi)容，還有一個(gè)問題，如何在龐大的數(shù)據(jù)中統(tǒng)計(jì)出想要的內(nèi)容。
 
給定一個(gè)大小超過 100G 的文件, 其中存在 IP 地址, 找到其中出現(xiàn)次數(shù)最多的 IP 地址(hash文件切分) 這里給定了一個(gè)100G的文件，其中內(nèi)容很多，但是要我們找到其中存在IP，而且是出現(xiàn)次數(shù)最多的IP地址。這時(shí)候有人會(huì)說，讓電腦一點(diǎn)一點(diǎn)去找，但是這里100G要全是IP地址，那么在一般電腦上是無法加載的，就算有那這里我們要在空間上實(shí)現(xiàn)優(yōu)化。 那么沒我們就得想辦法，我們可以采用哈希切分的辦法來進(jìn)行切分?jǐn)?shù)據(jù)，把數(shù)據(jù)分成若干分，然后逐一去加載到內(nèi)存中去統(tǒng)計(jì)。 
 
何為哈希切分。哈希切分，就是利用哈希值，來進(jìn)行切分，然后把相同的值放入到一個(gè)集合中。比如我們現(xiàn)在要把100g的文件切分成100份（如果覺得100份后依然很大那么我們可以切割成1000份），那么讀取每一個(gè)文件內(nèi)容，計(jì)算它的哈希值，讓其模100，如果等于0，就放入0號(hào)集合中，如果等于1就放入1號(hào)集合中，依次循環(huán)。那么等到把所有的元素遍歷完，那么100個(gè)集合也就成功的形成（哈希算法夠復(fù)雜計(jì)算出哈希值分布?jí)蚓鶆颍Ｔ谶@集合中相同的IP一定在同一個(gè)集合中。因?yàn)橄嗤腎P所對(duì)應(yīng)的哈希值一定相同。到這時(shí)我們?cè)谧屗虞d到內(nèi)存中進(jìn)行統(tǒng)計(jì)。給定100億個(gè)整數(shù), 找到其中只出現(xiàn)一次的整數(shù)(位圖變形, 用兩位來表示次數(shù)). 這個(gè)題解題的主要思想是要進(jìn)行空間上面的優(yōu)化，查找很簡(jiǎn)單，但是要進(jìn)行大數(shù)據(jù)的查找，時(shí)間上雖說讓其久一點(diǎn)，但空間的消耗也是巨大，那么我們?nèi)绾螠p小空間上的開銷呢？ 那么我們?cè)趯W(xué)習(xí)一種數(shù)據(jù)結(jié)構(gòu)叫位圖，位圖其實(shí)就是以最小的空間來標(biāo)記是否存在要查找的元素。這里我們要得是找到出現(xiàn)一次的整數(shù)，位圖中是采用了一個(gè)比特位來表示是否存在，查找是否存在一次那么我們就可以用兩位比特位來表示，比如用00表示沒有，用01表示出現(xiàn)一次用10表示不是此數(shù)據(jù)，此數(shù)據(jù)絕對(duì)出現(xiàn)超過三次那么我們就可以繼續(xù)查找。 這樣做的好處就是大大優(yōu)化了空間上的開銷，同時(shí)對(duì)于這種思想，我們還可以進(jìn)行改進(jìn)，比如需要找出出現(xiàn)5次的數(shù)據(jù)那么我們就可以用三位比特位來表示。

有兩個(gè)文件, 分別有100億個(gè)query(查詢?cè)~, 字符串), 只有1G內(nèi)存, 找到兩個(gè)文件的交集(hash文件切分 + 布隆過濾器). 前面已經(jīng)提到對(duì)于大數(shù)據(jù)內(nèi)容進(jìn)行查找統(tǒng)計(jì)，我們用到是哈希切分，哈希切分的主要作用就是很大程度上優(yōu)化了空間上的消耗。 這里有兩個(gè)文件都是100億個(gè)query，那么我們?cè)谶M(jìn)行統(tǒng)計(jì)時(shí)候，用哈希切分來進(jìn)行切分，比如我們現(xiàn)在要把數(shù)據(jù)分成100份那么，取每個(gè)數(shù)據(jù)進(jìn)行求哈希值，然后模100，如果模值等于0，那么我們就把它歸為0號(hào)集合，再將其插入到布隆過濾器中，讓然后讓另一個(gè)文件也進(jìn)行哈希切分，并且切分成100份，模以100，等于0，就歸于0號(hào)集合，然后將這個(gè)0號(hào)集合到布隆過濾器中的0號(hào)元素進(jìn)行查找，這樣我們就可以找到0號(hào)元素中的交集，那么我們?cè)龠M(jìn)行下一個(gè)集合的查找，以此類推。。。

給上千個(gè)文件, 每個(gè)文件大小為1K - 100M, 設(shè)計(jì)算法找到某個(gè)詞存在在哪些文件中(倒排索引).這個(gè)問題就類似于一些搜索引擎，比如百度，當(dāng)輸入一個(gè)或者兩個(gè)關(guān)鍵字時(shí)，會(huì)很快返回上百個(gè)或者上千個(gè)文件鏈接。那么他們是怎么做到的呢？ 這個(gè)現(xiàn)實(shí)利用哈希表，鍵值對(duì)來進(jìn)行倒排索引，哈希表的實(shí)現(xiàn)，如果不知道哈希表的實(shí)現(xiàn)請(qǐng)戳上面鏈接。哈希表正向是一個(gè)key對(duì)用一個(gè)value那么我們用開，我們給文件進(jìn)行編號(hào)，通過編號(hào)我們就可以找到相應(yīng)的value，這是正向索引，那么現(xiàn)在我們來倒過來，文件中的關(guān)鍵字作為key，文件的編號(hào)作為value，那么我們就可以很輕松的找到文件。




關(guān)于搜索引擎的關(guān)鍵字搜索，是分為兩種服務(wù)器，一種是線上服務(wù)器，就像現(xiàn)在你打開百度搜索，一種是線下服務(wù)器，為什么還要有個(gè)線下服務(wù)器呢？這就是為了實(shí)現(xiàn)倒排索引，也是為了提高效率，就比如百度，在百度上會(huì)定期的更新數(shù)據(jù)，這樣就會(huì)把新添加的數(shù)據(jù)抓取下來，進(jìn)行關(guān)鍵字和編號(hào)的對(duì)應(yīng)，然后讓線上服務(wù)器進(jìn)行加載，就可以了。
 
哈希切分其他用處
一般大公司服務(wù)器，不可能為一臺(tái)，那么就會(huì)遇到一個(gè)問題，如果有人登陸到服務(wù)器，如何在巨大的服務(wù)器群體中快速的找到，并且登陸呢？那么在設(shè)計(jì)服務(wù)器群體時(shí)，就進(jìn)行了哈希切分，比如在你注冊(cè)的時(shí)候就把你得賬號(hào)密碼進(jìn)行哈希計(jì)算，然后通過模取到幾就會(huì)把你得賬號(hào)分到哪臺(tái)服務(wù)器上管理，這樣，就可以大大減少了挨個(gè)查找所消耗的時(shí)間。