splunk

Splunk 實(shí)時(shí)收集并索引所有機(jī)器數(shù)據(jù)（物理、虛擬和云中）。它允許您訪問、使用數(shù)據(jù)，并發(fā)掘數(shù)據(jù)價(jià)值。它能夠?qū)Ω黜?xiàng)事宜進(jìn)行索引，以便深入了解、商討和解決問題。它可以在您與您的小組共享有用的搜索時(shí)，進(jìn)行智能輔助，并添加您的 IT 環(huán)境所特有的知識。它能創(chuàng)建臨時(shí)報(bào)告，以確認(rèn)趨勢或證明合規(guī)控制；構(gòu)建實(shí)時(shí)儀表板，以便監(jiān)視安全事件和攻擊、應(yīng)用程序 SLA 和其他關(guān)鍵性能指標(biāo)；實(shí)時(shí)分析用戶交易、客戶行為、機(jī)器行為、安全威脅、欺詐活動(dòng)等。

1、索引任何數(shù)據(jù)

2、搜索和調(diào)查

3、與搜索結(jié)果互動(dòng)

4、新增知識

5、關(guān)聯(lián)復(fù)雜事件

6、監(jiān)視和警報(bào)

7、報(bào)告和分析

8、自定義儀表板和視圖

9、構(gòu)建和部署 Splunk 應(yīng)用程序

功能比較表

Splunk Free 專供個(gè)人使用。Splunk Enterprise 添加了支持多用戶和分布式部署的功能，并包括警報(bào)、基于角色的安全、單一登錄、預(yù)設(shè)的 PDF 交付以及對無限數(shù)據(jù)量的支持。

Splunk是一個(gè)托管的日志文件管理工具，它的主要功能包括：

· 日志聚合功能

· 搜索功能

· 提取意義

· 對結(jié)果進(jìn)行分組，聯(lián)合，拆分和格式化

· 可視化功能

· 電子郵件提醒功能

splunk主機(jī)與源

首先注意的是，日志文件分散在在主機(jī)和隨機(jī)的源中。這表示你可以從一臺(tái)機(jī)器或一組機(jī)器中快速搜索出所有的日志。

splunk搜索

搜索功能設(shè)定的非常簡單，只需輸入你想要搜索的字符串，或者可以使用以下語句來進(jìn)行高級搜索：

· sourcetype="hsl-prod-fe" "Chase Seibert"

· sourcetype="hsl-prod-fe" e186f85c914261eec9e54d3767fdd3cc BEGIN

· sourcetype="hsl-prod-crawl" |regex _raw="fanmgmt\.(analytics|metrics)"

· sourcetype="hsl-prod-crawl" facebook OR twitter NOT linkedin

· sourcetype="hsl-prod-crawl" facebook OR linkedin OR twitter earliest=-24h

splunk抽取

你可以使用內(nèi)置的GUI來定義一個(gè)正則表達(dá)式，從每一行中抽取變量，可以對其進(jìn)行過濾，分組和聚合操作。

如果變更日志格式，你可以通過將鍵值對變成key=value格式，不用定義正則表達(dá)式。以下為示例：

def key_value(prefix, log_level='info', **kwargs):

log_message = '%s: %s' % (

prefix, ' '.join(['%s="%s"' % (k, v) for k, v in kwargs.items()]))

getattr(logging, log_level)(log_message.strip())

splunkPiping

同Unix類似，你可以將多個(gè)命令組合起來生成更復(fù)雜的查詢。比如sourcetype="hsl-prod-crawl" succeeded |stats count perc95(task_seconds) by python_module |sort count desc |head 10.

其他命令包括：

· | uniq

· | script python myscript myarg1 myarg2

· | bucket _time span=5m

· | eval name=coalesce(firstName, lastName)

· | rare, | anomalous

· | spath output=commit_author path=commits.author.name # extract xml/json values

其他可以調(diào)用的函數(shù)包括：

· avg()

· | eval description=case(error == 404, "Not found", error == 200, "OK")

· floor(), ceiling()

· len()

· isbool(), isint(), etc

· upper(), lower()

· trim(), ltrim(), rtrim()

· md5()

· now()

· random()

· replace()

· split()

· substr()

splunk可視化功能

通過GUI builder點(diǎn)擊就可以創(chuàng)建可視化圖表，還可以通過命令行和函數(shù)來創(chuàng)建。包括餅圖，柱狀圖，行列圖以及計(jì)量圖等其他復(fù)雜的圖表。

splunk郵件提醒

可以對Splunk進(jìn)行設(shè)定，根據(jù)不同的事件來觸發(fā)郵件提醒。更多關(guān)于Splunk的使用方法，可以參考官方文檔以及論壇。

1、多平臺(tái)支持

Splunk是一個(gè)可以在所有主流操作系統(tǒng)上運(yùn)行的獨(dú)立軟件包 - 只需選擇您的平臺(tái)，然后下載并安裝即可。您需要處理和運(yùn)行的是用戶使用的 Web 界面，以及用于索引計(jì)算機(jī)數(shù)據(jù)的引擎。

Splunk支持的平臺(tái)有Windows XP, Vista, 7, and 8 (32-bit/64-bit)/Windows Server 2003, 2003 R2, 2008, and 2008 R2 (32-bit/64-bit)、2.6 kernel Linux distributions(32-bit/64-bit)、Solaris（8,9,10,11）、OSX（10.5，10.6，10.7）、FreeBSD 7,8（32-bit/64-bit）、AIX （5.3，6.1，7.1） 、HP-UX（11i v2，11i v3）.

2、從任意源索引任意數(shù)據(jù)

Splunk 可以從任何源實(shí)時(shí)索引任何類型的計(jì)算機(jī)數(shù)據(jù)?？梢栽?Splunk 中指向您的服務(wù)器或網(wǎng)絡(luò)設(shè)備的系統(tǒng)日志、設(shè)置 WMI 輪詢、監(jiān)視實(shí)時(shí)日志文件，并能夠監(jiān)視您的文件系統(tǒng)或 Windows 注冊表中的更改，或安排腳本獲取系統(tǒng)指標(biāo)。Splunk 可以索引您的所有機(jī)器數(shù)據(jù)，而無需購買、編寫或維護(hù)任何特定的分析器或適配器。原始數(shù)據(jù)和豐富索引均存儲(chǔ)在高效、已壓縮的、基于文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)中，并提供可選數(shù)據(jù)簽名和數(shù)據(jù)的完整性審核。

3、從遠(yuǎn)程系統(tǒng)轉(zhuǎn)發(fā)數(shù)據(jù)

在無法通過網(wǎng)絡(luò)提供所需數(shù)據(jù)，或安裝了 Splunk 的服務(wù)器上看不見所需數(shù)據(jù)的情況下，可以部署 Splunk Forwarder。Splunk forwarder 為成千上萬的端點(diǎn)提供安全、分布式實(shí)時(shí)全局?jǐn)?shù)據(jù)收集。它們可以監(jiān)視本地應(yīng)用程序日志文件、捕獲有關(guān)時(shí)間表的狀態(tài)命令輸出、獲取來自虛擬或非虛擬來源的性能指標(biāo)，或監(jiān)控配置、權(quán)限和屬性變化的文件系統(tǒng)。它們都是屬于可以快速部署的輕量級服務(wù)器，而且不會(huì)產(chǎn)生任何額外費(fèi)用。

4、關(guān)聯(lián)復(fù)雜事件

借助 Splunk，您可以跨許多數(shù)據(jù)來源關(guān)聯(lián)整個(gè)工作環(huán)境中的復(fù)雜事件。Splunk 支持五種關(guān)聯(lián)類型。基于時(shí)間的關(guān)聯(lián)，用于根據(jù)時(shí)間、接近性或距離來確定關(guān)系?；诮灰椎年P(guān)聯(lián)，用于跟蹤構(gòu)成單次交易的一系列相關(guān)事件，進(jìn)而評估時(shí)間長度、狀態(tài)或進(jìn)行其它分析。子搜索，用于獲取其中一個(gè)搜索的結(jié)果并在其它搜索中使用這些結(jié)果。查找，用于關(guān)聯(lián) Splunk 以外的外部數(shù)據(jù)來源。連接，用于支持類似 SQL 的內(nèi)部和外部連接。關(guān)聯(lián) Splunk 中的事件有助于從機(jī)器數(shù)據(jù)中獲得更豐富的分析和洞察力，為 IT 和業(yè)務(wù)提供更好的可見性和智能。

5、專為大型數(shù)據(jù)構(gòu)建

使用 Splunk ，每天可收集和索引成千上萬太字節(jié)的數(shù)據(jù)。其可擴(kuò)展性體系結(jié)構(gòu)基于 MapReduce，因此，隨著日常數(shù)據(jù)量和數(shù)據(jù)來源不斷增長，您只需添加更多商品服務(wù)器即可擴(kuò)展效能。自動(dòng)負(fù)載平衡可以優(yōu)化工作負(fù)載和響應(yīng)時(shí)間，并提供內(nèi)置故障轉(zhuǎn)移機(jī)制。開箱即用的報(bào)告和分析功能可避免部署第三方報(bào)告工具的需要。還可以配置 Splunk 使用 SAN 或其它存儲(chǔ)設(shè)備，以滿足長期存儲(chǔ)需求。

6、在整個(gè)數(shù)據(jù)中心擴(kuò)展

Splunk 分布式體系結(jié)構(gòu)可讓您在一個(gè)數(shù)據(jù)中心跨多個(gè)部署進(jìn)行搜索，或在您的所有數(shù)據(jù)中心進(jìn)行全局搜索。借助基于角色的訪問，您可以控制指定用戶的搜索將要跨越的范圍。區(qū)域用戶可以查看區(qū)域系統(tǒng)的數(shù)據(jù)，而企業(yè)范圍內(nèi)用戶則可以查看所有數(shù)據(jù)中心的數(shù)據(jù)。Splunk 愿景是讓每一位已授權(quán)員工都能夠看到他們需要的計(jì)算機(jī)數(shù)據(jù)；并將數(shù)據(jù)用于調(diào)查、報(bào)告和儀表板或分析，以便不斷提高 IT 運(yùn)營并獲得有價(jià)值的業(yè)務(wù)洞察力。花幾分鐘時(shí)間安全連接您的 Splunk 安裝，能讓您設(shè)計(jì)一個(gè)可管理的企業(yè)數(shù)據(jù)結(jié)構(gòu)。

7、提供角色型的安全性

從各個(gè)方面來說，Splunk 均可謂是一種強(qiáng)大的安全模型。各項(xiàng) Splunk 交易均會(huì)得到驗(yàn)證，其中包括通過 Web 用戶界面和命令行接口執(zhí)行的用戶活動(dòng)，以及通過 Splunk API 執(zhí)行的系統(tǒng)活動(dòng)。使用一整套按用戶類型來限制功能的記錄控制點(diǎn)，您可以自己為 Splunk 用戶定義角色。這些精細(xì)的訪問控制可以限制搜索、警報(bào)、報(bào)告、儀表板以及不同 Splunk 角色可以查看的視圖。Splunk 還可以集成兼容 LDAP 的外部目錄服務(wù)器和 Active Directory 服務(wù)器，以執(zhí)行企業(yè)范圍內(nèi)的安全策略。此外，還提供單一登錄集成，以啟動(dòng)對用戶憑據(jù)的傳遞身份驗(yàn)證。由于進(jìn)行故障排除、調(diào)查安全事件和證明合規(guī)所需的全部數(shù)據(jù)都保存在 Splunk 中，您可以嚴(yán)格限制訪問生產(chǎn)服務(wù)器。

2019年8月，Splunk（SPLK.US）：叫板IBM（IBM.US）的大數(shù)據(jù)后起之秀

1、無風(fēng)險(xiǎn)快速回報(bào)

作為一種免費(fèi)下載或低成本的企業(yè)許可證，Splunk 部署簡單并可以從單一服務(wù)器部署擴(kuò)展至全局大規(guī)模運(yùn)營，以及提供快速的投資回報(bào)。在您的筆記本電腦或任何商品服務(wù)器上免費(fèi)下載和安裝 Splunk 只需五分鐘，然后可以輸入任何機(jī)器數(shù)據(jù)并啟動(dòng) Splunking。Splunk 通常在緊急時(shí)刻首次部署。正在發(fā)生的重大服務(wù)中斷或安全事件會(huì)使人傷透腦筋，但您可以使用 Splunk 便能在幾分鐘內(nèi)完成調(diào)查，而不是幾個(gè)小時(shí)或幾天。

2、受到用戶喜愛

大多數(shù)用戶很快就會(huì)成為 Splunk 的忠實(shí)用戶，因?yàn)槲覀兊拈_發(fā)人員專注于開發(fā)他們自己想要使用的軟件。所有相關(guān)人員 - 系統(tǒng)管理員、安全分析師、網(wǎng)絡(luò)工程師、開發(fā)人員、服務(wù)臺(tái)和支持人員 - 均可以即刻部署 Splunk 并能夠更好、更快和更輕松地完成他們很難完成的部分工作。Splunk Web 界面非常直觀且快速，并支持快速、臨時(shí)深入分析搜索結(jié)果。

3、處理您所有的機(jī)器數(shù)據(jù)

與其它需要您花費(fèi)幾天或幾周時(shí)間來開發(fā)或配置特定分析器和自定義連接器的系統(tǒng)管理、SIEM 和日志管理產(chǎn)品不同，Splunk 可以連接至任何數(shù)據(jù)來源。即時(shí)未提供連接器，您也無需依賴某個(gè)廠商來生產(chǎn)特定連接器。Splunk 能夠?qū)崟r(shí)持續(xù)索引您的所有機(jī)器數(shù)據(jù) - 日志、配置數(shù)據(jù)、變化事件、診斷命令輸出、API 和消息隊(duì)列中的數(shù)據(jù)，甚至自定義應(yīng)用程序中的日志。您可以輕松處理對解決問題、調(diào)查安全事件、報(bào)告合法性和其它有價(jià)值的任務(wù)至關(guān)重要的企業(yè)數(shù)據(jù)。如果機(jī)器可以生成數(shù)據(jù)，則 Splunk 就可以對其進(jìn)行索引、搜索，并用其生成警報(bào)和報(bào)告。

4、適應(yīng)動(dòng)態(tài)環(huán)境

在當(dāng)今動(dòng)態(tài)和可視化的數(shù)據(jù)中心，唯一不變的常量就是變化。傳統(tǒng)的 IT 管理和安全技術(shù)假設(shè)您知道前方的所有可能失敗和風(fēng)險(xiǎn)，且您的數(shù)據(jù)格式將不會(huì)發(fā)生變化，但這種做法已經(jīng)不再有效。Splunk 能夠?qū)崟r(shí)持續(xù)索引您的所有計(jì)算機(jī)數(shù)據(jù)，不會(huì)依賴脆性架構(gòu)來限制靈活性，當(dāng)數(shù)據(jù)格式發(fā)生變化時(shí)也不會(huì)中斷。您需要對數(shù)據(jù)進(jìn)行的任何解釋，例如提取共同的字段或標(biāo)記主機(jī)的子集，都可以在搜索時(shí)輕松完成，無需格式轉(zhuǎn)換。這就是您從全球 Splunk 用戶了解到的重要事情之一，即 Splunk 擁有卓越的靈活性的原因。

5、適用于所有類型的用戶

Splunk 可以輕松創(chuàng)建自定義儀表板和報(bào)告，使您能夠清楚地處理大量數(shù)據(jù)。將預(yù)定義的搜索、圖表和報(bào)告合并成一個(gè)強(qiáng)大的儀表板，或使用其它基于網(wǎng)絡(luò)的應(yīng)用程序創(chuàng)建聚合應(yīng)用程序，例如 Tivoli、SAP、Oracle 和安全控制臺(tái)等。Splunk 有助于網(wǎng)絡(luò)工程師、系統(tǒng)管理員、安全和合法性分析師、開發(fā)人員、支持人員、服務(wù)臺(tái)工作人員，甚至業(yè)務(wù)用戶及時(shí)了解在 IT 基礎(chǔ)結(jié)構(gòu)中發(fā)生的任何事件。

6、滿足整個(gè) IT 行業(yè)的策略需求

Splunk 發(fā)明了一種用來管理機(jī)器數(shù)據(jù)和釋放其巨大價(jià)值的新方法。將 Splunk 用作引擎來搜索和分析計(jì)算機(jī)數(shù)據(jù)，不但能改變用戶完成其工作的方式，而且還能提升 IT 在組織中的作用。這樣能使用戶大大提高生產(chǎn)率，使企業(yè)增加更多正常運(yùn)行時(shí)間并減少收入中斷，從而使客戶更加滿意。許多客戶開始使用 Splunk 來解決具體問題領(lǐng)域，使他們的初始使用案例快速成為內(nèi)部成功案例，然后將 Splunk 部署到其它 IT 關(guān)鍵領(lǐng)域（如應(yīng)用程序管理、安全與合規(guī)性、基礎(chǔ)結(jié)構(gòu)與運(yùn)營管理），并獲取新的商業(yè)智能。

7、從筆記本電腦擴(kuò)展至數(shù)據(jù)中心

您必須以更低的成本、更快的速度，完成更多工作。Splunk 能讓您在一臺(tái)商業(yè)服務(wù)器上，在幾秒內(nèi)便可搜索數(shù)十億個(gè)事件。它的并行架構(gòu)意味著，其搜索和索引效能將跨整個(gè) CPU 核心和商品服務(wù)器線性攀升。Splunk 使用它自己的高效數(shù)據(jù)存儲(chǔ)，這樣不會(huì)受到傳統(tǒng)數(shù)據(jù)庫的吞吐量限制或僵化架構(gòu)的限制，從而使它成為搜索企業(yè)數(shù)據(jù)，進(jìn)行警報(bào)和報(bào)告的最快和最靈活的方法。