如何使用Osquery在Linux上监控文件完整性？，


使用Osquery应用程序方面的基本概念是对操作系统的许多方面(进程和用户等)执行的“表格抽象”。数据存储在表中，可以使用SQL语法、直接通过osqueryi外壳或通过osqueryd守护程序来查询。

本教程介绍如何安装该应用程序、如何运行基本查询以及如何在Linux系统管理工作中使用FIM(文件完整性监控)。

本教程将介绍：

  • 如何安装Osquery
  • 如何列出可用表
  • 如何从osqueryi外壳执行查询
  • 如何使用osqueryd守护程序监控文件完整性

软件需求和使用的约定

  • 对SQL概念有基本知识
  • 拥有执行管理任务的root权限

软件需求和Linux命令行约定

安装

我们基本上有两种方法来安装Osquery：第一种是从官方网站下载适合我们系统的软件包;第二种(通常是优选方法)是将Osquery存储库添加到发行版软件源。下面简要介绍这两种方法。

图1

通过软件包安装

可以从Osquery官方网站(https://osquery.io/downloads/official)下载签名的deb和rpm软件包，或下载更通用的打包文件。我们先选择要安装的版本，然后下载软件包。

建议选择最新的可用版本(截至发稿时4.1.2)。下载软件包后，我们可以使用发行版软件包管理器来安装。比如想在Fedora系统上安装该软件(假设软件包在当前的工作目录中)，我们将运行：

  1. $ sudo dnf install ./osquery-4.1.2-1.linux.x86_64.rpm 

使用存储库

我们还可以将rpm或deb存储库添加到发行版中。如果我们使用基于rpm的发行版，可以运行以下命令来完成任务：

  1. $ curl -L https://pkg.osquery.io/rpm/GPG | sudo tee 
  2. /etc/pki/rpm-gpg/RPM-GPG-KEY-osquery  
  3. $ sudo yum-config-manager --add-repo https://pkg.osquery.io/rpm/osquery-s3-rpm.repo  
  4. $ sudo yum-config-manager --enable osquery-s3-rpm-repo  
  5. $ sudo yum install osquery  

借助上述Linux命令，我们可以将用来签名软件包的gpg公钥添加到系统中，然后添加存储库。最后，我们安装Osquery软件包。注意，在近期版本的Fedora和CentOS/RHEL中，yum只是dnf的符号链接，所以我们调用前者时，使用的却是后者。

如果你运行基于Debian的发行版，可以将deb存储库添加到软件源中，只要运行：

  1. $ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys  
  2. 1484120AC4E9F8A1A577AEEE97A80C63C9D8B80B  
  3. $ sudo add-apt-repository 'deb [arch=amd64] https://pkg.osquery.io/deb deb main'  
  4. $ sudo apt-get update  
  5. $ sudo apt-get install osquery  

一旦软件包安装完毕，我们可以看一下软件的基本用法。

基本用法

Osquery让我们可以监控采用“表格抽象”的操作系统的不同方面，使用类似sqlite数据库上所用语法的SQL语法。针对表执行查询，表对操作系统的不同方面(比如进程和服务)进行抽象处理。

我们可以直接使用osqueryi交互式外壳来运行查询，也可以通过osqueryd守护程序来安排查询。下面这个例子显示了列出所有可用表的查询(还可以在此处https://osquery.io/schema/4.1.2#processes看到附有表描述的完整列表)：

  1. $ osqueryi  
  2. osquery> .tables  
  3. => acpi_tables  
  4. => apt_sources  
  5. => arp_cache 
  6. => atom_packages  
  7. => augeas  
  8. => authorized_keys  
  9. => block_devices  
  10. => carbon_black_info  
  11. => carves  
  12. => chrome_extensions  
  13. => cpu_time  
  14. => cpuid  
  15. => crontab  
  16. => curl  
  17. => curl_certificate  
  18. => deb_packages  
  19. => device_file  
  20. => device_hash  
  21. => device_partitions  
  22. => disk_encryption  
  23. => dns_resolvers  
  24. => docker_container_labels  
  25. => docker_container_mounts  
  26. => docker_container_networks  
  27. => docker_container_ports  
  28. => docker_container_processes  
  29. => docker_container_stats  
  30. => docker_containers  
  31. => docker_image_labels  
  32. => docker_images  
  33. => docker_info  
  34. => docker_network_labels  
  35. => docker_networks  
  36. => docker_version  
  37. => docker_volume_labels  
  38. => docker_volumes  
  39. => ec2_instance_metadata  
  40. => ec2_instance_tags  
  41. => elf_dynamic  
  42. => elf_info  
  43. => elf_sections  
  44. => elf_segments  
  45. => elf_symbols  
  46. => etc_hosts  
  47. => etc_protocols  
  48. => etc_services  
  49. => file  
  50. => file_events  
  51. => firefox_addons  
  52. => groups  
  53. => hardware_events  
  54. => hash  
  55. => intel_me_info  
  56. => interface_addresses  
  57. => interface_details  
  58. => interface_ipv6  
  59. => iptables  
  60. => kernel_info  
  61. => kernel_integrity  
  62. => kernel_modules  
  63. => known_hosts  
  64. => last  
  65. => listening_ports  
  66. => lldp_neighbors  
  67. => load_average  
  68. => logged_in_users  
  69. => magic  
  70. => md_devices  
  71. => md_drives  
  72. => md_personalities 
  73. => memory_array_mapped_addresses  
  74. => memory_arrays  
  75. => memory_device_mapped_addresses  
  76. => memory_devices  
  77. => memory_error_info  
  78. => memory_info  
  79. => memory_map  
  80. => mounts  
  81. => msr  
  82. => npm_packages  
  83. => oem_strings  
  84. => opera_extensions  
  85. => os_version  
  86. => osquery_events  
  87. => osquery_extensions  
  88. => osquery_flags  
  89. => osquery_info  
  90. => osquery_packs  
  91. => osquery_registry  
  92. => osquery_schedule  
  93. => pci_devices  
  94. => platform_info  
  95. => portage_keywords  
  96. => portage_packages  
  97. => portage_use  
  98. => process_envs  
  99. => process_events  
  100. => process_file_events  
  101. => process_memory_map  
  102. => process_namespaces  
  103. => process_open_files  
  104. => process_open_sockets  
  105. => processes  
  106. => prometheus_metrics  
  107. => python_packages  
  108. => routes  
  109. => rpm_package_files  
  110. => rpm_packages  
  111. => selinux_events  
  112. => shadow  
  113. => shared_memory  
  114. => shell_history  
  115. => smart_drive_info  
  116. => smbios_tables  
  117. => socket_events  
  118. => ssh_configs  
  119. => sudoers  
  120. => suid_bin  
  121. => syslog_events  
  122. => system_controls  
  123. => system_info  
  124. => time  
  125. => ulimit_info  
  126. => uptime  
  127. => usb_devices  
  128. => user_events  
  129. => user_groups  
  130. => user_ssh_keys  
  131. => users  
  132. => yara  
  133. => yara_events  
  134. => yum_sources  

运行osqueryi命令，我们进入交互式外壳;我们可以从该外壳执行查询或指令。这是查询的另一个例子，这回列出所有运行中进程的pid和name。对process表执行查询(为便于阅读，查询的输出已截短)：

  1. osquery> SELECT pid, name FROM processes;  
  2. +-------+------------------------------------+  
  3. | pid | name |  
  4. +-------+------------------------------------+  
  5. | 1 | systemd |  
  6. | 10 | rcu_sched |  
  7. | 10333 | kworker/u16:5-events_unbound |  
  8. | 10336 | kworker/2:0-events |  
  9. | 11 | migration/0 |  
  10. | 11002 | kworker/u16:1-kcryptd/253:0 |  
  11. | 11165 | kworker/1:1-events |  
  12. | 11200 | kworker/1:3-events |  
  13. | 11227 | bash |  
  14. | 11368 | osqueryi |  
  15. | 11381 | kworker/0:0-events |  
  16. | 11395 | Web Content |  
  17. | 11437 | kworker/0:2-events |  
  18. | 11461 | kworker/3:2-events_power_efficient |  
  19. | 11508 | kworker/2:2 |  
  20. | 11509 | kworker/0:1-events |  
  21. | 11510 | kworker/u16:2-kcryptd/253:0 |  
  22. | 11530 | bash |  
  23. [...] |  
  24. +-------+------------------------------------+  

甚至可以使用JOIN语句对连接表执行查询，就像我们在关系数据库中操作那样。在下面例子中，我们对processes表执行查询，通过uid列与users表进行连接：

  1. osquery> SELECT processes.pid, processes.name, users.username FROM processes JOIN 
  2. users ON processes.uid = users.uid;  
  3. +-------+-------------------------------+------------------+  
  4. | pid | name | username |  
  5. +-------+-------------------------------+------------------+  
  6. | 1 | systemd | root |  
  7. | 10 | rcu_sched | root |  
  8. | 11 | migration/0 | root |  
  9. | 11227 | bash | egdoc |  
  10. | 11368 | osqueryi | egdoc |  
  11. | 13 | cpuhp/0 | root |  
  12. | 14 | cpuhp/1 | root |  
  13. | 143 | kintegrityd | root |  
  14. | 144 | kblockd | root |  
  15. | 145 | blkcg_punt_bio | root |  
  16. | 146 | tpm_dev_wq | root |  
  17. | 147 | ata_sff | root |  
  18. [...]  
  19. | 9130 | Web Content | egdoc |  
  20. | 9298 | Web Content | egdoc |  
  21. | 9463 | gvfsd-metadata | egdoc |  
  22. | 9497 | gvfsd-network | egdoc |  
  23. | 9518 | gvfsd-dnssd | egdoc |  
  24. +-------+-------------------------------+------------------+  

文件完整性监控(FIM)

前面我们使用交互式外壳osqueryi来使用Osquery。想使用FIM(文件完整性监控)，我们改用osqueryd守护程序。通过配置文件，我们列出了想要监控的文件。file_events 表中记录了涉及指定文件和目录的事件，比如属性变化。守护程序在指定的时间间隔后对该表运行查询，并在日志中通知何时发现新记录。不妨看看配置示例。

配置结构

Osquery的主配置文件是/etc/osquery/osquery.conf。该文件默认情况下不存在，于是我们要创建它。配置以JSON格式来提供。假设我们想要监控/etc下的所有文件和目录;下面显示了我们如何配置该应用程序：

  1. {  
  2. "options": {  
  3. "disable_events": "false"  
  4. },  
  5. "schedule": {  
  6. "file_events": {  
  7. "query": "SELECT * FROM file_events;",  
  8. "interval": 300  
  9. }  
  10. },  
  11. "file_paths": {  
  12. "etc": [  
  13. "/etc/%%"  
  14. ],  
  15. },  
  16. }  

不妨分析上述配置。首先在options部分，我们将disable_events设为“false”，以便启用文件事件。

之后我们创建schedule部分：在该部分，我们可以描述和创建各种命名的调度查询。我们在本文中创建了一个查询，以便从file_events表选择所有列，这意味着每300秒(5分钟)执行一次。

安排查询后，我们创建了file_paths部分，在该部分指定要监控的文件。在该部分，每个键代表要监控一组文件的名称(Osquery术语中的类别)。这里“etc”键引用仅含有一个条目/etc/%%的列表。

%符号代表什么?指定文件路径时，我们可以使用标准通配符(*)或SQL通配符(%)。如果提供单通配符，它​将选择位于指定级别的所有文件和目录。如果提供双通配符，它​​将递归选择所有文件和文件夹。比如说，/etc/%表达式匹配/etc下面一级的所有文件和文件夹，而/etc/%%递归匹配/etc下的所有文件和文件夹。

如果需要，我们还可以使用配置文件中的exclude_paths部分，从提供的路径中排除特定文件。在该部分，我们只能引用file_paths部分中定义的类别(本例中是“etc”)。我们提供了要排除的文件列表：

  1. "exclude_paths": {  
  2. "etc": [  
  3. "/etc/aliases"  
  4. ]  
  5. }  

仅作为例子，我们从列表中排除了/etc/aliases文件。下面是最终配置的样子：

  1. {  
  2. "options": {  
  3. "disable_events": "false"  
  4. },  
  5. "schedule": {  
  6. "file_events": {  
  7. "query": "SELECT * FROM file_events;",  
  8. "interval": 20  
  9. }  
  10. },  
  11. "file_paths": {  
  12. "etc": [  
  13. "/etc/%%"  
  14. ]  
  15. },  
  16. "exclude_paths": {  
  17. "etc": [  
  18. "/etc/aliases"  
  19. ]  
  20. }  
  21. }  

开启守护程序

配置已到位，我们可以开启osqueryd守护程序：

  1. $ sudo systemctl start osqueryd 

为了使守护程序在系统启动时自动开启，我们要运行：

  1. $ sudo systemctl enable osqueyd 

一旦守护程序运行，我们可以核实配置有效。仅举个例子，我们将修改/etc/fstab文件的许可权，将它们从644改为600：

  1. $ sudo chmod 600 /etc/fstab 

现在我们可以核实文件更改以记录下来，只需阅读/var/log/osquery/osqueryd.results.log文件。下面是该文件的最后一行：

  1. {  
  2. "name":"file_events",  
  3. "hostIdentifier":"fingolfin",  
  4. "calendarTime":"Mon Dec 30 19:57:31 2019 UTC",  
  5. "unixTime":1577735851,  
  6. "epoch":0,  
  7. "counter":0,  
  8. "logNumericsAsNumbers":false,  
  9. "columns": {  
  10. "action":"ATTRIBUTES_MODIFIED",  
  11. "atime":"1577735683",  
  12. "category":"etc",  
  13. "ctime":"1577735841",  
  14. "gid":"0",  
  15. "hashed":"0",  
  16. "inode":"262147",  
  17. "md5":"",  
  18. "mode":"0600",  
  19. "mtime":"1577371335",  
  20. "sha1":"",  
  21. "sha256":"",  
  22. "size":"742",  
  23. "target_path":"/etc/fstab",  
  24. "time":"1577735841",  
  25. "transaction_id":"0",  
  26. "uid":"0"  
  27. },  
  28. "action":"added"  
  29. }  

在上述日志中，我们可以清楚地看到在target_path "/etc/fstab"(第23行)上进行了ATTRIBUTES_MODIFIED操作(第10行)，/etc/fstab是“etc”类别(第12行)的一部分。有必要注意这点：如果我们从osqueryi外壳查询file_events表，由于osqueryd守护程序和osqueryi无法联系，因此看不到任何行。

结论

本教程介绍了使用Osquery应用程序方面的基本概念，该应用程序使用我们可以使用SQL语法查询的表格数据对操作系统的各个概念进行抽象。我们看到如何安装该应用程序、如何使用osqueryi外壳执行基本查询以及最后如何使用osqueryd守护程序设置文件监控。与往常一样，想更深入地了解该应用程序，建议查看项目文档：https://osquery.readthedocs.io/en/stable/。

原文标题：How to monitor file integrity on Linux using Osquery，作者：Egidio Docile

相关内容