基于数据库技术的文件系统XDBFS的设计与实现

这是一篇关于文件系统,数据库技术,核心态设计模式,用户态设计模式,Database-based实现策略,Database-centric实现策略,XDBFS的论文, 主要内容为文件系统是现代操作系统的重要组成部分。对于一个文件系统来说,最为关键的是它的可靠性和高效性。传统文件系统正面临着如何提高异常恢复速度和桌面搜索效率,元数据信息匮乏且不易扩充而难以支持愈加丰富的新应用等难题。另一方面,数据库系统与文件系统有类似的任务,但是却拥有更好的数据管理特性,如高效的数据查询故障修复,丰富且易于扩充的元数据信息等。基于数据库技术的文件系统正是试图将数据库技术引入文件系统,来解决传统文件系统的相关问题,并成为当前的一个研究热点。 本文对基于数据库技术的文件系统设计框架进行了初步探索。目前,基于数据库技术的文件系统并没有一个系统的设计框架,其具体的实现开发往往局限于专门的应用领域。本文在分析传统文件系统设计理论的基础上,提出了基于数据库技术文件系统的通用设计模式与实现策略:核心态设计模式与用户态设计模式;Database-based与Database-centric实现策略。基于宏内核与微内核不同设计思想,核心态模式的文件系统实现在内核,而用户态模式则在内核之外加以实现;按照数据库技术的引入策略,Database-based实现策略将文件系统实现在已有的数据库之上,Database-centric文件系统则实现了文件系统与数据库的深度融合。通过上述设计模式与实现策略的有机组合,并结合数据库相关技术(裁减技术)的应用,建立了基于数据库技术的文件系统的设计框架。 设计实现了Linux环境下基于数据库技术的原型文件系统XDBFS(X DataBase File System)。应用数据库裁减技术,XDBFS实现了嵌入式数据库Berkeley DB到Linux内核的移植,以此作为底层数据存储的基础;XDBFS构建了查找数据库、元数据数据库、块数据库、链接数据库、符号链接数据库以及扩充属性数据库来描述文件系统的各项要素,实现了元数据信息的数据库存储和扩充;XDBFS通过XDBFS设计并实现了支持Linux虚拟文件系统VFS的各项操作,并借助底层数据库的事务机制,扩展了这些文件操作的ACID特性。XDBFS的数据库特性,为解决传统文件系统的各项难题提供了可能。XDBFS充分体现了数据库技术与文件系统的有机融合,是基于数据库技术的文件系统的有效探索,其实现证明了本文基于数据库技术文件系统设计框架的可行性,并且它也是从传统文件系统向基于数据库技术的新型文件系统的一个良好过渡。

嵌入式Linux的驱动程序设计与GUI界面开发

这是一篇关于交叉编译,驱动设计,内核移植,文件系统的论文, 主要内容为随着社会信息化,智能化,网络化的发展,嵌入式系统已经在工业控制,个人数码消费品,医疗器械,汽车控制,航空航天中有大量的应用。ARM结构的嵌入式系统以其通用性强,功能强大,外围设备可裁剪等优势,在嵌入式领域中有了广泛的应用。在嵌入式操作系统中,Linux操作系统由于其开发的成本低,可裁剪,占用资源少,开放性源码资源丰富,移植性强等特点,在嵌入式开发领域得到越来越多的发展和应用。 本文基于以上嵌入式发展的背景论述了嵌入式Linux驱动程序的设计和GUI界面的开发。本次设计的系统是能够支持网络通信,能够对SPI,I2C总线上的设备进行管理和控制,并具有人机交互功能的嵌入式平台。本次的设计能够用于工业控制与设备故障的诊断。 文中介绍了嵌入式Linux系统开发的硬件和软件开发环境,对ARM嵌入式系统中系统引导程序U-boot和Linux系统内核的移植过程进行了详细的介绍。重点阐述了Linux系统驱动程序的开发流程,对Linux字符型驱动架构进行了介绍。介绍了DM9000网卡、触摸屏、键盘、感光芯片等外围器件的工作原理和设计流程,对DM9000、I2C键盘、LCD帧缓存的驱动设计流程进行了重点的阐述。介绍了嵌入式GUI的开发工具,详细说明了Microwindows和FLTK开发工具的交叉编译过程,对FLTK界面设计的开发流程进行了详细叙述。 文章最后是对以上设计程序的测试,通过编写应用测试程序调用底层驱动来验证设计的功能。通过测试的结果总结本次设计的成果,并对设计中出现的问题提出解决和改进的方法。

高能效无线数据采集系统的设计与实现

这是一篇关于高能效,无线数据采集系统,FPGA,文件系统的论文, 主要内容为数据采集系统广泛应用于科学研究和工业生产中,在提高人们工作效率和工厂生产效率上扮演着重要的角色。以往的数据采集系统的设计往往追求系统的采样速度和采样精度,但随着时代的发展和社会的进步,人们开始关注数据采集系统的功耗,通信方式以及存储容量等问题。基于这样的背景,本文设计和实现了高能效无线数据采集系统。该系统优化了系统的功耗设计,扩大了系统的数据存储容量并采用无线通信技术进行数据传输。 本文详细讲述了高能效无线数据采集系统的软硬件设计和系统低功耗设计。本文根据系统设计的技术指标,设计了系统的总体方案和系统的数据通路,从理论上分析其可行性。其次本文设计了系统采用的FPGA+MCU双处理器的硬件平台。在系统的软件设计上,在MCU部分,本文重点分析了系统人机交互的软件设计,数据存储的文件系统的设计和FPGA和MCU处理器之间的通信协议的设计;在FPGA部分,本文详细地介绍了FPGA内部各个模块的功能设计及逻辑设计。在系统低功耗设计上,本文首先对系统的功耗进行了详细分析,然后结合当前流行低功耗设计技术和系统的特点设计系统高能效运行的方案并进行功耗测试。 本文的最后分析了系统的功能测试结果,并对本文设计的系统提出了改进的意见。测试结果表明,系统硬件平台设计合理,软件设计方案稳定可行,系统功能实现良好,为本系统的后续开发提供了良好基础。

基于Windows平台的计算机涉密检查系统的设计与实现

这是一篇关于涉密检查,文件系统,USN日志,卡方校验的论文, 主要内容为高度的信息化建设使得各机关、单位的管理和服务能力有了很大的提高,但是网络引发的信息安全问题也愈加严重。近年来频繁发生的各种窃密泄密事件,绝大多数来源于计算机保密违法案件。面对当前这种严峻的挑战,各机关、单位要将涉密检查工作作为日常工作的重要部分,不仅要加强对保密管理的检查,还要采用一定的技术手段对单位内部的计算机进行检查。因此,开发一款涉密检查工具对于保密单位开展快速全面的计算机安全检查工作具有重大现实意义。本文首先阐述了项目的研究背景和意义,介绍了国内外研究现状。其次介绍了与系统实现相关的基本知识,然后通过对系统的需求分析,提出了系统的总体目标,设计了系统的整体架构,并对系统的主要功能模块进行了划分。系统主要可分为基本信息检查、操作痕迹检查、文件检查和数据恢复检查四大模块。本文的主要工作如下:第一,通过对文件系统的解析,介绍了基于文件目录的数据恢复方法;第二,在解析的基础上,结合文件签名技术设计了数据深度恢复引擎,结合NTFS文件系统的USN日志新特性设计了文件快速搜索引擎和数据快速恢复引擎;第三,通过对Windows注册表以及包括sqlite文件、xml文件、index二进制文件等在内的多种数据文件的研究,深度挖掘用户的行为痕迹,实现了计算机的基本信息检查和操作痕迹检查;第四,基于文件签名和卡方校验实现了可疑文件类型的识别;第五,基于AC自动机算法以及敏感词变体的研究并结合文件快速搜索引擎,实现了文件内容的关键字快速查找。本文设计的计算机涉密检查系统是一款功能全面、性能稳健、易于操作的产品,能够有效地支持各机关、单位开展全面检查、部门自查、个人自查和整改复查等多维度检查模式,进一步提高机关、单位保密检查效率和保密管理工作水平,确保国家秘密安全。

大规模分布式文件系统元数据管理子系统的设计与实现

这是一篇关于分布式,文件系统,元数据,散列,大规模的论文, 主要内容为分布式存储系统是云计算领域的核心技术。随着存储即服务这一云计算商业模式的出现，云端存储的数据量正在迅速增大，人们对数据安全、数据共享、数据管理等方面的要求也开始逐步提高。云存储服务提供商的后台正面临着巨大的存储压力。元数据是分布式存储系统中的一个概念，是描述所存储数据命名空间和属性的信息。由于元数据的性质及其操作方式较普通数据复杂，对性能、并发性、安全性的要求极高，因此，对系统中元数据的管理一直是分布式存储系统设计的重点和难点。 本文以自行开发的大规模分布式文件系统C-STORE为背景，详细阐述了其元数据管理子系统的设计与实现。该子系统利用三层散列机制进行架构，将元数据分桶存储并进行负载均衡调度，使系统具备了较好的可扩展性。在存储上，元数据管理子系统充分利用了本地文件系统的高效特性，尽可能的提高各方面性能；在组织上，元数据基于用户进行隔离，为用户的数据安全提供了保障。有效且完备的日志管理和同步被设计出来，满足用户多点登录时文件系统的一致性需求。该子系统还引入了Master-Standby双副本同步机制，保证了系统元数据的可用性。 元数据管理子系统通过C++在Linux环境下采用异步事件驱动这一高效网络编程模型实现，充分利用服务器的软硬件资源，提升了系统的吞吐量。经测试，元数据管理子系统可以充分满足用户对面向公有云存储服务在元数据管理各方面的需求。在性能上，相较于当前业界已经十分成熟且广泛使用的PVFS，优势明显。

高能效无线数据采集系统的设计与实现

这是一篇关于高能效,无线数据采集系统,FPGA,文件系统的论文, 主要内容为数据采集系统广泛应用于科学研究和工业生产中,在提高人们工作效率和工厂生产效率上扮演着重要的角色。以往的数据采集系统的设计往往追求系统的采样速度和采样精度,但随着时代的发展和社会的进步,人们开始关注数据采集系统的功耗,通信方式以及存储容量等问题。基于这样的背景,本文设计和实现了高能效无线数据采集系统。该系统优化了系统的功耗设计,扩大了系统的数据存储容量并采用无线通信技术进行数据传输。 本文详细讲述了高能效无线数据采集系统的软硬件设计和系统低功耗设计。本文根据系统设计的技术指标,设计了系统的总体方案和系统的数据通路,从理论上分析其可行性。其次本文设计了系统采用的FPGA+MCU双处理器的硬件平台。在系统的软件设计上,在MCU部分,本文重点分析了系统人机交互的软件设计,数据存储的文件系统的设计和FPGA和MCU处理器之间的通信协议的设计;在FPGA部分,本文详细地介绍了FPGA内部各个模块的功能设计及逻辑设计。在系统低功耗设计上,本文首先对系统的功耗进行了详细分析,然后结合当前流行低功耗设计技术和系统的特点设计系统高能效运行的方案并进行功耗测试。 本文的最后分析了系统的功能测试结果,并对本文设计的系统提出了改进的意见。测试结果表明,系统硬件平台设计合理,软件设计方案稳定可行,系统功能实现良好,为本系统的后续开发提供了良好基础。

基于可扩展哈希的NVM文件系统

这是一篇关于非易失性存储器,文件系统,可扩展哈希,高并发的论文, 主要内容为随着互联网技术的飞速发展,爆发式增长的数据给文件系统带来巨大的压力。新兴的非易失性内存NVM(Non-Volatile Memory),具有非易失性、可字节寻址、低延迟和读写速度接近内存等优势,为打破文件系统的性能瓶颈带来了希望。但现有的文件系统在应对海量数据时存在可扩展性差和并发度低等问题,难以有效发挥NVM设备的优势。可扩展哈希具有快速读写以及可动态扩展的优势,但由于其哈希目录和哈希桶也存在并发性低等问题,若直接与文件系统相结合并不能有效提高文件系统的并发性。因此,本文先后对可扩展哈希和文件系统进行优化,以提高文件系统的并发性为目标,研究与设计基于可扩展哈希的NVM文件系统。首先,分析当前可扩展哈希和文件系统面临的挑战,对可扩展哈希进行改进,并在此基础之上对文件系统的元数据管理算法进行了优化,设计了基于可扩展哈希的NVM文件系统的结构,包括面向NVM的高并发可扩展哈希模块和融入驱动的高并发元数据管理算法模块,通过有效发挥NVM存储设备读写速度快等优势,提高文件系统的并发性,满足对海量数据并发访问的要求。接着,针对当前可扩展哈希中哈希目录并发性差、哈希桶管理效率低等问题,研究并设计了面向NVM的高并发可扩展哈希。设计了基于惰性扩展的哈希目录,将哈希目录扩展时的加锁粒度缩小为导致扩展的单个哈希目录项,提高可扩展哈希的并发性。设计了扩张率计算算法,通过动态决定二次扩展哈希目录的大小,在降低哈希目录扩展频率的同时,避免不必要的哈希目录扩展。设计了基于组的哈希桶管理算法,将现有可扩展哈希目录下挂载的单个哈希桶分解为多个桶,并增加桶目录,提高哈希桶管理的并发度。同时改变哈希桶内哈希键的管理方式,缩小插入哈希键时的加锁粒度,减少哈希桶的分裂几率,从而提高可扩展哈希的并发度。设计了基于分层存储的哈希目录恢复策略,将哈希目录和哈希桶分布存储在DRAM和NVM中,在有效利用DRAM和NVM存储设备各自优势提高访问速度的同时,保证可扩展哈希中数据的一致性。在Intel开源的NVM存储设备驱动中,嵌入了所设计的算法,实现了面向NVM的高并发可扩展哈希原型NEHASH,使用测试工具YCSB进行了测试和分析,结果表明NEHASH比现有的哈希方案CCEH、LEVEL和CUCKOO具有更高的并发度,在多线程环境下能最大提高16.5%的读吞吐率和19.3%的写吞吐率。最后,针对文件系统I/O软件栈过长以及元数据管理算法效率低、并发性差的问题,并在面向NVM的高并发可扩展哈希基础上,研究和设计了融入驱动的高并发元数据管理算法。将文件系统的元数据管理功能嵌入NVM设备驱动中以缩短I/O软件栈,并给出融入驱动的高并发元数据管理算法的结构。设计了基于Fs＿simhash的元数据Key-Value对生成策略,将文件和目录的访问路径转换为哈希值,构建Key-Value对来存储哈希值与对应元数据的存储地址,提高元数据的查询效率;在局部敏感哈希函数的基础上设计Fs＿simhash函数,使得相邻的访问路径转换后的哈希值相近,为提高元数据的存储和查找性能提供支撑。设计了基于NEHASH的元数据管理策略,针对文件和目录的不同访问特性,对NEHASH的数据桶进行分解,并以不同的哈希函数对文件和目录的路径进行转换,在提高单个元数据查询效率的同时,有效的保证了范围查询、遍历等局部性较强操作的效率。在Intel开源的NVM存储设备驱动基础上,实现了融入驱动的高并发元数据管理算法原型HANVFS,使用Filebench、Fio和IOzone三种测试工具对HANVFS的读写吞吐率和读写带宽进行测试,结果表明HANVFS与在PMEM上加载的NOVA文件系统相比最大能提高30.6%的读写吞吐率与24.7%的读写带宽。

多云动态安全存储技术研究

这是一篇关于多云安全存储,分布式存储,云交互引擎,数据去重,动态调度,微服务,文件系统的论文, 主要内容为大数据时代的到来对数据的安全存储提出了更高的挑战,不断增长的数据需要大量的存储介质来存储,由此造成本地存储成本过高,单一存储方式不可靠,单云存储方式数据不安全,本地数据冗余存储造成存储资源浪费等问题。针对这些日益突出的问题,传统的存储方式或单云存储方式已经不能满足人们对数据安全、数据存储效率和可靠性的更高要求。为了解决数据存储安全问题,本文提出了对数据块进行切片,然后分别加密,最后分散存储在多个云上的方式。这种方式可以避免数据存储在单一云存储服务上数据不安全的问题,因为通过恶意方式获取到的数据也只有一部分加密数据,强制破解后也是不完整的数据,这样就极大的保证了数据的安全性。而且本文分析比较了多种数据切片与数据加密方式,可以根据具体文件类型与数据大小采用最优化策略处理,使其安全性和性能达到平衡。为了进一步提高数据存储的可靠性,本文提出了多云动态存储调度策略与本地存储可选配置的方案。即可以通过多云服务引擎动态调度多个云上的数据块,使其始终存储数量最少不低于两份,原数据块与备份数据块不在同一云存储服务上。用户也可以通过可选项配置使元数据在本地也存储一份,并通过异步更新策略使数据同步。同时,本文采用了微服务架构与去中心化策略保证了服务的可用性。为了解决数据存储效率问题,提出了在多云备份系统中采用数据去重策略,并结合多云存储系统运用了引用计数与引用可达的思想。即可以通过用户内数据去重与同种数据用户间去重的方式使数据存储空间尽可能小。本文还比较了其他数据去重方式,可具体根据数据存储类型采用合适的去重策略,进一步提高数据存储效率。本文针对上述重点问题以及多云动态安全存储系统中的其他问题,设计了一个初步的多云动态安全存储系统来验证这一方案的可行性。行文结构也是基于这一背景,从相关重点理论简述到系统架构设计,然后介绍了多云动态存储系统的原型实现,最后对该系统进行测试分析。实验结果表明,该方案具有较强的可行性,能达到预期的设计目标。

基于混合全文索引的煤质文件管理系统研究

这是一篇关于文件系统,全文索引,倒排索引,B+树,框架技术,Oracle的论文, 主要内容为信息化产业技术的飞速发展极大的改变了人们获取利用信息的方式,人们越来越多的是通过电子文件进行传播信息。针对煤炭这一特定领域而言,各类电子煤质文件呈爆炸式增长。面对当前浩瀚的信息海洋,如何帮助用户有效管理煤质文件信息以及如何帮助用户快速甄别、提取有用信息成为煤炭企业面临的重要难题。本文提出一种基于倒排索引与B+树索引的混合全文索引模型。倒排索引在实现上相对简单,对短语的查询具有相对优势,检索速度快,但对数字型的数据并不敏感,因此在数字型数据的检索上不能快速且准确的检索相关信息。而B+树索引能够实现随机、顺序的处理,其所有数据全部在叶子结点保存,加之B+树本身具有的有序性,使得它非常适合于数字型数据的索引。而对煤质文件特点分析可得:煤质文件数据类型主要有字符型和数字型。本文结合倒排索引与B+树索引的优点提出了混合全文索引结构,并将其应用于煤质文件管理系统中。混合全文索引思想为:首先针对煤质文件的数据类型建立B+树索引;再根据不同数据的类型为其建立相应的索引结构,具体可分为两种:如果为字符型数据就为其建立倒排索引,数字型则为其建立B+树索引。设计并实现了煤质文件管理系统,采用目前主流三大框架(Spring、Struts2,Hibernate)技术,结合Oracle数据库,实现了煤质文件基本信息管理、用户权限管理、文件上传、文件下载、文件共享、文件多维度分类、文件安全控制、文件检索等功能。其中,安全控制模块提出一种文件使用记录追踪方案,保存所有涉密文件使用记录并得到每个文件对应的记录项,并对记录项部分元素(读写操作或常用主机IP)进行监控分析,针对可能发生的安全隐患给予警示,以此保证涉密文件的安全性。对已实现的煤质文件管理系统进行功能性测试,结果表明系统运行良好。对混合全文索引实现的文件检索模块进行的实验表明,与单独的倒排索引或者B+树索引相比,混合全文索引结构在索引创建占用的存储空间和文件检索时间性能上有显著的优势。

基于混合全文索引的煤质文件管理系统研究

这是一篇关于文件系统,全文索引,倒排索引,B+树,框架技术,Oracle的论文, 主要内容为信息化产业技术的飞速发展极大的改变了人们获取利用信息的方式,人们越来越多的是通过电子文件进行传播信息。针对煤炭这一特定领域而言,各类电子煤质文件呈爆炸式增长。面对当前浩瀚的信息海洋,如何帮助用户有效管理煤质文件信息以及如何帮助用户快速甄别、提取有用信息成为煤炭企业面临的重要难题。本文提出一种基于倒排索引与B+树索引的混合全文索引模型。倒排索引在实现上相对简单,对短语的查询具有相对优势,检索速度快,但对数字型的数据并不敏感,因此在数字型数据的检索上不能快速且准确的检索相关信息。而B+树索引能够实现随机、顺序的处理,其所有数据全部在叶子结点保存,加之B+树本身具有的有序性,使得它非常适合于数字型数据的索引。而对煤质文件特点分析可得:煤质文件数据类型主要有字符型和数字型。本文结合倒排索引与B+树索引的优点提出了混合全文索引结构,并将其应用于煤质文件管理系统中。混合全文索引思想为:首先针对煤质文件的数据类型建立B+树索引;再根据不同数据的类型为其建立相应的索引结构,具体可分为两种:如果为字符型数据就为其建立倒排索引,数字型则为其建立B+树索引。设计并实现了煤质文件管理系统,采用目前主流三大框架(Spring、Struts2,Hibernate)技术,结合Oracle数据库,实现了煤质文件基本信息管理、用户权限管理、文件上传、文件下载、文件共享、文件多维度分类、文件安全控制、文件检索等功能。其中,安全控制模块提出一种文件使用记录追踪方案,保存所有涉密文件使用记录并得到每个文件对应的记录项,并对记录项部分元素(读写操作或常用主机IP)进行监控分析,针对可能发生的安全隐患给予警示,以此保证涉密文件的安全性。对已实现的煤质文件管理系统进行功能性测试,结果表明系统运行良好。对混合全文索引实现的文件检索模块进行的实验表明,与单独的倒排索引或者B+树索引相比,混合全文索引结构在索引创建占用的存储空间和文件检索时间性能上有显著的优势。

基于数据库技术的文件系统XDBFS的设计与实现

这是一篇关于文件系统,数据库技术,核心态设计模式,用户态设计模式,Database-based实现策略,Database-centric实现策略,XDBFS的论文, 主要内容为文件系统是现代操作系统的重要组成部分。对于一个文件系统来说,最为关键的是它的可靠性和高效性。传统文件系统正面临着如何提高异常恢复速度和桌面搜索效率,元数据信息匮乏且不易扩充而难以支持愈加丰富的新应用等难题。另一方面,数据库系统与文件系统有类似的任务,但是却拥有更好的数据管理特性,如高效的数据查询故障修复,丰富且易于扩充的元数据信息等。基于数据库技术的文件系统正是试图将数据库技术引入文件系统,来解决传统文件系统的相关问题,并成为当前的一个研究热点。 本文对基于数据库技术的文件系统设计框架进行了初步探索。目前,基于数据库技术的文件系统并没有一个系统的设计框架,其具体的实现开发往往局限于专门的应用领域。本文在分析传统文件系统设计理论的基础上,提出了基于数据库技术文件系统的通用设计模式与实现策略:核心态设计模式与用户态设计模式;Database-based与Database-centric实现策略。基于宏内核与微内核不同设计思想,核心态模式的文件系统实现在内核,而用户态模式则在内核之外加以实现;按照数据库技术的引入策略,Database-based实现策略将文件系统实现在已有的数据库之上,Database-centric文件系统则实现了文件系统与数据库的深度融合。通过上述设计模式与实现策略的有机组合,并结合数据库相关技术(裁减技术)的应用,建立了基于数据库技术的文件系统的设计框架。 设计实现了Linux环境下基于数据库技术的原型文件系统XDBFS(X DataBase File System)。应用数据库裁减技术,XDBFS实现了嵌入式数据库Berkeley DB到Linux内核的移植,以此作为底层数据存储的基础;XDBFS构建了查找数据库、元数据数据库、块数据库、链接数据库、符号链接数据库以及扩充属性数据库来描述文件系统的各项要素,实现了元数据信息的数据库存储和扩充;XDBFS通过XDBFS设计并实现了支持Linux虚拟文件系统VFS的各项操作,并借助底层数据库的事务机制,扩展了这些文件操作的ACID特性。XDBFS的数据库特性,为解决传统文件系统的各项难题提供了可能。XDBFS充分体现了数据库技术与文件系统的有机融合,是基于数据库技术的文件系统的有效探索,其实现证明了本文基于数据库技术文件系统设计框架的可行性,并且它也是从传统文件系统向基于数据库技术的新型文件系统的一个良好过渡。