CirroData-TimeS 1.0是在CirroData-TimeS 0.12版本的基础上,结合大量工业场景实践和需求,历时1年半研发,集时序数据高效读写、压缩存储、实时计算能力为一体的数据库服务,可广泛应用于物联网和互联网领域,实现对设备及业务服务的实时监控、实时预测、实时告警。
相比0.12版本,CirroData-TimeS 1.0新增如下特性:
CirroData-TimeS 1.0是在CirroData-TimeS 0.12版本的基础上,结合大量工业场景实践和需求,历时1年半研发,集时序数据高效读写、压缩存储、实时计算能力为一体的数据库服务,可广泛应用于物联网和互联网领域,实现对设备及业务服务的实时监控、实时预测、实时告警。
相比0.12版本,CirroData-TimeS 1.0新增如下特性:
maven shade模式解决两个版本的冲突是比较常用的解决方案,特别在A模块引用了两个B模块和C模块,但是B和C的引用的两个jar包的版本不一致,导致冲突,而且两个版本的jar包不兼容,还必须要都保留,这种情况下,如果其中一个模块是自己能够控制的,则可以通过shaded模式,把其中这个模块在pom文件中把这个jar包改名即可,但是,如果两个模块都不是自己控制的呢?那应该怎么办呢?能不能对一个不是自己控制的里面的jar包进行改名呢?
大家都知道JAVA进程必须运行在Java虚拟机中,当启动一个Java进程的时候,也必须给其给其分配内存方可运行,那么jvm 虚拟机到底给此进程分配了多少内存呢?是否有默认值呢? 我指定的-Xmx、-Xms、-Xmn到底有什么作用呢?本篇文章就是对齐进行讲解。
一个很好的,可以看到像cpu,memory,ssd,disk等io速度的一个网站,并且提供了不同年代不同的数值。
Latency Numbers Every Programmer Should Know
其github地址是:https://github.com/colin-scott/interactive_latencies
关键就是创建fs的时候,需要指明schema:har://scheme-hostname:port/archivepath/fileinarchive
到最上层的archive文件目录即可。
fs = hdfsConnect(“har://hdfs-172.16.48.4:9000/qhl/real_archive_max/archive_max.har/“,9000);
需要注意的是,上面必须要以”/“结尾,否则hdfs就会认为是文件,而不是目录,就会报文件不存在的错误。
执行命令如下, hello.csv_4是archive_max.har里面归档前的一个文件。即har://hdfs-172.16.48.4:9000/qhl/real_archive_max/archive_max.har/hello.csv_4是一个完成的归档后的文件。
1 | ./hdfs_small_file_optim hello.csv_4 100 100 |
Guava工程包含了若干被Google的Java项目广泛依赖的核心库,例如:集合[collections]、缓存[caching]等,在其他项目中也广泛使用,本文讨论一下cache使用过程中与读写锁结合的过程中产生的一个坑。
东方国信行云时序数据库CirroData-TimeS,是东方国信面对高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品,它不依赖任何第三方软件,TimeS是吸取众多传统关系型数据库、NoSQL数据库等软件的优点之后自主开发的产品,在时序空间大数据处理上,有着自己独到的优势。经过历时1年多的核心研发,CirroData-TimeS 0.12.1版本重磅发布。
Alluxio[1] 是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。 它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。 这还使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。