本文翻译自 Spark 官方文档 1.2.1
2021年05月10日
2021年05月10日 集群中的Spark Streaming应用程序获得最好的性能需要一些调整。这章将介绍几个参数和配置,提高Spark Streaming应用程序的性能。你需要考虑两件事情:
高效地利用集群资源减少批数据的处理时间
设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度
高效地利用集群资源减少批数据的处理时间
设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度
Karl Seguin是一位在多个技术领域有着丰富经验的研发人员,精通.NET以及Ruby。作为技术文档撰写人,他有时还会参与OSS项目的工作或做演讲。在MongoDB方面,他曾是C# MongoDB library NoRM的核心开发人员,开发了互动教程mongly以及Mongo Web Admin。他还用MongoDB开发了mogade.com为业余游戏开发者提供免费服务。Karl还著有 The Little Redis Book。他的博客http://openmymind.net,推特账号是@karlseguin。本书的中文版由justinyhuang完成。
2021年05月12日
Python 是一门简单易学且功能强大的编程语言。它拥有高效的高级数据结构,并且能够用简单而又高效的方式进行面向对象编程。Python 优雅的语法和动态类型,再结合它的解释性,使其在大多数平台的许多领域成为编写脚本或开发应用程序的理想语言。
你可以自由地从 Python 官方点: http://www.python.org,以源代码或二进制形式获取 Python 解释器及其标准扩展库,并可以自由的分发。此站点同时也提供了大量的第三方 Python 模块、程序和工具,及其附加文档。
你可以自由地从 Python 官方点: http://www.python.org,以源代码或二进制形式获取 Python 解释器及其标准扩展库,并可以自由的分发。此站点同时也提供了大量的第三方 Python 模块、程序和工具,及其附加文档。
2021年07月16日
区块链是金融科技(Fintech)领域的一项基础性的创新。
作为新一代分布式记账(Distributed Ledger Technology,DLT)系统的核心技术,区块链被认为在金融、物联网、商业贸易、征信、资产管理等众多领域都拥有广泛的应用前景。
目前,区块链技术尚处于快速发展的阶段,涉及分布式系统、密码学、博弈论、网络协议等诸多学科知识,为学习和实践都带来了不小的挑战。
本书希望能客观探索区块链概念的来龙去脉,剖析关键技术和原理,同时以全球最大的开源分布式账本项目——超级账本为例讲解具体应用。在开发超级账本项目,以及为企业设计方案过程中,笔者积累了一些实践经验,也通过本书分享出来,希望能有助于分布式账本科技的发展和应用。
作为新一代分布式记账(Distributed Ledger Technology,DLT)系统的核心技术,区块链被认为在金融、物联网、商业贸易、征信、资产管理等众多领域都拥有广泛的应用前景。
目前,区块链技术尚处于快速发展的阶段,涉及分布式系统、密码学、博弈论、网络协议等诸多学科知识,为学习和实践都带来了不小的挑战。
本书希望能客观探索区块链概念的来龙去脉,剖析关键技术和原理,同时以全球最大的开源分布式账本项目——超级账本为例讲解具体应用。在开发超级账本项目,以及为企业设计方案过程中,笔者积累了一些实践经验,也通过本书分享出来,希望能有助于分布式账本科技的发展和应用。
2021年07月09日
2021年07月09日
讨论并行编程的架构和编程模型。对于初次接触并行编程技术的程序员来说,都是非常有用的概念;对于经验丰富的程序员来说,可以作为参考。
2021年07月21日 在本节中,我们将验证GIL的影响,评估多线程应用的性能。前文已经介绍过,GIL是CPython解释器引入的锁,GIL在解释器层面阻止了真正的并行运行。解释器在执行任何线程之前,必须等待当前正在运行的线程释放GIL。事实上,解释器会强迫想要运行的线程必须拿到GIL才能访问解释器的任何资源,例如栈或Python对象等。这也正是GIL的目的——阻止不同的线程并发访问Python对象。这样GIL可以保护解释器的内存,让垃圾回收工作正常。但事实上,这却造成了程序员无法通过并行执行多线程来提高程序的性能。如果我们去掉CPython的GIL,就可以让多线程真正并行执行。GIL并没有影响多处理器并行的线程,只是限制了一个解释器只能有一个线程在运行。
2021年07月21日
Redis 支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用 。
2021年09月15日 Redis 性能测试是通过同时执行多个命令实现的。
前一页
后一页