零售业比以往任何时候都需要物联网

据科学和机器学习两个领域很容易混淆，从职责描述上还是大家的普遍印象里，这两个职位都差不多。相较之下，数据科学和数据分析这两个职位更容易区分。它们虽有关键差别，但也有相似之处。

有人会说，要成为一名数据科学家，要先从数据分析的工作做起。

作者在两个领域都待过，本文旨在阐明成为数据科学家和数据分析师到底意味着什么。一起来看看~

之前我是数据分析师的时候，我想继续深造成为一名数据科学家，我意识到两者有很大不同。并不是说数据科学与数据分析用完全不一样的工具和编程语言，我甚至觉得数据科学是数据分析的一种形式，因为最终你是在与数据打交道——转换格式，进行可视化，得出可用的结论。

数据科学家

 

内存看到这张表格，不由得咂舌：没想到这外面的世界如此之慢啊!

正在此时， 一个叫helloworld的程序要读取文件。

helloworld ：老大，我给你发了一个read系统调用，要读取config.txt的前1024个字节，把结果放到我的buffer中。

Linux ：好，让我看看config.txt是不是已经在Page Cache中了，真不巧，还没缓存过。内存老弟，我又要吃你的空闲空间了。

Linux在内存中分配了一个4k 大小的page frame， 向硬盘发出DMA指令，读取cong.txt的4k的数据。

 

现在到了有意思的地方：让测试速度真的变快。

这里的主要做法是增加并行度。项目开始以来，我们已经从 40 个并行作业增加到了 130 个。这稍稍增加了成本，但大幅提升了 CI 的运行速度。在 Gusto，我们使用 Buildkite 作为 CI 基础架构，但这种并行化的理念适用于所有主流 CI 产品。

虽然我们将并行度提高到了 3 倍以上，但 CI 费用却没有随之线性增长。为什么？因为我们更好地利用了已有的 CPU 时间，通过在各个节点之间平衡作业，总 CPU 时间并没有变化，但是实际运行时间大幅缩短了。

4. 总结

在过去几个月中，我们在一点点让 Gusto 主要应用程序的 CI 管道变得更坚实可靠，而且速度更快。

这种改进依旧是一项日常工作。在出现不可靠测试时我们还是会跳过它们，或者寻找新的优化策略来加快构建速度。无论你们现在使用的是什么技术，我们都希望这篇文章可以为你们的团队提供一个路线图参考，帮助改进你们的 CI 管道和软件发布架构。

（编辑：广元站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!