文章详情页
java - hadoop数据查找
浏览：150日期：2024-02-06 11:45:32
问题描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的
问题解答
回答1：这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决
标签：
java
相关文章：
1. css3 - css如何实现素描描边效果2. css - 移动端 line-height安卓错位,苹果机正常用,缩放解决了,可是又出来了占位的问题3. 代理 - 一个nginx需求，访问web服务时，若用户为测试用户则转发到web服务的测试版本4. 正则表达式 - python pandas的sep参数问题5. javascript - vscode的code runner插件6. css - 关于ul的布局7. javascript - 在静态页面上用load 引入的页面文件问题？8. javascript - webpack打包后的bundlejs文件代码不知道什么意思.9. html - 哪些情况下float会失效？10. css - 如何使用 vue transition 实现 ios 按钮一样的平滑切换效果
排行榜
网公网安备