文章详情页
java - hadoop数据查找
浏览：215日期：2024-02-06 11:45:32
问题描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的
问题解答
回答1：这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决
标签：
java
相关文章：
1. 求救一下，用新版的phpstudy，数据库过段时间会消失是什么情况？2. webgl - android上类似汽车之家的3d全景照片怎么实现3. 这是什么情况？？？4. 网页爬虫 - 如何使用使用java抓取信息并制作一个排名系统？5. 微信小程序支持跳转到外部链接网页吗6. javascript - requestAnimationFrame如何控制帧速？7. 测试自动化html元素选择器元素ID或DataAttribute [关闭]8. javascript - angular锚点问题9. PHP类封装的插入数据，总是插入不成功，返回false；10. 关于纯用css写导航鼠标移入事件的问题？
排行榜
网公网安备