समस्या
भाषा मॉडल कच्चे टेक्स्ट पर नहीं, टोकन पर काम करते हैं। एक सरल टोकनाइज़र टेक्स्ट को छोटे अक्षरों में बदलता है और अक्षर a-z तथा अंक 0-9 के हर क्रम को एक शब्द मानता है; बाकी सब कुछ (स्पेस, विराम चिह्न, अन्य अक्षर) शब्दों को अलग करता है।
शब्दावली बनाएँ: अलग-अलग शब्द, आवृत्ति के अनुसार क्रमबद्ध (सबसे अधिक पहले), बराबरी होने पर वर्णानुक्रम में। इस सूची में किसी शब्द की स्थिति उसकी टोकन ID है।
build_vocabulary(text) लागू करें।
इनपुट
text: कोई भी टेक्स्ट।
आउटपुट
शब्दावली को शब्दों की सूची के रूप में लौटाएँ। अगर टेक्स्ट में कोई शब्द नहीं है, तो खाली सूची लौटाएँ।
सीमाएँ
0 ≤ text की लंबाई ≤ 100,000
उदाहरण
इनपुट:
text = "The cat sat on the mat. The end!"
अपेक्षित आउटपुट:
expected = ["the", "cat", "end", "mat", "on", "sat"]
इनपुट:
std::string text = "The cat sat on the mat. The end!";
अपेक्षित आउटपुट:
std::vector<std::string> expected = {"the", "cat", "end", "mat", "on", "sat"};
इनपुट:
string text = "The cat sat on the mat. The end!";
अपेक्षित आउटपुट:
string[] expected = new string[] {"the", "cat", "end", "mat", "on", "sat"};
व्याख्या
छोटे अक्षरों में शब्द हैं the, cat, sat, on, the, mat, the, end। "the" 3 बार आता है; बाकी एक-एक बार आते हैं और वर्णानुक्रम में रखे जाते हैं: ["the", "cat", "end", "mat", "on", "sat"]।
इनपुट:
text = "AI, ai and A.I. (2024)"
अपेक्षित आउटपुट:
expected = ["ai", "2024", "a", "and", "i"]
इनपुट:
std::string text = "AI, ai and A.I. (2024)";
अपेक्षित आउटपुट:
std::vector<std::string> expected = {"ai", "2024", "a", "and", "i"};
इनपुट:
string text = "AI, ai and A.I. (2024)";
अपेक्षित आउटपुट:
string[] expected = new string[] {"ai", "2024", "a", "and", "i"};
व्याख्या
शब्द: ai, ai, and, a, i, 2024। "ai" दो बार आता है; बाकी एक-एक बार, वर्णानुक्रम में, अंक अक्षरों से पहले: ["ai", "2024", "a", "and", "i"]।
कैसे हल करें
पहले खुद कोशिश करें, फिर एक-एक करके संकेत खोलें।
संकेत 1
पहले सिर्फ letters और digits की runs निकालें, उन्हें lowercase करें, और बाकी हर character ignore करें.
संकेत 2
हर word कितनी बार आता है, यह count करें, फिर frequency descending और ties के लिए alphabetically sort करें.
संकेत 3
अगर text में कोई valid word नहीं है, तो singleton या null result की जगह खाली list return करें.
अपेक्षित जटिलता
समय O(n log k), अतिरिक्त स्थान O(k)
संदर्भ
यह चुनौती CodeUtility के लिए अनुकूलित की गई है। ऊपर दिए गए स्टेटमेंट और सीमाओं का पालन करें।